Основные международные поисковые системы и каталоги. Международные поисковые системы

Список наиболее значимых поисковиков и каталогов

Основные международные поисковые системы и каталоги

Поисковые системы

    AltaVista открыта в декабре 1995, затем куплена компанией Compaq Computer Corporation (до этого была в ведении DEC), а после этого выделилась в самостоятельную компанию, которая сейчас контролируется CMGI. Alta Vista по праву считается самой большой и авторитетной поисковой системой. Для России представляет особый интерес, так как позволяет вести поиск не только на английском, но и на русском, и многих других языках.

    Одна из самых крупных поисковых систем в мире. Состоит в партнерстве с Netscape. Запущенная в 1995 году, система быстро развивалась, и в 1996 году Excite купил двух своих конкурентов: Magellan и WebCrawler. Несмотря на смену владельца, эти два поисковых сервера продолжают работать как независимые системы.

    Система запущена в мае 1996 года. Является детищем культового журнала Wired. В октябре 1998 года Lycos купил Wired Digital, но продолжал поддерживать HotBot как самостоятельный проект. В большинстве случаев источник первой страницы результатов поиска HotBot - Direct Hit, а дальнейших - Inktomi. Информацию для каталога берется из проекта Open Directory. HotВot находится в постоянной конкурентной борьбе с AltaVista. Мощная поисковая система, одна из тех, которые выдают хорошие результаты поиска

    Портал, запущенный InfoSeek и Disney. Предлагает как бесплатную почту, так и возможности поисковых машин, заимствованные от InfoSeek (открытая в начале 1995 года, эта система имела весьма солидную репутацию). Осуществляет качественный поиск благодаря используемому алгоритму поиска ESP. Также содержит впечатляющий каталог веб-сайтов, собранный командой специалистов. Официально Go (не путать с GoTo) начал свою работу в 1999.

    Система начала работать с августа 1997 года и в данный момент стремительными темпами индексирует Сеть, что ставит ее вровень с ведущими поисковыми системами. Northern Light имеет набор документов "специальной коллекции", которые обычно не доступны спайдерам поисковых машин. Это документы из тысяч источников, включая газеты, журналы, различные базы данных. Поиск таких документов осуществляется бесплатно, однако за их просмотр необходимо заплатить до 4 долларов. Система, кроме обладания огромными ресурсами, имеет возможность классифицировать документы по темам, что является еще одним положительным моментом.

    Существует с апреля 1994 года. Владелец - небезызвестная AOL, и всем пользователям этого сервис-провайдера была рекомендована именно эта поисковая система. В ноябре 1996 WebCrawler был куплен своим конкурентом - Excite, хотя и продолжает работать как независимая поисковая система. Имеет собственную директорию рецензированных страниц.

    Ask Jeeves использует серию вопросов для того, чтобы сузить поле поиска, затем выдает ответ, основанный на материале, подготовленном группой редакторов. Это поисковая система, которая направляет пользователя на ту страницу, которая отвечает на заданный им вопрос. Если системе не удается найти нужную ссылку в собственной базе данных, то она обращается к другим поисковым машинам. Начала работать в июне 1997 года.

    Direct Hit - компания, которая работает с другими поисковыми машинами для того, чтобы улучшить их результаты. Это осуществляется путем мониторинга того, на какие ссылки из результатов поиска реагируют пользователи. Сайты, ссылки на которые нажимаются чаще, чем на другие, поднимаются выше в рейтинге Direct Hit. Следовательно, Direct Hit позиционируется как "двигатель популярности". Подобная технология хорошо продемонстрирована также на HotBot.

    Раньше назывался All The Web. FAST Search стремится охватить всю "паутину". Стал первой поисковой машиной, которая перешла 200 миллионный рубеж проиндексированных страниц. Norwegian company, владелец FAST Search, также поддерживает поисковую машину Lycos MP3. FAST Search начала работу в мае 1999 года.

    В отличие от других поисковых машин GoTo продает свои списки. Компании могут заплатить для того, чтобы иметь возможность быть размещенным в начале результатов поиска. Неоплаченные результаты выдает Inktomi. GoTo начала работу в 1997 году.

    Google - поисковая машина, которая использует популярность ссылок как основной критерий ранжирования веб-сайтов. Именно поэтому особенно хорошо в ней представлены ресурсы по темам "автомобили" и "путешествия".

    Первоначально была поисковой машиной Inktomi в UC Berkeley. Затем учредители сформировали собственную компанию под тем же именем. Сейчас механизм Inktomi используют разные компании.

Каталоги

    Существующий с конца 1994 года, Yahoo! - самый популярный и старейший из основных каталогов Интернета. Секрет популярности Yahoo! - люди. Это один из крупнейших путеводителей по веб, созданных вручную около 150 авторами в попытке упорядочить сеть. Yahoo! использует результаты поисковой машины Inktomi. При вводе запроса Yahoo! производит поиск по своему каталогу. Если результаты здесь неудовлетворительны, запрос автоматически перенаправляется к Inktomi. Содержит более миллиона веб-страниц. На голову выше конкурентов по качеству результатов поиска - каждый сайт каталога прошел фильтрацию работниками системы.

    Существующая с конца 1994 года, поисковая система Lycos являлась старейшей среди основных поисковых систем. Однако она затерялась в потоке заявок, когда попыталась стать сайтом для широких масс. Поэтому в апреле 1999 года она преобразовалась в каталог, действующий подобно Yahoo!. Основной источник ресурсов - Open Directory project, также Lycos пользуется услугами Direct Hit или собственным глобальным поиском. В октябре 1998 года Lycos был приобретен конкурирующей поисковой машиной HotBot.

    Это каталог веб-сайтов, созданный вручную. Являясь самостоятельным каталогом, Look Smart предоставляет ресурсы для MSN Search, Excite и многих других своих партнеров. AltaVista выдает для LookSmart дополнительные результаты поиска. LookSmart начал независимое существование в октябре 1996 года, затем на год был куплен Reader"s Digest. LookSmart становится одним из основных конкурентов Yahoo! в категории сайтов. Cодержит около четверти миллиона сайтов, разделенных на категории.

    Каталог веб-сайтов, созданный мастерами CNET. Поддерживается механизмом поиска Inktomi. Как и LookSmart, пытается конкурировать с Yahoo! в упорядочивании Web. Snap был запущен в конце 1997 и поддерживается CNET и NBC. Содержит обзоры по сайтам, ссылки на партнеров, на другие сайты CNET.

    Известный ранее как NewHoo, каталог начал работу в июне 1998. В ноябре 1998 года был куплен Netscape, при этом компания заявила, что каждый сможет пользоваться информацией каталога по открытому соглашению. Целью проекта Open Directory является создание каталога по Web с привлечением широкого круга добровольных авторов. Это связано с тем, что автоматизированные поисковые машины и каталоги не справляются с растущим количеством ресурсов. Каждый пользователь может сделать свой вклад в упорядочивание ресурсов Сети. Содержит 1739097 сайтов, 262356 категорий, 24598 авторов. Lycos и AOL Search активно используют данные Open Directory, в то время как AltaVista и HotBot включают ресурсы Open Directory в свои результаты поиска.

    Поддерживаемый американской телевизионной сетью CBS, iWon содержит каталог веб-сайтов, генерируемый автоматически Inktomi. iWon раздает ежедневные, еженедельные и ежемесячные призы по маркетинговому моделированию. Начал работать осенью 1999 года.

    MSN Search компании Microsoft - каталог веб-сайтов, опирающийся на LookSmart и AltaVista. Также доступны данные RealNames и Direct Hit. Пользователям Internet Explorer 5 MSN Search также предлагает уникальную возможность сохранять результаты предыдущих поисков.

    Результаты в Netscape Search"s базируются на Open Directory собственной базе данных Netscape ("Smart Browsing"), в которой хорошо представлены официальные веб-сйты. Также использует Google. На портале Netscape Netcenter представлены другие поисковые машины.

Как уже отмечалось выше, некоторые поисковые системы имеют при себе еще и каталог:

  • Excite NetDirectory - http://www.excite.com
  • Go (InfoSeek) - http://www.go.com
  • WebCrawler - http://www.webcrawler.com

Ниже в таблице представлены статистические данные за апрель 2000 года по некоторым каталогам и поисковым машинам. Данные взяты с сайта Search Engine Watch (www.searchenginewatch.com).

Служба

Количество Web-страниц, млн. шт.

Охвачено от всех страниц в web

Количество пользователей в день, млн. чел.

AltaVista

250

25%

55

Excite

214

21%

Go (Infoseek)

50

5%

Nothern Light

240

24%

Ask Jeeves

Google

200

20%

12

Lycos

50

5%

FAST D

30-50

64,000

600,000


Служба

AltaVista

Excite

HotBot

Go (Infoseek)

Nothern Light

0:09

0:30

0:05

0:20

0:07


Служба

Web Crawler

AskJeeves

Direct Hit

Количество страниц, просмотренных одним пользователем

Среднее время посещения (час:мин)

0:06

0:10

0:02

0:03

0:08


Служба

Yahoo

Lycos

LookSmart

Snap

Количество страниц, просмотренных одним пользователем

Среднее время посещения (час:мин)

1:04

0:08

0:06

0:11



Служба

Snap

MSN

Netscape

iWon

Охват аудитории

15,5%

51,4%

31,9%

9,2%

Тест-зачет по информатике
«Информационно-коммуникационные технологии работы
в компьютерной сети»

11 класс

Зачет

    Компьютерная сеть – это …

    1. совокупность компьютеров и различных устройств, обеспечивающих информационный обмен между компьютерами в сети без использования каких-либо промежуточных носителей информации

      объединение компьютеров, расположенных на большом расстоянии, для общего использования мировых информационных ресурсов

      объединение компьютеров, расположенных на небольшом расстоянии друг от друга

    Протоколы – это …

    1. специализированные средства, позволяющие в реальном времени организовать общение пользователей по каналам компьютерной связи

      совокупностью правил, регулирующих порядок обмена данными в сети

      система передачи электронной информации, позволяющая каждому пользователю сети получить доступ к программам и документам, хранящимся на удаленном компьютере

    Установите соответствие

1. Сервер

а) согласованный набор стандартных протоколов, реализующих их программно-аппаратных средств, достаточный для построения компьютерной сети и обслуживания ее пользователей

2. Рабочая станция

b) специальный компьютер, который предназначен для удаленного запуска приложений, обработки запросов на получение информации из баз данных и обеспечения связи с общими внешними устройствами

3. Сетевая технология

c) это информационная технология работы в сети, позволяющая людям общаться, оперативно получать информацию и обмениваться ею

4. Информационно-коммуникационная технология

d) это персональный компьютер, позволяющий пользоваться услугами, предоставляемыми серверами

    В каком году Россия была подключена к Интернету?

    1. 1992

      1990

      1991

    Браузер – это …

    1. информационная система, основными компонентами которой являются гипертекстовые документы

      программа для просмотра Web-страниц

      сервис Интернета, позволяющий обмениваться между компьютерами посредством сети электронными сообщениями

    Всемирная паутина – это система в глобальной сети носит название:

    1. WWW

      FTP

      BBS

      E-mаil

    Установите соответствие

1. Локальная сеть

a) объединение компьютеров, расположенных на большом расстоянии друг от друга

2. Региональная сеть

b) объединение локальных сетей в пределах одной корпорации для решения общих задач

3. Корпоративная сеть

c) объединение компьютеров в пределах одного города, области, страны

4. Глобальная сеть

d) объединение компьютеров, расположенных на небольшом расстоянии друг от друга

    Адрес электронной почты записывается по определенным правилам. Уберите лишнее

    1. petrov_yandex.ru

      [email protected]

      [email protected]

      http://www.edu.ru

    Установите соответствие

1. Всемирная паутина WWW

a) специализированные средства, позволяющие в реальном времени организовать общение пользователей по каналам компьютерной связи

2. Электронная почта e-mail

b) информационная система, основными компонентами которой являются гипертекстовые документы

3. Передача файлов FTP

c) система пересылки корреспонденции между пользователями в сети

4. Телеконференция UseNet

d) система передачи электронной информации, позволяющая каждому пользователю сети получить доступ к программам и документам, хранящимся на удаленном компьютере

5. Системы общения «on line» chat, ICQ

e) система обмена информацией между множеством пользователей

    Какие поисковые системы являются международными? Выберите правильный ответ

    1. http://www.yandex.ru

      http://www.rambler.ru

      http://www.aport.ru

      http://www.google.ru

Ответы:

1

2

3

4

5

6

7

8

9

10

a

b

1-b
2-d
3-a
4-c

c

b

a

1-d
2-c
3-b
4-a

a, d

1-b
2-c
3-d
4-e
5-a

Список наиболее значимых поисковиков и каталогов

Основные международные поисковые системы и каталоги

Поисковые системы

1. Alta Vista - http://www.

AltaVista открыта в декабре 1995, затем куплена компанией Compaq Computer Corporation (до этого была в ведении DEC), а после этого выделилась в самостоятельную компанию, которая сейчас контролируется CMGI. Alta Vista по праву считается самой большой и авторитетной поисковой системой. Для России представляет особый интерес, так как позволяет вести поиск не только на английском, но и на русском, и многих других языках.

2. Excite - http://www.

Одна из самых крупных поисковых систем в мире. Состоит в партнерстве с Netscape. Запущенная в 1995 году, система быстро развивалась, и в 1996 году Excite купил двух своих конкурентов: Magellan и WebCrawler. Несмотря на смену владельца, эти два поисковых сервера продолжают работать как независимые системы.

3. Hot Bot - http://www.

Система запущена в мае 1996 года. Является детищем культового журнала Wired. В октябре 1998 года Lycos купил Wired Digital, но продолжал поддерживать HotBot как самостоятельный проект. В большинстве случаев источник первой страницы результатов поиска HotBot - Direct Hit, а дальнейших - Inktomi. Информацию для каталога берется из проекта Open Directory. HotВot находится в постоянной конкурентной борьбе с AltaVista. Мощная поисковая система, одна из тех, которые выдают хорошие результаты поиска

4. Go / InfoSeek - http://www. /

Портал, запущенный InfoSeek и Disney. Предлагает как бесплатную почту, так и возможности поисковых машин, заимствованные от InfoSeek (открытая в начале 1995 года, эта система имела весьма солидную репутацию). Осуществляет качественный поиск благодаря используемому алгоритму поиска ESP. Также содержит впечатляющий каталог веб-сайтов, собранный командой специалистов. Официально Go (не путать с GoTo) начал свою работу в 1999.

5. Northern Light - http://www. /.

Система начала работать с августа 1997 года и в данный момент стремительными темпами индексирует Сеть, что ставит ее вровень с ведущими поисковыми системами. Northern Light имеет набор документов "специальной коллекции ", которые обычно не доступны спайдерам поисковых машин. Это документы из тысяч источников, включая газеты, журналы, различные базы данных . Поиск таких документов осуществляется бесплатно, однако за их просмотр необходимо заплатить до 4 долларов. Система, кроме обладания огромными ресурсами, имеет возможность классифицировать документы по темам, что является еще одним положительным моментом.

6. WebCrawler - http://www.

Существует с апреля 1994 года. Владелец - небезызвестная AOL, и всем пользователям этого сервис-провайдера была рекомендована именно эта поисковая система. В ноябре 1996 WebCrawler был куплен своим конкурентом - Excite, хотя и продолжает работать как независимая поисковая система. Имеет собственную директорию рецензированных страниц.

7. Ask Jeeves - http://www.

Ask Jeeves использует серию вопросов для того, чтобы сузить поле поиска, затем выдает ответ, основанный на материале, подготовленном группой редакторов. Это поисковая система, которая направляет пользователя на ту страницу, которая отвечает на заданный им вопрос. Если системе не удается найти нужную ссылку в собственной базе данных, то она обращается к другим поисковым машинам. Начала работать в июне 1997 года.

8. Direct Hit - http://www. /

Direct Hit - компания, которая работает с другими поисковыми машинами для того, чтобы улучшить их результаты. Это осуществляется путем мониторинга того, на какие ссылки из результатов поиска реагируют пользователи. Сайты, ссылки на которые нажимаются чаще, чем на другие, поднимаются выше в рейтинге Direct Hit. Следовательно, Direct Hit позиционируется как "двигатель популярности". Подобная технология хорошо продемонстрирована также на HotBot.

9. FAST Search - http://www. /

Раньше назывался All The Web. FAST Search стремится охватить всю "паутину". Стал первой поисковой машиной, которая перешла 200 миллионный рубеж проиндексированных страниц. Norwegian company, владелец FAST Search, также поддерживает поисковую машину Lycos MP3. FAST Search начала работу в мае 1999 года.

10. GoTo - http://www. /

В отличие от других поисковых машин GoTo продает свои списки. Компании могут заплатить для того, чтобы иметь возможность быть размещенным в начале результатов поиска. Неоплаченные результаты выдает Inktomi. GoTo начала работу в 1997 году.

11. Google - http://www. /

Google - поисковая машина, которая использует популярность ссылок как основной критерий ранжирования веб-сайтов. Именно поэтому особенно хорошо в ней представлены ресурсы по темам "автомобили" и "путешествия".

12. Inktomi - http://www. /

Первоначально была поисковой машиной Inktomi в UC Berkeley. Затем учредители сформировали собственную компанию под тем же именем. Сейчас механизм Inktomi используют разные компании.

Каталоги

1. Yahoo! - http://www.

Существующий с конца 1994 года, Yahoo! - самый популярный и старейший из основных каталогов Интернета. Секрет популярности Yahoo! - люди. Это один из крупнейших путеводителей по веб, созданных вручную около 150 авторами в попытке упорядочить сеть. Yahoo! использует результаты поисковой машины Inktomi. При вводе запроса Yahoo! производит поиск по своему каталогу. Если результаты здесь неудовлетворительны, запрос автоматически перенаправляется к Inktomi. Содержит более миллиона веб-страниц. На голову выше конкурентов по качеству результатов поиска - каждый сайт каталога прошел фильтрацию работниками системы.

2. Lycos - http://www.

Существующая с конца 1994 года, поисковая система Lycos являлась старейшей среди основных поисковых систем. Однако она затерялась в потоке заявок, когда попыталась стать сайтом для широких масс. Поэтому в апреле 1999 года она преобразовалась в каталог, действующий подобно Yahoo!. Основной источник ресурсов - Open Directory project, также Lycos пользуется услугами Direct Hit или собственным глобальным поиском. В октябре 1998 года Lycos был приобретен конкурирующей поисковой машиной HotBot.

3. LookSmart - http://

Это каталог веб-сайтов, созданный вручную. Являясь самостоятельным каталогом, Look Smart предоставляет ресурсы для MSN Search, Excite и многих других своих партнеров. AltaVista выдает для LookSmart дополнительные результаты поиска. LookSmart начал независимое существование в октябре 1996 года, затем на год был куплен Reader"s Digest. LookSmart становится одним из основных конкурентов Yahoo! в категории сайтов. Cодержит около четверти миллиона сайтов, разделенных на категории.

4. Snap - http://www.

Каталог веб-сайтов, созданный мастерами CNET. Поддерживается механизмом поиска Inktomi. Как и LookSmart, пытается конкурировать с Yahoo! в упорядочивании Web. Snap был запущен в конце 1997 и поддерживается CNET и NBC. Содержит обзоры по сайтам, ссылки на партнеров, на другие сайты CNET.

5. Open Directory - http://dmoz. org/

Известный ранее как NewHoo, каталог начал работу в июне 1998. В ноябре 1998 года был куплен Netscape, при этом компания заявила, что каждый сможет пользоваться информацией каталога по открытому соглашению. Целью проекта Open Directory является создание каталога по Web с привлечением широкого круга добровольных авторов. Это связано с тем, что автоматизированные поисковые машины и каталоги не справляются с растущим количеством ресурсов. Каждый пользователь может сделать свой вклад в упорядочивание ресурсов Сети. Содержит 1739097 сайтов, 262356 категорий, 24598 авторов. Lycos и AOL Search активно используют данные Open Directory, в то время как AltaVista и HotBot включают ресурсы Open Directory в свои результаты поиска.

6. iWon - http://www.

Поддерживаемый американской телевизионной сетью CBS, iWon содержит каталог веб-сайтов, генерируемый автоматически Inktomi. iWon раздает ежедневные, еженедельные и ежемесячные призы по маркетинговому моделированию. Начал работать осенью 1999 года.

7. MSN Search - http://search. /

MSN Search компании Microsoft - каталог веб-сайтов, опирающийся на LookSmart и AltaVista. Также доступны данные RealNames и Direct Hit. Пользователям Internet Explorer 5 MSN Search также предлагает уникальную возможность сохранять результаты предыдущих поисков.

8. Netscape Search - http:///

Результаты в Netscape Search"s базируются на Open Directory собственной базе данных Netscape ("Smart Browsing"), в которой хорошо представлены официальные веб-сйты. Также использует Google. На портале Netscape Netcenter представлены другие поисковые машины.

Как уже отмечалось выше, некоторые поисковые системы имеют при себе еще и каталог:

    Excite NetDirectory - http://www. Go (InfoSeek) - http://www. WebCrawler - http://www.

Ниже в таблице представлены статистические данные за апрель 2000 года по некоторым каталогам и поисковым машинам. Данные взяты с сайта Search Engine Watch (www.).

Служба

Количество Web-страниц, млн. шт.

Охвачено от всех страниц в web

Количество пользователей в день, млн. чел.

AltaVista

Go (Infoseek)

Nothern Light

Ask Jeeves

В сентябре 1999 года Nielsen Net Ratings (www. /reports/netratings. html) провела исследование поведения более 20 млн. пользователей сети. Был оценено среднее время, проводимое пользователем на каждой из поисковых машин и каталоге, а также охват аудитории (доля активных пользователей, посещавших каждую из поисковых систем) за месяц. Результаты исследований приведены ниже.

Количество Издателей

Количество разделов

Количество ссылок

Open Directory

LookSmart

Go (Infoseek )

Служба

AltaVista

Go (Infoseek)

Nothern Light

Служба

Web Crawler

AskJeeves

Direct Hit

Количество страниц, просмотренных одним пользователем

Среднее время посещения (час:мин)

Служба

LookSmart

Количество страниц, просмотренных одним пользователем

Среднее время посещения (час:мин)

Служба

Netscape

Охват аудитории

Список наиболее значимых поисковиков и каталогов

Основные международные поисковые системы и каталоги

Поисковые системы

    AltaVista открыта в декабре 1995, затем куплена компанией Compaq Computer Corporation (до этого была в ведении DEC), а после этого выделилась в самостоятельную компанию, которая сейчас контролируется CMGI. Alta Vista по праву считается самой большой и авторитетной поисковой системой. Для России представляет особый интерес, так как позволяет вести поиск не только на английском, но и на русском, и многих других языках.

    Одна из самых крупных поисковых систем в мире. Состоит в партнерстве с Netscape. Запущенная в 1995 году, система быстро развивалась, и в 1996 году Excite купил двух своих конкурентов: Magellan и WebCrawler. Несмотря на смену владельца, эти два поисковых сервера продолжают работать как независимые системы.

    Система запущена в мае 1996 года. Является детищем культового журнала Wired. В октябре 1998 года Lycos купил Wired Digital, но продолжал поддерживать HotBot как самостоятельный проект. В большинстве случаев источник первой страницы результатов поиска HotBot - Direct Hit, а дальнейших - Inktomi. Информацию для каталога берется из проекта Open Directory. HotВot находится в постоянной конкурентной борьбе с AltaVista. Мощная поисковая система, одна из тех, которые выдают хорошие результаты поиска

    Портал, запущенный InfoSeek и Disney. Предлагает как бесплатную почту, так и возможности поисковых машин, заимствованные от InfoSeek (открытая в начале 1995 года, эта система имела весьма солидную репутацию). Осуществляет качественный поиск благодаря используемому алгоритму поиска ESP. Также содержит впечатляющий каталог веб-сайтов, собранный командой специалистов. Официально Go (не путать с GoTo) начал свою работу в 1999.

    Система начала работать с августа 1997 года и в данный момент стремительными темпами индексирует Сеть, что ставит ее вровень с ведущими поисковыми системами. Northern Light имеет набор документов "специальной коллекции", которые обычно не доступны спайдерам поисковых машин. Это документы из тысяч источников, включая газеты, журналы, различные базы данных. Поиск таких документов осуществляется бесплатно, однако за их просмотр необходимо заплатить до 4 долларов. Система, кроме обладания огромными ресурсами, имеет возможность классифицировать документы по темам, что является еще одним положительным моментом.

    Существует с апреля 1994 года. Владелец - небезызвестная AOL, и всем пользователям этого сервис-провайдера была рекомендована именно эта поисковая система. В ноябре 1996 WebCrawler был куплен своим конкурентом - Excite, хотя и продолжает работать как независимая поисковая система. Имеет собственную директорию рецензированных страниц.

    Ask Jeeves использует серию вопросов для того, чтобы сузить поле поиска, затем выдает ответ, основанный на материале, подготовленном группой редакторов. Это поисковая система, которая направляет пользователя на ту страницу, которая отвечает на заданный им вопрос. Если системе не удается найти нужную ссылку в собственной базе данных, то она обращается к другим поисковым машинам. Начала работать в июне 1997 года.

    Direct Hit - компания, которая работает с другими поисковыми машинами для того, чтобы улучшить их результаты. Это осуществляется путем мониторинга того, на какие ссылки из результатов поиска реагируют пользователи. Сайты, ссылки на которые нажимаются чаще, чем на другие, поднимаются выше в рейтинге Direct Hit. Следовательно, Direct Hit позиционируется как "двигатель популярности". Подобная технология хорошо продемонстрирована также на HotBot.

    Раньше назывался All The Web. FAST Search стремится охватить всю "паутину". Стал первой поисковой машиной, которая перешла 200 миллионный рубеж проиндексированных страниц. Norwegian company, владелец FAST Search, также поддерживает поисковую машину Lycos MP3. FAST Search начала работу в мае 1999 года.

    В отличие от других поисковых машин GoTo продает свои списки. Компании могут заплатить для того, чтобы иметь возможность быть размещенным в начале результатов поиска. Неоплаченные результаты выдает Inktomi. GoTo начала работу в 1997 году.

    Google - поисковая машина, которая использует популярность ссылок как основной критерий ранжирования веб-сайтов. Именно поэтому особенно хорошо в ней представлены ресурсы по темам "автомобили" и "путешествия".

    Первоначально была поисковой машиной Inktomi в UC Berkeley. Затем учредители сформировали собственную компанию под тем же именем. Сейчас механизм Inktomi используют разные компании.

Каталоги

    Существующий с конца 1994 года, Yahoo! - самый популярный и старейший из основных каталогов Интернета. Секрет популярности Yahoo! - люди. Это один из крупнейших путеводителей по веб, созданных вручную около 150 авторами в попытке упорядочить сеть. Yahoo! использует результаты поисковой машины Inktomi. При вводе запроса Yahoo! производит поиск по своему каталогу. Если результаты здесь неудовлетворительны, запрос автоматически перенаправляется к Inktomi. Содержит более миллиона веб-страниц. На голову выше конкурентов по качеству результатов поиска - каждый сайт каталога прошел фильтрацию работниками системы.

    Существующая с конца 1994 года, поисковая система Lycos являлась старейшей среди основных поисковых систем. Однако она затерялась в потоке заявок, когда попыталась стать сайтом для широких масс. Поэтому в апреле 1999 года она преобразовалась в каталог, действующий подобно Yahoo!. Основной источник ресурсов - Open Directory project, также Lycos пользуется услугами Direct Hit или собственным глобальным поиском. В октябре 1998 года Lycos был приобретен конкурирующей поисковой машиной HotBot.

    Это каталог веб-сайтов, созданный вручную. Являясь самостоятельным каталогом, Look Smart предоставляет ресурсы для MSN Search, Excite и многих других своих партнеров. AltaVista выдает для LookSmart дополнительные результаты поиска. LookSmart начал независимое существование в октябре 1996 года, затем на год был куплен Reader"s Digest. LookSmart становится одним из основных конкурентов Yahoo! в категории сайтов. Cодержит около четверти миллиона сайтов, разделенных на категории.

    Каталог веб-сайтов, созданный мастерами CNET. Поддерживается механизмом поиска Inktomi. Как и LookSmart, пытается конкурировать с Yahoo! в упорядочивании Web. Snap был запущен в конце 1997 и поддерживается CNET и NBC. Содержит обзоры по сайтам, ссылки на партнеров, на другие сайты CNET.

    Известный ранее как NewHoo, каталог начал работу в июне 1998. В ноябре 1998 года был куплен Netscape, при этом компания заявила, что каждый сможет пользоваться информацией каталога по открытому соглашению. Целью проекта Open Directory является создание каталога по Web с привлечением широкого круга добровольных авторов. Это связано с тем, что автоматизированные поисковые машины и каталоги не справляются с растущим количеством ресурсов. Каждый пользователь может сделать свой вклад в упорядочивание ресурсов Сети. Содержит 1739097 сайтов, 262356 категорий, 24598 авторов. Lycos и AOL Search активно используют данные Open Directory, в то время как AltaVista и HotBot включают ресурсы Open Directory в свои результаты поиска.

    Поддерживаемый американской телевизионной сетью CBS, iWon содержит каталог веб-сайтов, генерируемый автоматически Inktomi. iWon раздает ежедневные, еженедельные и ежемесячные призы по маркетинговому моделированию. Начал работать осенью 1999 года.

    MSN Search компании Microsoft - каталог веб-сайтов, опирающийся на LookSmart и AltaVista. Также доступны данные RealNames и Direct Hit. Пользователям Internet Explorer 5 MSN Search также предлагает уникальную возможность сохранять результаты предыдущих поисков.

    Результаты в Netscape Search"s базируются на Open Directory собственной базе данных Netscape ("Smart Browsing"), в которой хорошо представлены официальные веб-сйты. Также использует Google. На портале Netscape Netcenter представлены другие поисковые машины.

Как уже отмечалось выше, некоторые поисковые системы имеют при себе еще и каталог:

  • Excite NetDirectory - http://www.excite.com
  • Go (InfoSeek) - http://www.go.com
  • WebCrawler - http://www.webcrawler.com

Ниже в таблице представлены статистические данные за апрель 2000 года по некоторым каталогам и поисковым машинам. Данные взяты с сайта Search Engine Watch (www.searchenginewatch.com).

Служба

Количество Web-страниц, млн. шт.

Охвачено от всех страниц в web

Количество пользователей в день, млн. чел.

AltaVista

250

25%

55

Excite

214

21%

Go (Infoseek)

50

5%

Nothern Light

240

24%

Ask Jeeves

Google

200

20%

12

Lycos

50

5%

FAST D

30-50

64,000

600,000


Служба

AltaVista

Excite

HotBot

Go (Infoseek)

Nothern Light

0:09

0:30

0:05

0:20

0:07


Служба

Web Crawler

AskJeeves

Direct Hit

Количество страниц, просмотренных одним пользователем

Среднее время посещения (час:мин)

0:06

0:10

0:02

0:03

0:08


Служба

Yahoo

Lycos

LookSmart

Snap

Количество страниц, просмотренных одним пользователем

Среднее время посещения (час:мин)

1:04

0:08

0:06

0:11



Служба

Snap

MSN

Netscape

iWon

Охват аудитории

15,5%

51,4%

31,9%

9,2%

Данная статья представляет собой попытку обобщить данные полученные из форумов и информацию от самих поисковых систем и каталогов.

В последнее время в крупных международных поисковых системах наблюдается изменение основных критериев поиска документов.

Заметна тенденция объединения поисковых систем между собой. Теперь не достаточно иметь хороший, релевантный документ, чтобы быть в первых строках. Необходимо также работать над его продвижением во всех крупных поисковых системах. Нельзя просто создавать доорвеи (doorway, gateway pages) для каждой поисковой системы, надо присутствовать во всех поисковых базах. Такую тенденцию объединения поисковых систем можно объяснить несколькими фактами. Одним из них является появление в интернете большого количества ресурсов, предлагающих мета-поисковые технологии, отбирающих часть пользователей у "классических" поисковых систем.

В мета-поисковой технологии в качестве критериев релевантности документа используются его позиции (по одному и тому же поисковому словосочетанию) в известных поисковых системах. Преимущества такого подхода очевидны - нет необходимости собирать и обрабатывать огромную базу данных, не требуется разрабатывать сложные поисковые алгоритмы и бороться со спаммерами - все это делают крупные поисковые системы, это их головная боль. Требуется только написать достаточно простую программу, посылающую вводимые данные на несколько известных поисковых систем и обрабатывающую ответы от них. При этом качество поиска получается высоким, т.к. при таком подходе случайные результаты исключаются (хотя пропадает и часть качественных результатов).

Видимо, "Классические" поисковые системы, видимо, тоже начали использовать эту технологию, но в измененном виде - оценка популярности ресурса по количеству и качеству ссылок на него, при этом ссылками являются и результаты поиска в других поисковых системах.

Пример: AltaVista не так давно начала учитывать количество ссылок на каждый ресурс подходящий по словосочетанию. При этом ссылки искались в той же базе данных, что и сами ресурсы (т.е. в собственной базе AV), а также в известных каталогах ссылок таких как Yahoo!, Looksmart. Ссылки с обычных страниц было принято считать ссылками низкого качества, ссылки с известных каталогов - ссылками высокого качества. Разделение на ссылки высокого и низкого качества (по слухам, оно организованно в виде баллов от 1 для ссылки с обычной страницы и до 200 для ссылки с Yahoo! ) сделано для защиты от "накручивания" этого параметра ссылками со множества сайтов, сделанных только ради ссылки на основной сайт. В настоящее время AltaVista использует также результаты работы других поисковых систем - она посылает введенное поисковое слово или словосочетание на Google и результаты Google использует как ссылки высокого качества (из того же непроверенного источника - до 1000 баллов за первое место в результатах Google).

Описание взаимодействия между крупными поисковыми системами

  1. AltaVista является одним из самых популярных международных поисковых сервисов. Изначально AltaVista была просто поисковой системой с собственным пауком (scooter), автоматически собирающим информацию, обходя сайты по ссылкам. В настоящее время в нее включен еще и каталог ресурсов от Looksmart. Попадая на главную страницу AV, пользователь может провести поиск по базе поисковой системы (Web Page Search) или по базе каталога ресурсов (AltaVista Directory ). Каталог ресурсов предоставляется AltaViste одним из крупнейших представителем этой отрасли - Looksmart . Базы, видимо, хранятся в разных местах и периодически синхронизируются. Прописаться в этом каталоге можно как со страницы на AV, так и со страницы на LookSmart , причем на одинаковых условиях (за деньги).
    Имеется информация, что на релевантность документа с точки зрения AV влияют следующие факторы:
    1. поля html-документа keywords, title, description, body text и т.д.;
    2. популярность URL документа и / или его родительского сайта (имеется в виду количество ссылок на сам документ, например http://www.domain.ru/rus/index./html и количество ссылок на http://www.domain.ru), т.е. сколько ссылок есть на этот документ или сайт с других сайтов. Причем ссылки с разных сайтов имеют разный вес. По непроверенным данным, имеет место следующее соотношение:
    3. первое место в результатах поиска по тому же поисковому запросу в Google 1000 баллов, последующие места имеют меньший вес;
    4. ссылка с Yahoo! (т.е. сайт присутствует в базе данных Yahoo! ) 200 баллов;
    5. ссылка с Open Directory Project 100 баллов;
    6. ссылка с About.com , Go.com , Looksmart (т.е. из "собственного" каталога AltaVista ) 25 баллов;
    7. просто ссылка с любого другого сайта 1 балл.
Вполне понятно, что самые дорогие ссылки с Google . Они одними из первых (если не первыми) начали использовать алгоритм поиска документов с сильной ставкой на популярность ссылок и добились высокой скорости поиска при объеме базы, сравнимой с AV. Остается загадкой, почему прямой конкурент, Yahoo! ценится больше чем "собственный" каталог ресурсов, предоставляемый LookSmart .
Такая схема позволяет бороться со спаммерами и простым копированием html документов (теперь недостаточно скопировать документ #1 по словосочетанию "porno sex" и заменив все "porno" на "красные", а "sex" на "розы", чтобы стать #1 в менее популярной области при поиске по словосочетанию "красные розы"); борьба с уничтоженными документами (база большая - необновляемые и мертвые документы искать сложно, а тут более новая база Google и еще модерируемые каталоги).
  • Google - сравнительно новая поисковая система, рассчитанная изначально на поиск документов с учетом их популярности на других ресурсах.
    Сейчас в Google включен каталог ресурсов, основанный на Open Directory Project . Т.е. при попадании в Open Directory Project , сайт попадает и в каталог ресурсов Google , но не сразу. Кроме того, в каталоге Google есть ресурсы, которых нет в ODP (возможно, что это из-за задержки в обновлении информации - т.е. эти сайты с ODP убрали, а на Google они еще остались).
    Google является поставщиком поисковых результатов для каталога ресурсов Yahoo! (ссылка при поиске Web Pages search).
    Если при поиске документ имеет выгодную позицию на Google , то при поиске на AltaVista по тому же поисковому запросу, его релевантность в AltaVista растет (см. п.1 AltaVista ).
    Видимо, наиболее весомыми ссылками для Google являются ссылки с ODP и Yahoo! (а может быть и с AltaVista - партнерство все-таки).
  • Yahoo! - один из самых известных каталогов ресурсов. Добавляет ресурсы бесплатно (если соответствует разделу и правилам и когда дойдут руки у редакторов) или за 299$ (опять же, если соответствует разделу и правилам, но в течение 7 рабочих дней сайт будет просмотрен, но нет гарантии его включения в каталог).
    Добавление в Yahoo! дает большое преимущество на AltaVista и Google , логично предположить, что и на других системах тоже.
    В Yahoo! появился и web-search - результаты берутся из поисковой системы Google (при поиске по каталогу надо нажать Web Pages вверху или внизу страницы).
  • HotBot - известный поисковый сервис. Изначально был поисковой системой с пауком, сейчас располагает еще и каталогом ресурсов, а также сервисом релевантности по количеству заходов (от DirectHit ).
    При стандартном поиске в HotBot (web-search) выдаются результаты сначала (первые 9) полученные от DirectHit по тому же поисковому запросу, затем (10-й на первой странице, и начиная с 11го по десять на следующих) поисковые результаты из базы Inktomi, обработанные с помощью собственного алгоритма поиска. Если по поисковому запросу (например, "large electronic sign") в DirectHit не было найдено ни одного соответствия, то результаты начиная с первого берутся из базы Inktomi ; правда в самом DirectHit из таких запросов, видимо, исключается самое непопулярное слово (ответ такой же как и "electronic sign").
  • Open Directory Project - достаточно новый каталог ресурсов. Основан на редакторах-добровольцах. Образован тремя компаниями - Lycos , Mozilla.org и HotBot .
    Поставляет свою базу данных (не результаты) другим поисковым сервисам - HotBot , Lycos , AOL , Google , AskJeeves (см.также DirectHit и AskJeeves ).
    Присутствие ссылки на сайт увеличивает релевантность на AltaVista .
  • DirectHit - поисковая система, алгоритм которой основан на учете количества нажатий на ссылку ресурса с его описанием. Т.е. по некоторым критериям находятся документы, и человек, нажимая на ссылку в списке результатов поиска, переходит на сайт, одновременно "голосуя" за него. Т.е. реально оценивается не популярность документа, а правильность его названия и описания. Это видимо дает некоторый отсев спаммеров. Поясним на примере. Человек посылает поисковый запрос поисковой системе, она в ответ выдает список результатов. Предположим, что на первой странице есть обычные результаты поиска (есть нормальное название и описание, внушающее доверие) и спам (в названии и описании часто используются ключевые слова в ущерб информативности этих полей). Естественно, человек скорее всего нажмет на "правильную" ссылку. Если большинство людей делает также, то с течением времени "неправильная" ссылка опускается все ниже и ниже и уходит из поля зрения.
    Результаты поиска DirectHit используются достаточно часто другими поисковыми сервисами. Так, HotBot показывает в своих результатах сначала первые 9 самых популярных (по тому же поисковому запросу, с точки зрения DirectHit ) сайтов, в MSN стоит ссылка "Top 10 Most Popular Popular Sites for строка запроса", в Lycos первые 4 результата на первой странице "4 Web Sites selected based on user selection traffic".
  • AskJeeves Оригинальный поисковый сервис, предназначенный для поиска по прямым вопросам пользователей. Если тема популярна, то предлагает выбрать наиболее конкретный вопрос из списка. Видимо, список отслеживается в сотрудничестве с DirectHit .
    Первая страница обычно совпадает с результатами поиска на DirecHit по тому же поисковому запросу. Есть непроверенная информация, что используются данные с Looksmart и Google для поиска документов.
  • Looksmart один из наибольших каталогов ресурсов в Интернете. Ценен тем, что предоставляет свой каталог для таких систем как AV, MSN , Excite , iWon , CNN , WebCrawler , TimeWarner , Netscape NetCente r, Sony , US West , NetZero и др. AltaVista и CNN используют напрямую результаты поиска, остальные только базу каталога со своими алгоритмами.
    Для того, чтобы зарегистрировать сайт в Looksmart необходимо оплатить просмотр сайта редактором каталога. За просмотр в течение 8 недель - 149$, в течение 2 деловых дней (business days) - 299$. Бесплатно ресурсы больше не регистрируются (больше двух лет).
  • AOL (America On Line) поисковый сервис. Его главное преимущество - это то, что он находится на очень популярном сервере AOL , у которого достаточно много клиентов.
    Выдает результаты поиска, исходя из базы ODP , но сортируя их своим алгоритмом. После результатов из базы ODP выдает результаты поиска по базе Inktomi , тоже обработанные своим алгоритмом.
  • MSN (Microsoft Search Network) поисковый сервис также наиболее ценный тем, что находится на популярном ресурсе - в данном случае на сайте Microsoft. Идеология такая же как и на AOL Search - сначала выдаются результаты из базы ODP , затем из базы Inktomi , алгоритмы в обоих случаях свои.
  • Inktomi - не имеет собственного поискового сервиса, но занимается индексацией ресурсов интернета для предоставления базы другим компаниям. Базу Inktomi используют: AOL, MSN, HotBot, iWon, Canada, Nbci (Snap), GoTo, Anzwers .
  • Этот обзор не является полным и законченным, возможны, например, обратные взаимодействия рассмотренных систем - подтвердить или опровергнуть это пока не удалось.

    Для наглядности необходимо составить схему взаимодействия крупнейших международных поисковых систем - (см. приложенную схему).

    Вывод о практическом применении.

    Таким образом, анализируя все вышесказанное по схеме взаимодействия международных поисковых систем, можно определить основные стратегические поисковые базы, появление в которых сильно увеличивает вероятность высоких позиций в большинстве больших международных поисковых систем (на схеме обведены красным).

    Обозначения:


    Такими "стратегическими центрами" являются:

  • Каталог Looksmart (каталоги Looksmart, AltaVista, Microsoft Search Network, Excite, iWon, WebCrawler, TimeWarner, CNN, Netscape NetCenter, Sony, US West, NetZero , улучшение в поиске AltaVista );
  • База Inktomi (база данных для поиска в HotBot, AOL, MSN, iWon, Canada, Nbci(Snap), GoTo, Anzwers );
  • Каталог Open Directory Project (каталоги HotBot, Google, AOL, AskJeeves , улучшение в поиске AltaVista );
  • Каталог Yahoo! (улучшение в поиске AltaVista , других данных нет, но это самый популярный каталог ресурсов интернет (не считая всех партнеров Looksmart как один каталог)).
  • Для "захвата" этих "стратегических центров" требуется
  • каталог Looksmart - подходящий тематике раздела контент, доступность сайта, англоязычность, "предназначенность для американской аудитории", не очень мало страниц, быстро грузится, а также 149$ (редактор просмотрит сайт за 8 недель) или 299$ (за два дня), все оплаты по кредитной карте;
  • База Inktomi - не спамминговать (не импользовать запрещенные приемы для повышения релевантности), бесплатно;
  • Каталог Open Directory Project (Dmoz) соответствие категории, аглоязычность (или в отдельную категорию), бесплатно;
  • Каталог Yahoo! соответствие категории, англоязычность (или в отдельную категорию), просмотр сайта в течение 7 дней - 299$ (перед этим надо стать зарегистрированным членом клуба Yahoo! ).
  • Данная статья не претендует на абсолютную истинность, но надеюсь, сможет помочь кому-нибудь в выборе стратегии захвата ключевых позиций в наиболее значимых поисковых системах.



    Понравилась статья? Поделиться с друзьями: