La recherche d'informations sur Internet s'effectue de deux manières principales: à l'aide de répertoires (également appelés annuaires) et à l'aide de moteurs de recherche.

Les répertoires fournissent une recherche contextuelle pour une navigation structurée, tandis que les moteurs de recherche, comme leur nom l'indique, ne fournissent pas de contexte, mais ils vous permettent de rechercher des mots ou des phrases spécifiques.

Les répertoires peuvent être assimilés à la table des matières d'un livre et les moteurs de recherche - à un index.

Souvent, les moteurs de recherche combinent un moteur de recherche et des annuaires.

Cela se voit clairement dans l'exemple de la première page de Yandex, où une liste de répertoires est placée sous le champ de recherche, ce qui permet à l'utilisateur d'affiner la requête au fur et à mesure de son approfondissement.

Étant donné que le principe d'organisation de répertoires est clair pour quiconque a utilisé le catalogue de bibliothèque - et parmi ses lecteurs, nous osons en croire l'écrasante majorité, nous ne nous attarderons pas sur la technique du travail de répertoires et porterons une attention accrue au travail avec les moteurs de recherche. À la fin de la conversation sur les répertoires, nous allons donner un exemple de "chaîne", qui est utilisée pour rechercher dans le catalogue Yandex: Entreprises\u003e Publicité\u003e Publicité sur Internet.

Tous les moteurs de recherche fonctionnent sur le même algorithme et reposent sur les mêmes principes. Les différences entre eux ne se manifestent qu'au niveau de la mise en œuvre technique de ces principes dans le travail.

Pour comprendre le principe du moteur de recherche, nous allons essayer de diviser la question en deux parties: quelle est la base de la recherche et comment est-elle mise en œuvre.

Tous les moteurs de recherche sont basés sur les trois principaux opérateurs sous-jacents à l’algèbre booléenne (également appelée logique booléenne ou booléenne).

Ce sont les opérateurs logiques "AND", "OR" et "NOT". Ils fonctionnent comme suit.

1. Logique "et". Si, entre les deux mots de la requête, se trouve l'opérateur «ET», la recherche ne trouvera que les documents contenant les deux mots. Par exemple, sur demande, le chien ET le chat trouveront un document contenant la phrase "Le chien a poursuivi le chat,"documents du même texte "Le chat se reposait"ou "Nourriture pour chien" on ne verra pas.

2. Logique "OU".Si, entre les mots, il y a un opérateur "OU", alors le résultat de la recherche sera un document contenant au moins un de ces mots.

Si nous ne faisons pas de réserves restrictives particulières, nous trouverons également les documents dans lesquels ces deux mots sont présents.

Sur demande chien OU chat nous recevrons les documents exclus de la dernière demande et contenant le texte "Le chat se reposait"ou "Nourriture pour chien",ainsi que le matériel avec la proposition "Le chien poursuivait le chat."

3. Logique "PAS".Si les deux opérateurs précédents ont décrit les mots que vous souhaitez inclure dans la requête, l'opérateur «NOT» exclut les mots de la requête. Les utilisateurs qui rencontrent des opérateurs de requête pour la première fois expriment souvent leur surprise: n'est-il pas plus facile de ne pas inclure le mot inutile dans la requête? Pourquoi introduire un opérateur supplémentaire? Hélas non. Pas plus facile.

En fait, pour comprendre l’importance de l’opérateur logique "NOT", il est logique de rappeler que notre demande ne crée rien de nouveau sur Internet. Nous obtenons seulement ce dont nous avons besoin de cet immense, mais toujours fini. Dans le même temps, il est nécessaire de supprimer les informations inutiles. Nous avons également coupé avec l'aide de l'opérateur "PAS". Malheureusement, ce n'est pas à nous de décider si nous verrons cette poubelle dans le numéro. Ainsi, par exemple, à la demande d'informations sur la crête du toit, des déchets d'information apparaissent invariablement sous la forme de documents sur Skate-Hunchback, le patinage artistique, le hockey, les chevaux, etc. Sans un "NON" logique, il n'y a pas moyen de le faire.

Regardons des exemples de fonctionnement de l'opérateur logique "NOT".

Sur demande, le chien n'est PAS un chat, on trouvera un document contenant le texte. "Nourriture pour chien",mais des documents avec des mots "Le chat se reposait"ou "Le chien a poursuivi le chat,"et même "Nourriture pour chien et chats"de l'émission sera exclue.

Il existe souvent une variante d'orthographe légèrement plus compliquée de la requête, qui contient tous ou presque tous les opérateurs ci-dessus. Dans ce cas, il est préférable d'utiliser un élément tel que des parenthèses arrondies. Les crochets vous permettent de séparer le même type de mots de requête du reste. En outre, le compilateur lui-même est visuellement beaucoup plus pratique pour distinguer les fragments individuels de la requête. Nous n'allons pas trop théoriser sur les crochets, mais simplement démontrer le travail de cet élément avec des exemples concrets. À notre avis, on verra plus clairement comment et quoi pour les crochets.

Alors, demandez moelleux ET (chiens ou chats)

vous permettra de recevoir des documents concernant les chiens et les chats moelleux, individuellement ou ensemble. Dans le même temps, les crochets «s’ouvrent» selon les règles arithmétiques habituelles pour mettre en évidence le facteur commun (pour ceux qui n’aiment pas les mathématiques, nous nous empressons de dire que nous n’approfondirons pas cela). Mais la demande est moelleuse ET (chiens OU chats) NON (chiens ET chats)

publiera des documents dans lesquels il est écrit sur les chiens ou les chats duveteux, mais ne contiendra pas de textes où les chiens et les chats seront mentionnés en même temps.

Encore une fois, tous les moteurs de recherche travaillent à présent sur la base d'une analyse de ces trois opérateurs, bien que les nuances de leur écriture dans différents moteurs de recherche puissent différer.

Chaque moteur de recherche complet possède son propre personnel de robots, ou araignées. Ils sont aussi appelés les robots d'exploration et les araignées (araignées). Ce sont des programmes qui sautent d’une page à l’autre et numérisent les textes qu’ils contiennent, sans fouiller dans leur contenu. Ensuite, ils déposent les documents sur les serveurs de leurs propriétaires et passent aux pages suivantes. Comment une araignée détermine-t-elle où aller? Il trouve le soi-disant hyperlien (celui qui, en survolant sur lequel le curseur prend la forme d'une paume ouverte, et en cliquant sur une transition vers une autre page) et le suit. C'est pourquoi si aucun lien ne mène à la page, l'araignée ne viendra pas non plus. Une exception est le cas où le propriétaire de la page en informe manuellement le moteur de recherche en remplissant un formulaire spécial sur le site Web du moteur de recherche.

Sur un serveur de moteur de recherche, le texte est divisé en mots distincts, auxquels sont attribuées des coordonnées. Ils sont ensuite entrés dans la table des serveurs avec un lien vers l'adresse Internet où le texte était situé au moment de la visite par l'araignée.

En soi, le moteur de recherche est un grand réseau local constitué d'ordinateurs puissants dotés d'une énorme quantité de mémoire disque. Ces machines sont divisées en sous-groupes (appelés "clusters"), entre lesquels sont réparties les informations collectées par les araignées.

Lorsqu'un moteur de recherche reçoit une requête, il recherche la réponse dans son propre tableau, et non sur Internet.

Il est important de comprendre comment l’araignée décide à quelle fréquence elle doit visiter telle ou telle page. Cet algorithme ressemble approximativement à ce qui suit. Après avoir travaillé avec la page, l'araignée y revient, mais au bout de deux semaines par exemple. Et s’il constate qu’aucun changement n’est survenu, il planifie sa prochaine visite dans un délai plus long, par exemple dans un mois. Et même s’il ne trouve rien de nouveau, il reviendra ici plus tard, dans un mois et demi ou deux.

C’est pourquoi il arrive souvent que le moteur de recherche retourne un résultat sur demande et que la tentative d’accès à la page par le lien reçu échoue. Il est fort probable qu’aucune page n’existe tout simplement pas au même endroit, mais l’araignée ne l’a pas visité depuis longtemps. le système ne sait pas à propos de son retrait.

L'ensemble des processus décrits ci-dessus s'appelle l'indexation.

À notre avis, l’histoire de l’évolution des moteurs de recherche est présentée dans l’ouvrage The Invisible Internet de Chris Sherman et Harry Price, experts reconnus de l’Internet invisible.

Jusqu'au milieu des années 1960, il y avait peu d'ordinateurs. Isolés les uns des autres, ils ne pouvaient pas partager d'informations.

En 1962, le professeur Licklider de la principale université technique des États-Unis - le Massachusetts Institute of Technology - a formulé le concept de réseau informatique mondial «Galactic Network». L’idée a commencé à être mise en oeuvre par Larry Roberts, un employé du département américain de la Défense, qui, quatre ans après la publication de l’article du professeur, a suggéré que les ordinateurs individuels du ministère soient connectés au réseau décrit par Liklider. Ce sont les conditions préalables à l’émergence du réseau ARPANET, qui a ensuite évolué pour devenir ce qu’on appelle aujourd'hui l’Internet. Le premier nœud «ARPANET» est apparu en 1969, auquel ont été rattachées les universités et divers entrepreneurs travaillant sur commande de l'armée américaine.

En 1973, le département de la Défense des États-Unis a lancé un nouveau programme prévoyant une communication fiable des ordinateurs entre eux en utilisant un très grand nombre de connexions différentes. Le but de cette décision était d’accroître la résistance du système aux tentatives de perturbation massive des moyens de communication électroniques. Depuis que tout cela s’est passé pendant la guerre froide, il s’agissait d’une résistance aux conséquences horribles qui menaçaient un affrontement nucléaire stratégique. ARPANET étant un réseau unique qui, au niveau du système, réduisait sa capacité à résister à la destruction, l’idée de créer un «réseau de réseaux», qui pourrait théoriquement être infiniment grand, est née. Ce projet s'appelait «Internet» et Internet lui-même.

Alors que le nombre de machines connectées à Internet augmentait, la nécessité de disposer d'outils facilitant la recherche de texte et d'autres fichiers sur un ordinateur distant, idéalement sur n'importe qui, n'importe où sur le Web, était mûre.

L'accès aux fichiers dès les premières étapes du développement d'Internet s'est effectué en deux étapes, chacune effectuée manuellement: des commandes spéciales ont été entrées à l'aide du clavier. En passant, les ordinateurs ne peuvent être contrôlés que par des spécialistes capables de saisir des commandes dans la ligne appropriée. L'interface graphique permettant de travailler confortablement avec la machine à la personne non préparée, n'a pas encore été inventée. Donc, tout d’abord, en utilisant le programme Telnet, une connexion directe a été établie avec l’ordinateur sur lequel se trouve le fichier nécessaire. À ce stade, la communication ne faisait que s'établir: rien et nulle part à ce moment n’avait encore été transmis. Et alors seulement avec l'aide d'un programme spécial - FTP - ce fichier particulier pourrait être pris.

Évidemment, la recherche du bon document a pris beaucoup de temps: il était nécessaire de connaître l'adresse exacte de l'ordinateur sur lequel il se trouve.

Pendant ce temps, les fichiers ont été de plus en plus nombreux, leur intérêt a constamment augmenté et, pour trouver l’adresse de l’un d’eux, il fallait généralement contacter les groupes de discussion pour obtenir de l’aide et dans l’espoir que les interlocuteurs l’inciteraient, sur lequel les informations nécessaires sont stockées.

En conséquence, des serveurs FTP spéciaux ont commencé à apparaître, ce qui représentait un référentiel de fichiers organisés dans un répertoire, sur le principe de stockage des informations sur un ordinateur personnel. De tels serveurs existent à ce jour.

Le premier outil de recherche de fichiers utilisable, accessible au public et stocké sur des serveurs FTP s'appelait Archie. Il a été créé en 1990 par un groupe d'administrateurs système et d'étudiants expérimentés de l'Université McGill à Montréal. Archie était le prototype des moteurs de recherche actuels, mais beaucoup plus primitif et limité dans ses capacités. Il a navigué sur Internet, a recherché des fichiers sur différents serveurs FTP et a téléchargé une liste de répertoires pour chaque serveur trouvé seul, formant ainsi un répertoire commun.

Ce répertoire a ensuite été traité et stocké dans une base de données centrale dans laquelle il était possible d'organiser une recherche. La recherche sur votre propre ordinateur existait déjà depuis longtemps et, même si elle nécessitait également la saisie de commandes, elle ne créait aucune difficulté dans son travail. Cependant, sans formation spéciale, une personne ne pourrait pas utiliser pleinement un ordinateur. La base de données était située à l'Université McGill et était mise à jour tous les mois.

En 1991, l’équipe Mark McCahill de l’Université du Minnesota a créé le programme Golden Gopher (Golden Gopher, traduit de l’anglais par «chercheur d’or» ou «prospecteur»), combinant les protocoles Telnet et FTP. Tout ce que l’utilisateur devait faire pour accéder aux informations nécessaires était de cliquer sur le lien hypertexte fourni dans le menu. Ainsi, pour la première fois de l’histoire, il n’était plus nécessaire de saisir de commande, de sorte que les ressources Internet pouvaient désormais «errer» sans formation particulière.

Le programme montrait successivement à l’utilisateur des menus pas à pas, ce qui lui permettait d’accéder sans problème à la base de l’annuaire, se rapprochant de plus en plus des documents spécifiques constituant la cible de la recherche. En fait, cet algorithme est conservé aujourd'hui dans des répertoires situés sur Internet.

Il est devenu possible de recevoir des documents texte, graphiques et musicaux, sans être lié à un format particulier. Et surtout, il est devenu en principe possible de trouver et de recevoir facilement les informations nécessaires sur Internet.

Cependant, des problèmes subsistaient. L’un d’eux, assez grave, était lié au fait que les ordinateurs étaient construits sur des plates-formes différentes, qui parfois ne se comprenaient pas. Ici, vous pouvez faire une analogie avec des personnes qui parlent des langues complètement différentes et ne peuvent donc pas construire une conversation plus ou moins significative. A cette époque, ce ne sont pas les systèmes d'exploitation qui se font concurrence, comme aujourd'hui, mais les fabricants de matériel informatique. Aujourd'hui, il est moins important de savoir qui a fabriqué l'ordinateur. Plus important encore, ce qui est installé dessus: Windows, Linux, Mac OS ou un autre système. Et puis ce sont les fabricants de "fer" qui ont déterminé le visage d'Internet.

Objectivement, l'idée était que les ordinateurs de différentes plates-formes devraient pouvoir fonctionner dans le même protocole, ce qui vous permet d'afficher des pages indépendamment de la machine sur laquelle ces pages sont créées. Il était nécessaire d'inventer un tel protocole universel et de le rendre plus pratique pour les utilisateurs. Tim Berners-Lee (Tim Berners-Lee) fut le premier à deviner la forme simple d'hypertexte connue à l'époque avec des protocoles de communication universels.

Afin de permettre à l'utilisateur de se retrouver entre les mains d'un outil simple, indépendant de la plate-forme, Berners-Lee a créé HTML (HyperText Markup Language, autrement dit Hypertext Markup Language). Tous les documents Web formatés à l'aide de balises HTML sont exactement les mêmes partout dans le monde, quel que soit le type d'ordinateur sur lequel la personne a ouvert la page du site. Par conséquent, même aujourd'hui, lors de la conversion d'un fichier au format HTML, par exemple sur une machine exécutant le système d'exploitation MacOS, vous pouvez être sûr que ce fichier aura la même apparence sur un ordinateur exécutant Windows.

Ensuite, Berners-Lee a proposé l’Universal Resource Identifier, une méthode de normalisation des adresses. Des adresses uniques sont attribuées aux ordinateurs Internet (nous les appelons aujourd’hui l’URL, qui est généralement ce que l’utilisateur commence par «www». Enfin, l’inventeur a rassemblé tous ces éléments pour créer un système sous la forme de serveurs Web qui stockent des documents HTML et les présentent à d’autres ordinateurs, créant ainsi des requêtes HTML pour les documents sur des URL spécifiques.

Mais Berners-Lee souhaitait voir Internet comme un espace d’information dans lequel vous pouvez accéder librement à des données de tous types. Au début du développement du Web mondial, les documents HTML en texte brut prévalaient. À cette époque, il existait des systèmes de récupération d’informations sur des ordinateurs locaux. Plusieurs serveurs sont donc apparus. Ils ont tenté d’indexer une partie des pages Web et, avant de passer à l’Internet, ont proposé de rechercher les informations nécessaires sur ces serveurs.

Dans le même temps, le principal problème était de trouver des pages pouvant, en principe, être indexées. Internet manquant d'une structure centralisée et d'une table des matières générale, le seul moyen d'y parvenir était de rechercher un lien vers une page et de suivre ce lien, suivi de l'ajout de la ressource trouvée à l'index.

Cependant, un autre problème s'est vite posé. Les pages les plus populaires ont été visitées par les araignées plus souvent que d’autres, car elles indiquaient le nombre maximal de liens. Les araignées, dont le nombre et les possibilités étaient limités, "ont raccroché" sur de telles pages et gaspillé des ressources, laissant de nombreuses autres adresses encore moins populaires et non visitées. Pour résoudre ce problème, il était nécessaire de créer un programme permettant d'ignorer les pages déjà indexées et de rechercher de nouvelles pages. Sinon, cela menaçait un problème de ressources.

En 1993, Matthew Gray, physicien au Massachusetts Institute of Technology, créa le premier robot Web bien connu, appelé World Wide Web Wanderer ou simplement Wanderer, qui signifie «vagabond» ou «vagabond». . Le fait est que Gray s'intéresse aux statistiques. Cet enthousiasme a eu pour résultat l'émergence du "vagabond": l'invention était destinée à aider l'étudiant à analyser la taille d'Internet et son taux de croissance. "Vanderer" vient d'arriver sur la page et détermine le fait même de son existence, sans entrer le contenu de l'adresse trouvée dans la base de données. Bien que le créateur du robot ne poursuive aucun autre objectif, son invention, qui a en fait fait ses débuts dans la «série» de découvertes Internet progressives, a constitué la base de programmes plus complexes, renforçant la capacité du «voyageur» à naviguer sur le Web. données après leur visite.

Il se trouve que 1994 a été un tournant dans l’histoire des moteurs de recherche. Brian Pinkerton (Brian Pinkerton), étudiant diplômé de l'Université de Washington, en avait assez des innombrables courriels que ses amis lui ont envoyés contenant des informations sur les bons sites qu'ils ont trouvés sur Internet. Bien sûr, les sites dont il avait besoin, mais la rafale de messages avec leurs adresses étaient agacés et la consultation de toutes les pages prenait beaucoup de temps. Cependant, Pinkerton a trouvé une solution au problème: il a créé un robot qu'il a appelé WebCrawler (un «véhicule tout-terrain pour Internet»). WebCrawler, comme Wanderer, a exploré de page en page, stockant tout le texte du document Web et le stockant dans une base de données accessible aux mots-clés. L'inventeur a présenté sa progéniture au public en avril 1994 et l'a fait virtuellement par le biais de l'interface Web. La base de données à cette époque contenait des informations provenant de 6 000 serveurs très différents. Une semaine plus tard, elle a commencé à se développer, avec une augmentation quotidienne de plus de 100 nouveaux serveurs. Ainsi, le premier moteur de recherche est né.

Dans le même temps, le terme «robot d'exploration» ou «araignée» a été introduit dans l'utilisation par les utilisateurs d'Internet, qui est utilisé, comme nous l'avons dit, à ce jour.

1994 - WebCrawler, Lycos, Yahoo!

1995 - Infoseek, SavvySearch, AltaVista, MetCrawler, Excite. L'émergence de machines de métarecherche.

1996 - HotBot, LookSmart.

1997 - NorthernLight.

1998 - Google, InvisibleWeb.com.

Les moteurs de recherche russes sont apparus dans l'ordre suivant:

2004 - Version russe de Google (www.google.ru) et version russe de Yahoo! (http://www.yahoo.com).

Avant de passer à la description du langage d'interrogation des moteurs de recherche, déterminez lequel des éléments avec lequel l'araignée doit travailler constitue généralement un site.

Je dois dire que le langage HTML est assez simple et logique. C'est une méthode de division de texte à l'aide d'éléments spéciaux - des balises qui définissent la structure et l'apparence du texte lorsqu'il est affiché dans un navigateur. À propos des tags, vous devez savoir qu’ils sont toujours appariés et qu’ils le sont. ouverture(indique le début d'une mise en forme spécifique) et fermeture(dénote sa fin). La balise de fermeture est identique en écriture à la balise d’ouverture, mais il y a une barre oblique devant elle.

Nous donnons un exemple de site très simple (Fig. 1).

Fig. 1. Un exemple du site, comme dans le navigateur Mozilla Firefox.

En haut de la page indiquée dans la figure, c'est-à-dire non dans le texte du site, mais dans la marge supérieure du cadre de la page, à côté de l'icône de navigateur circulaire, figure l'inscription: "Affichage du périphérique du site". Il se trouve dans l’en-tête de page (qui est placé entre la balise ouvrante) ). Nous attirons votre attention sur le fait qu'il s'agit du titre de la page entière et non du texte.

Au milieu de l'image présentée en italiques gras, il est écrit: "Ceci est un site simple." Cette inscription est le titre du texte. La police de caractères de la phrase «Ceci est un site simple» est plus grande que la police de texte du site, elle est spécialement mise en surbrillance comme titre du texte. Lorsque le balisage utilise HTML, ce texte est situé sous la balise.