Recherche de technologie Recherche d'informations sur Internet. Types d'outils de recherche

1. Introduction

2. Technologies de recherche

2.1 outils de recherche

2.2 Moteurs de recherche (moteurs de recherche)

2.3 Répertoires (répertoires)

2.4 Vente de liens

2.5 Bases de données d'adresses (Données de la base de données d'adresses)

2.6 Recherche dans Archives Gopher (Archives Gopher)

2.7 Système de recherche de fichiers FTP (recherche FTP)

2.8 Système de recherche dans Conférences Usenet News

2.9 Systèmes de recherche méta

2.10 Systèmes de recherche de personnes

3. Conclusion

Application . Information brève Sur les moteurs de recherche

1. Introduction

Chaque année, le volume de l'Internet augmente parfois la probabilité de trouver information nécessaire Augmente radicalement.

Internet combine des millions d'ordinateurs, de nombreux réseaux différents, le nombre d'utilisateurs est augmenté de 15 à 80% par an. Et néanmoins, de plus en plus lors de la mise en contact d'un problème basé sur Internet il ne démarquent aucun manque des informations souhaitées, maisla capacité de le trouver. En règle générale, une personne ordinaire pour différentes circonstances ne peut pas ou ne veut pas dépenser de la réponse à lui plus de 15 à 20 minutes. Par conséquent, il était particulièrement important de bien et compétent, cela semblerait une chose simple - où et comment rechercher pour recevoir les réponses souhaitées.

Trouver information nécessaireIl est nécessaire de trouver son adresse. Pour cela, il y a une spécialisation serveurs de recherche (Index Robots (moteurs de recherche), annuaires Internet thématiques, systèmes de recherche méta, services de recherche de personnes, etc.).

Ensuite, les principales informations sur la recherche d'informations sur Internet sont décrites, des traits généraux des outils de recherche sont fournis, des structures sont prises en compte. requêtes de recherche Pour les moteurs de recherche russophones et anglophones les plus populaires.

2. Technologies de recherche

Mot technologique web Toile large. (Www) est considéré comme une technologie spéciale pour la préparation et la mise en place de documents sur Internet. Le www inclut les pages Web et bibliothèques électroniques, catalogues et même musées virtuels! Avec une telle abondance d'informations, la question est brusquement: "Comment naviguer dans un espace d'information aussi vaste et à grande échelle?" En résolvant ce problème pour aider à venir outils de recherche.

2.1 Instruments de recherche

Les outils de recherche sont des logiciels spéciaux, dont le but principal est de fournir la recherche la plus optimale et la plus qualitative d'informations sur les utilisateurs d'Internet. Les outils de recherche sont placés sur des serveurs Web spéciaux, chacun effectuant certaines fonctionnalités:

1. Analyse des pages Web et amélioration des résultats de l'analyse à un ou plusieurs niveaux de la base de données du serveur de recherche.

2. Rechercher des informations sur la demande utilisateur.

3. Fournir une interface pratique pour rechercher des informations et afficher le résultat de la recherche par l'utilisateur.

Les techniques de travail utilisées lorsque vous travaillez avec ceux-ci ou d'autres instruments de recherche sont presque identiques.

Premièrement, considérez les concepts suivants:

1. L'interface d'outil de recherche est représentée sous forme de pages de liens hypertextes, d'une ligne d'alimentation de requête (chaîne de recherche) et d'outils d'activation de requête.

2. Index des moteurs de recherche- c'est base de l'informationcomprenant le résultat de l'analyse des pages Web compilées par certaines règles.

3. Une demande est un mot clé ou une phrase que l'utilisateur entre dans la chaîne de recherche. Pour la formation de demandes différentes, des symboles spéciaux ("", ~) et des symboles mathématiques (*, +, sont utilisés, sont utilisés (*, +,?).

Le schéma de recherche d'informations est simple. L'utilisateur gagne phrase clé Et active la recherche, obtenant ainsi une sélection de documents sur une requête formulée. Cette liste documente selon certains critères de sorte que, en haut de la liste, ces documents correspondent à la plupart de la demande de l'utilisateur. Chacun des outils de recherche utilise divers critères de classement de documents, à la fois lors de l'analyse des résultats de la recherche et de la formation de l'index (remplissant la base de données d'index des pages Web).

Ainsi, si vous spécifiez une requête de requête dans la barre de recherche pour chaque outil de recherche, vous pouvez obtenir des résultats de recherche différents. Pour que l'utilisateur revêt une grande importance, quels documents seront dans les deux ou trois douzaines de documents sur les résultats de la recherche et le nombre de ces documents correspondent aux attentes des utilisateurs.

La plupart des outils de recherche proposent deux méthodes de recherche - Recherche simple (recherche simple), recherche et recherche avancée) à l'aide d'une forme de requête spéciale et sans elle. Considérez les deux types de recherche sur un exemple de moteur de recherche anglophone.

Par exemple, Altavista est pratique à utiliser pour les demandes arbitraires " Quelque chose sur les diplômes en ligne dans la technologie de l'information", Tandis que Recherche Toolsahoo vous permet de recevoir des nouvelles mondiales, des informations sur le cours des devises ou des prévisions météorologiques.

L'élaboration de critères de mise à jour de la demande et des réceptions de la recherche avancée vous permet d'augmenter l'efficacité de la recherche et de trouver rapidement les informations nécessaires. Tout d'abord, vous pouvez augmenter l'efficacité de la recherche en utilisant dans les demandes d'opérateurs logiques (opérations) ou, et, près, pas, mathématiques et caractères spéciaux. En utilisant des opérateurs et / ou des caractères, l'utilisateur relie les mots-clés de la séquence souhaitée pour obtenir le résultat de la requête le plus adéquat. Formes de demandes d'eng. montré dans le tableau 1.

Tableau 1

Une simple demande donne un certain nombre de références aux documents, car La liste comprend des documents contenant l'un des mots saisis lorsqu'il est invité ou une phrase simple (voir tableau 1). L'opérateur peut indiquer que tous les mots-clés doivent être inclus dans le contenu du document. Cependant, le nombre de documents peut être encore génial et leur point de vue prendra suffisamment de temps. Par conséquent, dans certains cas, il est beaucoup plus pratique d'appliquer l'opérateur contextuel, indiquant que les mots doivent être situés dans un document suffisamment de proximité. UtiliserNear réduit considérablement le nombre de documents trouvés. La présence du symbole "*" dans la barre de requête signifie que la recherche de mots sera recherchée par son masque. Par exemple, nous obtenons une liste de documents contenant des mots commençant par "GOV" si dans la ligne de requête, nous écrirons "GOV *". Cela peut être les mots gouvernementaux, gouverneurs, etc.

Le service de recherche d'informations russophones le plus avancé fournit le serveur de recherche Yandex.

Dans Yandex, vous pouvez simplement écrire une phrase en russe, décrivant ce que vous souhaitez trouver, et le système analysera et traitera votre demande, puis essayer de trouver tout ce qui se réfère à un sujet donné.

Vous pouvez utiliser des opérateurs spéciaux, établir une chaîne expliquant le moteur de recherche, que vos exigences doivent respecter les informations qui vous intéressent. Certains des opérateurs de la langue d'index peuvent être consultés ici: http://help.yandex.ru/search/?id\u003d481939.

Un moteur de recherche de Rambler également populaire conserve des références fréquentées à partir de sa propre base de données, les mêmes opérateurs logiques sont pris en charge et, ou non, METACHASSIMMOL. Introduit dans la demande de mots.

Considérons les informations les plus populaires pour rechercher des informations sur Internet.

2.2 Moteurs de recherche (moteurs de recherche)

Les machines de recherche Web sont des serveurs avec base Les URL de données qui se réfèrent automatiquement aux pages www de toutes ces adresses, étudient le contenu de ces pages, forment et prescris des mots-clés à partir de pages à votre base de données (Pages Indexes).

De plus, les robots de moteur de recherche se déplacent sur les liens rencontrés sur les pages et les réincitent. Étant donné que presque toutes les pages de wwws ont de nombreux liens avec d'autres pages, alors avec un tel travail, le moteur de recherche finalement théoriquement peut contourner tous les sites Web sur Internet.

C'est ce type d'outils de recherche qui est le plus célèbre et populaire parmi tous les internautes. Tout le monde a un nom d'audience de machines de recherche Web célèbres (moteurs de recherche) -index,

Rambler, APORT.

Pour utiliser ce type d'outil de recherche, vous devez y accéder et saisir l'intérêt du mot clé dans la barre de recherche de la barre de recherche.

La recherche était la plus efficace faites attention aux moments suivants:

décider du thème de la demande. Que voudriez-vous trouver exactement?

faites attention à la langue, à la grammaire, à l'utilisation de divers symboles non élevés, morphologie . Il est également important de formuler et de saisir correctement les mots-clés. Chaque moteur de recherche a sa propre forme d'établissement - le principe d'un, mais les caractères ou les opérateurs peuvent différer. Les formulaires de demande requis diffèrent également en fonction de la complexité. logiciel Moteurs de recherche et services fournis par eux. Quoi qu'il en soit, chaque moteur de recherche a une section "Aider. "(" Aide "), où toutes les règles de syntaxe, ainsi que les recommandations et les conseils de recherche, sont disponibles (capture d'écran de la culotte des moteurs de recherche).

utilisez les capacités de différents moteurs de recherche . Si non trouvé sur Yandex, essayez sur Google. Utilisez les services de recherche étendus.

pour éliminer les documents contenant certains termes, utilisez le signe "-" Avant chaque mot. Par exemple, si vous avez besoin d'informations sur les œuvres de Shakespeare, à l'exception de Gamlet, entrez une demande dans le formulaire: "Shakespeare Hamlet". Et pour les résultats de la recherche pour certains liens, utilisez le symbole "+ ": Liens pour la vente de voitures - Demande" Vente + voiture ".

chaque référence dans la liste des résultats de recherche contient un extrait de recherche - plusieurs lignes du document trouvé, parmi lesquelles vos mots-clés se rencontrent. Avant de passer à la référence, évaluez la conformité du thème de l'extrait de la demande. En cliquant sur le lien sur un site spécifique, regardez soigneusement la page principale. En règle générale, la première page est suffisante pour comprendre - à l'adresse que vous êtes venue ou non. Si tel est le cas, recherchez ensuite les informations souhaitées sur le site sélectionné (dans les sections Site), sinon, retournez aux résultats de la recherche et essayez un autre lien.

n'oubliez pas que les moteurs de recherche ne produisent pas d'informations indépendantes (à l'exception des éclaircissements sur eux-mêmes). Système de recherche

– ce n'est qu'un intermédiaire entre le propriétaire de l'information (site) et vous. Les bases de données sont constamment mises à jour, de nouvelles adresses sont entrées dans elles, mais le décalage des informations vraiment existantes du monde demeure. C'est simplement parce que les moteurs de recherche ne fonctionnent pas à la vitesse de la lumière.

Pour les machines de recherche Web les plus célèbres, Yahoo, Alta Vista, Excite, Hot Bot, Lycos. Parmi les russophones russophones, vous pouvez sélectionner les noms, Rambler, APORT.

Moteurs de recherche sont les plus grandes et précieuses, mais loin des seules sources d'information sur le réseau.

La recherche d'informations sur Internet est effectuée par deux manières principales - avec l'aide de répertoires (ce sont également des annuaires) et d'utiliser des moteurs de recherche.

Répertoire Fournissez une recherche contextuelle de la vue structurée, tandis que les moteurs de recherche, comme suit leur nom, le contexte ne fournit pas, mais vous permet de trouver des mots ou des phrases spécifiques.

Le répertoire peut être aimé par la table des matières du livre et des moteurs de recherche - le pointeur de sujet.

Souvent, les moteurs de recherche combinent les moteurs de recherche et les répertoires.

Il est clairement visible sur l'exemple de la première page de Yandex, où ligne locale Il existe une liste de répertoires permettant à l'utilisateur de clarifier la demande car elle se déplace dans chacune d'elles.

En raison du fait que le principe de l'organisation de l'annuaire est compréhensible pour tous ceux qui ont utilisé le catalogue de la bibliothèque - et parmi les lecteurs de tels, osez croire, la grande majorité - nous ne nous attarderons pas sur la technique de travailler avec des administrateurs et de payer plus d'attention pour travailler avec des moteurs de recherche. À la fin de la conversation du catalogue, nous donnons un exemple de "chaîne", qui recherche dans le catalogue Yandex: Business\u003e Publicité\u003e Publicité sur Internet.

Tous les moteurs de recherche travaillent dans le même algorithme et sont basés sur les mêmes principes. Les différences entre eux ne se produisent qu'au niveau de la mise en œuvre technique de ces principes dans le travail.

Pour comprendre le principe de fonctionnement du moteur de recherche, essayons de diviser la question en deux parties: quelle est la recherche et comment elle est mise en œuvre.

Tous les moteurs de recherche sont basés sur les trois principaux opérateurs sous-jacents à une algèbre booléenne (elle s'appelle également la logique booléenne ou Boolean).

Ce sont des opérateurs logiques "et", "ou" et "pas". Ils travaillent comme suit.

1. Logique "et". Si entre deux mots de la demande est l'opérateur "et", la recherche ne trouvera que ces documents dans lesquels des deux mots seront trouvés. Par exemple, sur demande, le chien et le chat seront trouvés un document contenant l'offre "Le chien a chassé derrière le chat",documents composés de texte "Chat reposé"ou alors "Nourriture pour chiens", nous ne verrons pas.

2. Logique "ou".S'il y a une déclaration "ou" entre les mots, le résultat de la recherche sera les documents dans lesquels il contient au moins un de ces mots.

Si nous ne faisons pas de réservation restrictive spéciale, les matériaux dans lesquels ces deux mots sont présents seront également trouvés.

Sur demande, un chien ou un chat, nous recevrons des documents exclus dans la requête passée et contenant du texte. "Chat reposé"ou alors "nourriture pour chien",ainsi que le matériel avec une proposition "Le chien a chassé derrière le chat."

3. Logique "pas".Si les deux opérateurs précédents ont décrit les mots que vous souhaitez inclure dans la requête, l'instruction "non" de mots de la demande est éligible. Les utilisateurs de la première fois rencontrés avec les opérateurs de demande expriment souvent surprise: ils disent, n'est-ce pas plus facile et ne pas inclure un mot inutile dans la demande? Pourquoi entrer opérateur supplémentaire? Malheureusement non. Pas plus facile.

En fait, comprendre l'importance de l'opérateur logique "non", il est logique de se rappeler que notre demande ne crée rien de nouveau sur Internet. Nous venons d'apprendre ce dont nous avons besoin de l'énorme réseau existant, mais toujours final. Dans ce cas, vous devez couper la corbeille d'informations. Il se compare également avec l'opérateur "non". Malheureusement, nous ne décidons pas si nous verrons ces ordures dans l'extradition. Par exemple, à la demande d'informations sur la tige du toit, une poubelle d'information apparaît invariablement sous la forme de documents sur le patin-hump, le patinage artistique, le hockey, les chevaux, etc. sans logique "non" il n'y a pas de façon de faire.

Considérons des exemples de travail de l'opérateur logique "non".

Sur demande, un chien n'est pas un chat sera trouvé un document contenant du texte "nourriture pour chien",mais les documents avec les mots "Chat reposé"ou alors "Le chien a chassé derrière le chat",et même "Nourrir les chiens et les chats"de la délivrance sera exclu.

Se produit souvent un peu plus option complexe Écrire une demande contenant tout ou presque tous les opérateurs ci-dessus. Dans ce cas, il est préférable d'utiliser un tel élément comme des clips ronds. Les crochets vous permettent de séparer le même type de demande du reste. En outre, en même temps, il est visuellement beaucoup plus pratique de distinguer des fragments distincts de la demande. Nous ne serons pas trop théoriques sur les crochets, mais SIM SIM démontre simplement le travail de l'élément spécifié sur exemples spécifiques. À notre avis, il sera plus clair, car pour quels supports sont utilisés.

Donc, la demande est moelleuse et (chiens ou chats)

vous permet d'obtenir des documents liés aux chiens moelleux et aux chats moelleux - individuellement ou ensemble. Les crochets sont "révélés" par les règles arithmétiques habituelles pour faire un support facteur général (Pour ceux qui n'aiment pas les mathématiques, nous chercherons à dire que nous ne serons pas plus profonds). Mais la demande moelleuse et (chiens ou chats) ne sont pas (chiens et chats)

donnons des documents dans lesquels il est écrit sur des chiens moelleux ou des chats moelleux, mais ne contiendra pas de textes où les chats et les chiens seront mentionnés en même temps.

Répéter une fois de plus, tous les moteurs de recherche travaillent aujourd'hui sur la base de l'analyse de ces trois opérateurs, bien que leurs nuances de les écrivent dans différents moteurs de recherche peut différer.

Chaque moteur de recherche à part entière possède son propre personnel de robots ou d'araignées. Ils sont également appelés rampes (crawlers) et des araignées (araignées,). Ce sont des programmes qui sautent de la page à la page et numérisent les textes qui sont sur eux, pas en même temps dans leur contenu. Après cela, réinitialisez les documents sur les serveurs de leurs propriétaires et accédez aux pages suivantes. Comment l'araignée détermine-t-elle où aller? Il trouve le soi-disant lien hypertexte (que très, lorsque le curseur acquiert la vue de la paume ouverte et lorsque vous cliquez sur lequel la transition vers une autre page a lieu) et y poursuit. C'est pourquoi, si aucun lien ne mène à la page, l'araignée n'en arrivera pas. L'exception est la situation lorsque le propriétaire de la page informe manuellement le moteur de recherche à ce sujet en remplissant un formulaire spécial sur le site du moteur de recherche.

Sur le serveur de moteur de recherche, le texte est divisé en mots distincts, chacun des coordonnées attribuées, après quoi elles sont entrées dans la table de serveur en référence à l'adresse sur Internet, par laquelle le texte était situé au moment de la Visiter l'araignée.

Le moteur de recherche est un grand réseau localcomposé de ordinateurs puissants Avec énorme volume mémoire de disque. Ces machines sont divisées en sous-groupes (appelées clusters), entre lesquelles les informations recueillies par des araignées sont distribuées.

Lorsque le moteur de recherche reçoit une demande, il recherche la réponse spécifiquement dans sa table et non sur Internet.

Il est important de comprendre comment l'araignée décide, avec quelle fréquence il devrait être visitée par une page ou une autre. Cela ressemble à cet algorithme approximativement comme suit. Ayant travaillé avec la page, l'araignée revient à elle, n y, par exemple, dans deux semaines. Et s'il voit qu'aucun changement ne s'est produit, il planifie la visite suivante dans une période plus longue - par exemple, par mois. Et si cela ne détecte rien de nouveau, vous êtes guidé ici plus tard, après un mois et demi ou deux.

C'est pourquoi il arrive souvent que le moteur de recherche sur demande du résultat donne, et la tentative d'accéder à la page pour le lien résultant à l'échec non probable - probablement, aucune page n'existe tout simplement pas au même endroit, mais l'araignée Il n'est pas venu à elle depuis longtemps et, en conséquence, la recherche du système sur son retrait ne sait pas.

L'ensemble des processus décrits ci-dessus est appelé indexation.

L'histoire de l'évolution des moteurs de recherche est la plus complète, à notre avis, présentée dans le livre d'experts reconnus dans l'Internet invisible de Chris Sherman et Harry Price "Internet invisible".

Jusqu'au milieu des années 1960, il y avait peu d'ordinateurs. Isolé les uns des autres, ils ne pouvaient pas échanger des informations.

En 1962, le professeur Liklider (Licklider) de la principale université technique des États-Unis - Institut de technologie Massachusetts - a formulé le concept du réseau mondial de réseau galactique. L'idée a commencé à incarner l'employé du ministère américain de la Défense de Larry Roberts (Larry Robberts), qui quatre ans après la publication des articles du professeur proposaient de s'unir. ordinateurs séparés Ministères du réseau décrit par le liceline. Ce sont les antécédents de l'émergence du réseau "Arpanet", qui s'est ensuite transformé en ce qui est important pour Internet aujourd'hui. Le premier noeud "Arpanet" est apparu en 1969 et les universités et diverses contreparties qui ont travaillé sur les ordres de l'armée américaine étaient liées à lui.

En 1973, le département de la défense des États-Unis a initié nouveau programmeAyant destiné à assurer une connexion fiable des ordinateurs les uns avec les autres avec un très grand nombre de connexions différentes. L'objectif d'une telle solution était d'accroître la durabilité du système pour tenter de perturber énormément les moyens de communication électroniques. Comme tout cela s'est passé à l'époque de la «guerre froide», il s'agissait de la durabilité des conséquences effrayantes, qui menaçaient la confrontation nucléaire stratégique. Étant donné que "ARPANET" était un réseau unique qui au niveau du système, il a souffert de sa capacité à résister à la destruction, l'idée de créer un "réseau à partir de réseaux", qui pourrait théoriquement être infiniment grande. Ce projet s'appelait "Internet" et Internet lui-même "Internet".

Comme le nombre de machines attachées à Internet augmentait, la question des outils de besoin doit être facile à trouver du texte et d'autres fichiers sur ordinateur distantIdéalement, sur tout, partout où il se trouve sur le réseau.

L'accès aux fichiers dans les premières étapes du développement Internet a été effectué en deux étapes, chacun d'entre eux ayant été effectué manuellement: des commandes spéciales ont été entrées du clavier. Au fait, les ordinateurs ne pouvaient être contrôlés que par des experts capables de saisir des commandes à la chaîne appropriée. Interface graphiqueCela vous permet de travailler confortablement avec la personne non préparée de la machine, n'a pas encore inventé. Donc, la première chose avec le programme Telnet a été configurée directement à l'ordinateur sur lequel le fichier souhaité.. À ce stade, seule une connexion a été établie, rien d'autre n'a été transmis en ce moment. Et seulement avec programme spécial - FTP - C'était possible fichier spécifique. prendre

Évidemment, à la recherche du document souhaité, beaucoup de temps quittait: il était nécessaire de savoir l'adresse exacte L'ordinateur sur lequel il est situé.

Pendant ce temps, les dossiers sont devenus de plus en plus intéressés pour leur croissance constante et pour trouver l'adresse de l'une d'entre elles, il était généralement nécessaire de contacter des groupes de discussion avec une demande d'aide et dans l'espoir que toute personne des interlocuteurs Dites à l'adresse chérie, pour laquelle les informations nécessaires sont stockées.

En conséquence, les serveurs FTP spéciaux ont commencé à apparaître, qui constituaient un référentiel de fichiers organisés dans l'annuaire sur le principe de stockage des informations sur ordinateur personnel. De tels serveurs existent à ce jour.

Le premier outil réalisable, l'outil accessible au public pour trouver des fichiers stockés sur les serveurs FTP a été appelé Archie (Archie) et a été créée en 1990 par le groupe. administrateurs système Et des étudiants âgés de l'Université de Mak Gil (McGill) à Montréal. Archi était un prototype des moteurs de recherche d'aujourd'hui, mais de manière significative plus primitive et limitée dans leurs capacités. Il a erré sur Internet, je souhaitais des fichiers sur différents serveurs FTP et téléchargé une liste de répertoires de chaque serveur reçu par vous-même, formant un répertoire général.

Ce répertoire a ensuite été traité et stocké dans la base de données centrale, à l'intérieur qu'il a été possible d'organiser la recherche. La recherche sur son propre ordinateur de cette époque existait déjà depuis longtemps et, malgré le fait que j'ai également exigé l'entrée d'équipes, cela n'a pas créé de difficultés dans le travail. Cependant, sans formation spéciale, l'ordinateur n'a pas pu utiliser complètement l'ordinateur. La base de données était à l'Université de Mak Gill et a été mise à jour mensuellement.

En 1991, l'équipe Mark McCahill de l'Université du Minnesota a créé le programme Golden Gopher (Golden Gopher - traduit du "tueur Gold" ou "Prospector"), qui a combiné les deux protocoles - Telnet et FTP. Tout ce dont vous avez besoin pour créer un utilisateur pour accéder aux informations souhaitées est de cliquer sur le lien hypertexte affiché dans le menu. Ainsi, pour la première fois de l'histoire, entrez toutes les équipes qui n'en avaient plus besoin, alors de maintenant, sur les ressources sur Internet, les gens pourraient «errer» et sans formation spéciale.

Le programme a montré que l'utilisateur émergent systématiquement des menus étape par étape, ce qui lui permettait d'aller au fond de la base de données dans la base de données, à l'approche de plus en plus des documents spécifiques, qui représentaient l'objectif de la recherche. Cet algorithme est essentiellement économisé aujourd'hui dans les catalogues situés sur Internet.

Il est devenu possible d'avoir comme documents texteet graphique, et musical, sans contraignant un format spécifique. Et surtout, il est devenu en principe possible de trouver facilement et d'obtenir les informations nécessaires sur Internet.

Cependant, des problèmes sont encore restés. L'un d'entre eux, et assez grave, était lié au fait que les ordinateurs ont été construits sur différentes plates-formesoh, qui ne s'est parfois pas compris. Ici, vous pouvez faire une analogie avec des personnes qui parlent des langues complètement différentes et ne peuvent donc pas construire une conversation plus ou moins significative. À cette époque, aucun système d'exploitation n'a été concouru entre eux, comme maintenant, mais les fabricants de l'ordinateur "fer". Aujourd'hui, il est moins important qui a fait un ordinateur. Il est beaucoup plus significatif qu'il est installé: Windows, Linux, Mac OS ou un autre système. Et puis c'est le fabricant de "fer" déterminé le visage d'Internet.

Objectivement, l'idée que les ordinateurs de différentes plates-formes devraient pouvoir travailler dans un protocole, vous permettant de visualiser les pages, quelle que soit exactement la machine que ces pages sont créées. Il fallait proposer un tel protocole universel et la rendre pratique pour les utilisateurs. Le premier qui a deviné d'unir la forme simple d'un hypertexte avec des protocoles de communication universels connus au cours de l'époque, était Tim Berners-Lee.

Que l'utilisateur est indépendant indépendant de la plate-forme et à la fois un outil simple, Berners-Lee a créé HTML (langage de balisage hypertexte, c'est-à-dire la langue de marquage hypertexte). Tous les documents Web formatés par tags HTMLsont visibles complètement dans le monde entier, quel que soit le type d'ordinateur, sur lequel une personne a ouvert la page du site. Par conséquent, aujourd'hui, lorsque vous transférez un fichier sur un format HTML, par exemple sur une voiture en cours d'exécution système opérateur MacOS, vous pouvez être sûr que ce fichier examinera exactement un ordinateur exécutant des fenêtres.

Ensuite, Berners-Lee a proposé un identifiant de ressource universel - la méthode de normalisation des adresses, dans laquelle les adresses uniques sont attribuées à des ordinateurs sur Internet (aujourd'hui, nous les appelons l'URL, c'est que la forme habituelle commence généralement par "www ")). Enfin, l'inventeur a rassemblé tous ces éléments en créant un système sous la forme de serveurs Web qui stockent des documents HTML et leur fournissent d'autres ordinateurs en créant des demandes HTML pour des documents sur une URL spécifique.

Mais Berners-Lee souhaitait voir Internet comme espace d'information dans lequel vous pouvez obtenir un accès gratuit à des données de tous types. Aux premiers stades du développement réseau mondial Simple Texty a prévalu documents HTML. À ce moment-là, les moteurs de recherche étaient existants sur des machines locales. Plusieurs serveurs sont donc apparus, ce qui a essayé d'indexer une partie pages Web. Et avant de partir pour quelque chose sur Internet, vous avez proposé de rechercher les informations nécessaires sur ces serveurs.

Dans le même temps, le principal problème était de trouver des pages, ce qui pourrait en principe être indexé. Étant donné que l'Internet est privé d'une structure centralisée et d'une table des matières généralisée, la seule façon qui lui permettait d'atteindre cet objectif était de rechercher des liens vers la page et la transition à partir de ce lien, suivi de l'ajout de la ressource trouvée à l'index.

Cependant, il y a bientôt un autre problème. Les pages les plus populaires ont visité les araignées plus souvent que le reste, car ils ont indiqué quantité maximale Liens. Les araignées, la quantité et les possibilités dont elles étaient limitées, "accrochées" sur de telles pages et des ressources gaspillées, laissant les nombreuses autres adresses toujours moins populaires. Pour résoudre ce problème, il était nécessaire de créer un programme permettant d'ignorer les pages déjà indexées et de se concentrer sur la recherche de nouvelles. Sinon, il menaçait le problème des ressources.

En 1993, l'étudiant physicien Mathew Gray (Mathew Gray) a créé le premier robot Web bien connu, nommé "World Wide web Wanderer" ou simplement "Vanderer", qui signifie "Skitalets" ou "Wanderer". Le fait est que Grey s'intéresse aux statistiques. Le résultat de ces loisirs était l'apparition du "Wanderer": l'invention était destinée à aider l'étudiant à analyser la taille de l'Internet et le taux de sa croissance. "Vanderer" est simplement venu à la page et a déterminé le fait même de son existence, sans entrer dans le contenu de l'adresse trouvée dans la base de données. Malgré le fait que le créateur du robot ne poursuivait aucun autre objectif, son encrégion, en fait ses débuts dans la "race" des découvertes sur Internet progressif, reposait sur des programmes plus complexes qui déplacent la possibilité de sauvegarder le contenu des pages de la base de données aux données de compétence après leur visite.

C'est arrivé pour que 1994 est devenu un tournant dans l'histoire de la création de moteurs de recherche. Étudiant du cours d'obtention du diplôme de l'Université de Washington Brian Pinkerton (Brian Pinkerton) en est fatigué de la série sans fin e-mailQui a envoyé des amis avec des informations sur de bons sites trouvés par eux sur Internet. Bien entendu, les sites étaient nécessaires par lui, mais un claqueur de messages avec leurs adresses agacées et visiter toutes les pages a pris beaucoup de temps. Cependant, Pinkerton a trouvé une solution au problème - il a créé un robot, que WebCrawler a appelé (quelque chose comme «véhicule tout-terrain pour Internet»). "Webrauler", comme "Vanderer", rampé de la page à la page, en me souvenant de l'ensemble du texte du document Web et de la conserver dans la base de données disponible fournitures de recherche. L'inventeur a présenté son enclushild au public en avril 1994 et a fait pratiquement - via une interface Web. La base de données à cette époque contenait des informations de 6000 les plus différents serveurs. Après une semaine, elle a commencé à se développer et l'augmentation quotidienne était plus de 100 nouveaux serveurs. Donc, le premier moteur de recherche est né.

Dans le même temps, le terme "crawler" ou "araignée" a été introduit dans la vie quotidienne, qui a été utilisé, comme nous l'avons dit, et à ce jour.

1994 - WebCrawler, Lycos, Yahoo!

1995 - Infoseek, Savvysearch, Altavista, Metcrawler, Excite. L'apparition de machines de métapoisisk.

1996 - Hotbot, Lookmart.

1997 - Northernlight.

1998 - Google, InvisibleWeb.com.

Les moteurs de recherche russophones sont apparus dans une telle séquence:

2004 - Russian parlant version de Google (www.google.ru) et la version de langue russe Yahoo! (http://ru.yahoooo.com).

Avant de passer à la description de la langue des demandes de moteur de recherche, considérez les éléments avec lesquels l'araignée doit être exécutée est généralement le site.

Je dois dire que langue HTML C'est assez simple et logique. C'est un moyen de casser le texte à l'aide d'éléments spéciaux - Tags qui définissent la structure et apparence Texte lors de la visualisation dans le navigateur. À propos des balises doit être connue qu'ils sont toujours paires et ce qu'ils se produisent ouverture(indiquez le début d'une certaine formatage) et fermeture(renvoyé à sa fin). La balise de fermeture est la même en écrivant, comme découvrant, mais devant lui une ligne de naufrage.

Nous donnons un exemple de site très simple (Fig. 1).

Figure. 1. Exemple de site, comme on peut le voir dans le navigateur Mozilla Firefox.

À l'étage, la page indiquée sur la figure, qui n'est pas dans le texte du site et sur la case supérieure de la page de la page, à côté de l'icône du navigateur, est l'inscription: "Afficher le périphérique du site". Il est situé dans le titre appelé page (qui est conclu entre la balise d'ouverture ). Nous attirons votre attention sur le fait que c'est le titre de la page entière, pas le texte.

Au milieu de la photo présentée en italique audacieux est dérivé: "Ceci est un site simple." Cette inscription est l'en-tête de texte. La police de la phrase "Ce site simple" de taille dépasse la police du texte sur le site, elle est spécifiquement mise en surbrillance sous forme d'en-tête de texte. Quand marquage S. en utilisant HTML. Ce texte est sous la balise.