"rambler" - ce qui est arrivé au moteur de recherche. L'architecture des systèmes de métarecherche. Moteur de recherche Aport

Il était une fois, à l'aube de la création de Runet, alors qu'en fait le nombre de sites eux-mêmes dans le segment russophone se mesurait en centaines, Rambler s'annonçait. qui était l'une des premières avec nous, mais qui attendait l'effondrement. Maintenant Rambler est un portail médiatique. Pourquoi est-ce arrivé? Essayons de comprendre le sujet.

"Rambler" (Rambler) - ce que c'était et ce que c'est maintenant.

Je dois dire que Rambler, un moteur de recherche de bonne qualité, est apparu un an plus tôt que Yandex et Google. Mais en 2011, un accord a été conclu entre le géant Yandex et le mourant Rambler, selon lequel la recherche sur le méga-portail devait désormais être effectuée à l'aide du miroir Runet et, plus précisément, de Yandex lui-même.

Auparavant, les employés de Rambler avaient envisagé l'option d'une coopération avec Google, mais l'"ami juré" russophone a réussi à faire plus proposition rentable... Depuis lors, depuis l'été 2011, "Rambler" est un portail média, où les recherches ne sont même pas effectuées par leur moteur de recherche natif Rambler, mais par le moteur de recherche d'un concurrent. Vous pouvez en être convaincu en regardant des résultats complètement identiques pour les requêtes de recherche.

L'histoire de l'origine de Rambler dans la ville scientifique de Pushchino

Si nous parlons de la naissance de Rambler, de la raison de l'émergence et du développement d'Internet en Russie en général, voici un bref résumé de l'histoire. Comme vous devez le savoir, Internet a été développé à l'origine par l'armée américaine, puis s'est répandu dans la communauté scientifique. Ainsi, au début des années 90, l'une des premières lignes dédiées connectées à Internet via Moscou a été posée dans la petite ville scientifique de Pushchino. Littéralement par leurs propres efforts, certains passionnés, souhaitant recevoir des nouvelles de la communauté scientifique directement, ont réussi à poser un câble à Moscou. En 1991, Internet commençait à peine sa marche triomphale. En fait, il n'y avait pas encore de Runet. WWW n'a été créé qu'en 1989, et les passionnés de Pushchino ont déjà beaucoup travaillé. De plus, même au sein de l'ensemble d'Internet, ils constituaient une unité très importante. Écrire un moteur pour votre moteur de recherche personnel est devenu une conclusion logique à l'Internetisation de la communauté scientifique.

La poursuite du développement

Un programmeur de Pushchino a réussi à écrire un moteur de recherche en quelques mois. À l'automne 1996, le domaine rambler.ru a été acquis et en octobre le site et le moteur de recherche sont devenus à la disposition des utilisateurs... Jusqu'en 1997, lorsque Yandex est apparu à l'horizon, les perspectives de Rambler étaient très grandioses. Il était pratiquement le premier et le seul chef de la recherche. Et même si alors le nombre de sites sur l'Internet russe se chiffrait en centaines (voire dizaines),
mais les perspectives de "Rambler" (qui en allemand signifie "vagabond") étaient très lumineuses. Si je pouvais les garder.

Rambler - que s'est-il passé ? Ou quelle est la raison de l'effondrement?

Selon l'un des experts, le problème est que les principaux développeurs de Rambler ont quitté l'équipe de direction. Si, par exemple, dans le même "Yandex" occupant des postes de direction, il y a ces personnes qui se trouvaient aux origines. Pour ainsi dire, c'est leur idée. Que les développeurs "Rambler" au cours de quelques rebondissements ont été contraints de céder leurs sièges à des sponsors. À la suite de tout cela, une situation s'est développée lorsque les gestionnaires, voyant que les indicateurs baissent, s'adressent à la direction et demandent deux ou trois millions pour la promotion et la publicité. S'il y avait des personnes dans les chaires de gestion qui comprenaient directement le problème, comme Yandex, l'argent viendrait immédiatement. Mais comme pour les gens qui sont loin de la question, ce ne sont que des dépenses inutiles, fantomatiquement justifiées, ils informent les gestionnaires qu'ils viendront dans six à huit mois et ensuite le problème sera résolu. Malheureusement, trop de temps a été perdu au cours de ces six à huit mois. Et puisque la situation s'est répétée plus d'une fois, alors, bien sûr, dans les conditions d'une telle gestion, Rambler ne pouvait pas rester en tête des concurrents.

Rambler - portail média

Parallèlement à la décision d'arrêter le développement du moteur de recherche, les propriétaires ont apporté une autre modification au logo. Le portail médiatique, dont il a acquis le statut, a littéralement exigé des changements dans l'écriture du logo (Rambler). Qu'est-ce qui a été changé ? Il a été décidé de changer la police du nom du latin en cyrillique. En fait, une telle décision se prépare depuis très longtemps et, on pourrait le supposer, a mûri très tard à la fin.

Quels services Rambler propose-t-il désormais (portail média) ? Oh, il y en a beaucoup en fait ! Services inclus par Rambler : photos, applications d'actualités, courrier. De plus, il existe de nombreux services annexes. Il s'agit de Rambler.Igry, Avtorambler et Rambler.Finance. Le premier service est un projet de jeu que vous pouvez visiter en ligne ou télécharger toutes sortes de jeux sur votre Ordinateur personnel ou téléphone portable... "Avtorambler" est dédié aux sujets automobiles, des conseils sur le choix et l'entretien d'une voiture. Rambler.Finance scanne et publie les faits et les nouvelles les plus intéressants du point de vue d'un économiste. Toutes sortes de taux de change, rapports boursiers et toutes analyses. En outre, il existe, par exemple, "Rambler.Radio" - une application qui vous permet d'écouter des stations de radio directement en ligne.

L'un des services les plus réussis

Néanmoins, Rambler a un service, qui est apparu à peu près en même temps que son moteur de recherche, mais qui bénéficie toujours d'une certaine demande par rapport aux services similaires de Yandex et Google. Nous parlons du classement Rambler Top-100. Ce service fournit un compteur de trafic gratuit et, sur sa base, construit les meilleurs sites de l'Internet russe, en les divisant, bien sûr, en catégories. Où apparence classé "Top-100 Rambler", le portail des médias n'a pas subi de changement de marque en profondeur et, par conséquent, il ressemble peut-être à quelqu'un qui n'est pas aussi agréable que nous le souhaiterions. La méthode de monétisation dans ce système est telle qu'en échange de l'installation d'un compteur, plusieurs petites bannières apparaîtront sur votre site. ET ce moment provoque la confusion, ainsi que des questions sur le sérieux du projet Rambler.

Le portail médiatique, après tout, n'est pas ce qu'on attendait à l'aube de son développement. Cependant, le destin était tel que ce fut le destin de Rambler. Qu'est-il arrivé au projet? La réponse est un leadership illettré. C'est probablement la faute...

La plupart des utilisateurs de la communauté Internet commencent leur journée par les moteurs de recherche, où ils essaient de trouver les informations dont ils ont besoin et de résoudre leurs problèmes. Malheureusement, les moteurs de recherche sont souvent incapables d'interpréter les ressources avec précision et équité. De ce fait, les premières positions de la recherche sont souvent des sites "loin" de la question à résoudre. Dans ce cas, les ressources qui sont d'un réel avantage sont « overboard » de la recherche.

La raison de cette situation est simple et réside dans la technologie d'obtention et de présentation des résultats par les moteurs de recherche. Il faut comprendre que le problème principal est le manque de règles claires, accessibles et ouvertes à tous. Plus les algorithmes de formation des index de recherche (une sorte de boîte noire) sont incertains, moins les moteurs de recherche reflètent le processus de génération d'informations réelles. Et en conséquence, moins le niveau de confiance dans les résultats de recherche des moteurs de recherche sera élevé.

Paradoxalement, ce n'est pas la faute des moteurs de recherche, puisqu'ils sont obligés de masquer les règles de construction des index de recherche. C'est la faute de la technologie elle-même lors de l'organisation de la recherche. À la base, la technologie des moteurs de recherche s'adresse à l'utilisateur passif. Il suffit d'enregistrer le site, puis le robot de recherche fera tout. Il va scanner la ressource page par page, en essayant d'analyser le contenu de chacune d'entre elles. L'intensité de travail de l'utilisateur est minime, ce qui permet d'utiliser différentes méthodes de "tromperie" des robots de recherche à un faible coût de main-d'œuvre et de ressources. Dans un tel schéma de travail, les moteurs de recherche doivent modifier les algorithmes et les règles d'indexation des ressources et de création index de recherche.

Bien sûr, la plupart des utilisateurs ont utilisé, utilisent et utiliseront des moteurs de recherche classiques. C'est simple, pratique et courant. C'est comme une habitude d'utiliser les moteurs de recherche.

Informations générales sur les moteurs de recherche

Système de recherche est un logiciel qui donne accès à une collection d'informations semi-structurées. Concentrez-vous sur les données semi-structurées, c'est-à-dire des données qui ne peuvent pas être représentées sous forme de table relationnelle distinguent un moteur de recherche d'un SGBD.

V cette définition moteur de recherche signifie des informations de divers types, c'est-à-dire texte, audio, vidéo, images, etc. Cependant, il convient de noter que ce sont les données textuelles qui sont idéales pour décrire toutes les fonctionnalités d'un moteur de recherche, car les algorithmes de recherche d'informations multimédias sont principalement basés sur des algorithmes de recherche de texte.

La tâche principale du moteur de recherche - de minimiser le temps passé par l'utilisateur à rechercher des informations pertinentes à la demande. La pertinence est l'un des concepts les plus subjectifs et les plus déroutants de la science. récupération de l'information... Le plus souvent, ils parlent de pertinence du point de vue de l'utilisateur, puis « informations pertinentes à la demande » et « informations nécessaires à l'utilisateur » sont une seule et même chose. C'est de cette pertinence dont nous parlons dans cette section. La question est de savoir quelles informations l'utilisateur juge pertinentes ? Dans certaines circonstances, les informations pertinentes peuvent être définies comme toutes les informations de la base de données pertinentes pour la demande. Ainsi, par exemple, si un utilisateur a besoin de tout savoir sur une entreprise en particulier, alors il est intéressé par la recherche de tous les documents qui mentionnent cette entreprise. Dans d'autres circonstances, les informations pertinentes ne sont que des informations suffisantes pour accomplir une tâche utilisateur spécifique, telle que trouver une réponse à une question spécifique. Si dans ce dernier cas, il y aura beaucoup de données redondantes dans les résultats de la recherche, c'est-à-dire données pertinentes pour la demande, mais qui ne sont pas nécessaires pour accomplir cette tâche, puis la sélection des les informations pertinentes prendra plus de temps de la part de l'utilisateur.

Ainsi, traditionnellement, deux caractéristiques principales sont appliquées à un moteur de recherche : exactitude et exhaustivité , ou plutôt leur dépendance. Chaque fois qu'un utilisateur pose une requête au système, initiant ainsi une recherche, tous les documents de la collection du moteur de recherche sont divisés en quatre parties. La précision détermine un aspect d'une recherche, à savoir dans quelle mesure un moteur de recherche est capable de minimiser le temps qu'un utilisateur passe à rechercher un contenu pertinent. demande donnée informations. Alors que l'exhaustivité détermine un autre aspect - la capacité du système à trouver des informations pertinentes pour une requête donnée. Vous pouvez choisir la ou les requêtes optimales lorsque chaque document trouvé sera pertinent et que chaque document pertinent sera trouvé.

Les moteurs de recherche jouent un rôle très important lors de l'utilisation d'Internet. Il y a tellement d'informations sur Internet que sa recherche se transforme déjà en une tâche distincte et prend beaucoup de temps. Les moteurs de recherche fournissent des milliers de liens par requête au lieu de plusieurs pages où les informations dont vous avez vraiment besoin sont disponibles. Les utilisateurs du World Wide Web, réalisant les avantages de la capacité d'analyser des données spatiales, ont besoin d'un outil qui vous permet de rechercher et d'accéder rapidement et facilement à des images numériques du terrain et à d'autres informations spatiales, concentrées dans de nombreuses organisations gouvernementales, commerciales et universitaires. .

Un peu d'histoire ...

Moteur de recherche (moteur de recherche, moteur de recherche) - un site Web spécial où un utilisateur, sur une demande donnée, peut obtenir des liens vers des sites Web qui correspondent à cette demande.

Travail moteur de recherche se compose généralement de deux étapes. D'abord - programme spécial(robot de recherche) ou une personne collecte des informations à partir de pages Web et les indexe. Lorsqu'un utilisateur spécifie une requête, la recherche passe par l'index pré-construit. Le résultat de la recherche est ce qu'on appelle les résultats de la recherche - une liste de liens vers des documents (pages Web) qui correspondent à la requête.

La plupart des moteurs de recherche recherchent des informations sur des sites Internet, mais il existe également des moteurs de recherche qui peuvent rechercher des fichiers sur des serveurs ftp, des documents et des informations dans réseaux internes etc. V Ces derniers temps un nouveau type de moteurs de recherche basés sur la technologie RSS a vu le jour.

Le travail du moteur de recherche est basé sur le travail du "moteur de recherche". Les principaux critères de qualité du moteur de recherche sont la pertinence, l'exhaustivité de la base, la prise en compte de la morphologie de la langue.

Le plus populaire moteurs de recherche en Russie aujourd'hui sont considérés comme Google, Yandex et Rambler.

Le premier moteur de recherche était Wandex, un ancien site Web créé par Matthew Gray du MIT en 1993. Un peu plus tard, Aliweb, un moteur de recherche qui existe encore aujourd'hui, apparaît. Le premier moteur de recherche en texte intégral était WebCrawler, lancé en 1994. Contrairement à ses prédécesseurs, il permettait aux utilisateurs de rechercher n'importe quel mot-clé sur n'importe quelle page Web. Depuis lors, il est devenu le standard dans tous les principaux moteurs de recherche. De plus, c'était le premier moteur de recherche qui était largement connu. En 1994, "Lycos", développé à l'Université Carnegie Melon, a été lancé.

Le développement des moteurs de recherche russes a commencé en 1996 avec l'apparition d'une extension morphologique du moteur de recherche Altavista, et le lancement des moteurs de recherche originaux russes Rambler et Aport. Bientôt, en 1997, le moteur de recherche Yandex a été ouvert.

Aujourd'hui, il existe plusieurs centaines de moteurs de recherche différents fonctionnant dans le monde, qui diffèrent par leur spécialisation, leurs capacités et leurs méthodes de recherche.

nouvelles

• 20/ 12/ 2005

  TOKYO, 20 décembre - RIA Novosti, Andrey Fesyun. Le Japon développera son propre moteur de recherche pour Internet afin de contrebalancer la popularité croissante du système américain Google.

  Selon un employé du département politique d'information Ministère de l'Economie, du Commerce et de l'Industrie Fumihiro Kajikawa, à cet effet, un groupe de recherche sera mis en place avec la participation de représentants d'une vingtaine d'universités et d'entreprises d'électronique.

  « Nous n'avons pas l'intention de concurrencer Google ou Yahoo, mais nous pensons créer système unique exclusivement pour le Japon », a déclaré Kajikawa. Selon lui, le système sera conçu principalement pour rechercher des images, en particulier des photographies.

  Le représentant du ministère a déclaré que la première réunion du groupe se tiendra vendredi prochain, qu'un rapport intérimaire sur ses activités sera soumis au ministère en mars et le dernier - en juillet de l'année prochaine.

• 09.2005
  G.I. Ruzaikin
  PC World :: Fil d'actualité

  Sur la voie d'un espace d'information global, les problèmes de recherche d'informations sur le Web deviennent particulièrement aigus. Cela devient évident sur fond d'avancées technologiques dans le développement d'Internet, notamment celles liées à la délivrance d'informations à l'utilisateur (c'est-à-dire la vitesse de transmission des données, leur volume et leur qualité). Par conséquent, les messages sur le développement de la technologie et produits logiciels pour trouver des informations sont si importants sur le marché des TI.

  DVYGUN (www.dvygun.com) a annoncé la sortie d'une nouvelle version du moteur de recherche personnel gratuit DVYGUN Smart Search 2.5.2.5 Beta, qui permet la recherche en texte intégral dans des tableaux de documents, messages E-mail, des fichiers multimédias, lors de la visite de pages Web et parmi les données de contact stockées sur le PC de l'utilisateur.

  Dans ce cas, le programme DVYGUN Smart Search recherche des informations (fichiers) des types suivants :
  

  • Messages électroniques et pièces jointes Outlook/Outlook Express ;
  • des dossiers Formats PDF, MS Word, MS Excel, RTF, HTML et texte ;
  • Les données Archives ZIP, RAR, GZIP, CAB, etc.;
  • images, fichiers musicaux et vidéo;
  • pages Web visitées, adresses Internet préférées navigateur Internet Explorateur;
  • contacts du carnet d'adresses dans Windows et Outlook.

  La recherche de données peut être effectuée à la fois pour tous les types et pour ceux sélectionnés. Un rétrécissement supplémentaire de la zone de recherche est effectué lors de la spécification des paramètres de recherche. Par exemple, pour les fichiers, il peut s'agir du nom du fichier, du dossier, de la taille et de la date de modification. Le classement des documents trouvés est effectué en fonction du niveau de conformité à la requête de recherche. Pour les requêtes verbeuses, la proximité contextuelle des mots est prise en compte, ainsi, chaque document trouvé est affiché dans les résultats de la recherche accompagné d'une citation contextuelle, ce qui dans la plupart des cas accélère la compréhension de son contenu.

  Pour organiser la recherche instantanée, DVYGUN Smart Search effectue un traitement primaire des données afin de constituer une base de données spéciale (index), qui est utilisée pour cette recherche. Il y a plusieurs caractéristiques de l'implémentation de cette fonction dans ce programme : la recherche et l'indexation peuvent aller simultanément, pour lancer la recherche vous n'avez pas besoin d'attendre la fin de l'indexation ; l'index est mis à jour dans " Contexte", le programme surveille en permanence les actions de l'utilisateur, de sorte que les données modifiées et nouvelles sont immédiatement incluses dans l'index, c'est-à-dire que les résultats de la recherche sont mis à jour ; en cas de ressources système insuffisantes, le processus d'indexation s'arrête pour éviter de ralentir l'ordinateur de l'utilisateur.

  Comme l'ont noté les développeurs de DVYGUN Smart Search, vérifier dans leur programme la présence et la qualité des fonctionnalités de recherche (mise à jour de l'index à la volée, calcul de la pertinence des résultats, réglage, vitesse d'indexation et prise en charge de la morphologie de la langue russe) devant des moteurs de recherche aussi connus que Google, Yahoo, Microsoft, Copernic et Blinkx. Aucun concurrent ne satisfait pleinement aux exigences de présence et de qualité de ces caractéristiques. Le programme DVYGUN Smart Search effectue l'indexation à une vitesse de 5 Go / h et le traitement morphologique du russe et Langues ukrainiennes... Malheureusement, aucun des moteurs de recherche nationaux et ukrainiens bien connus n'est capable d'indexer aussi rapidement. Dans le même temps, les développeurs attribuent aux inconvénients de cette version de DVYGUN Smart Search un petit nombre de formats de fichiers traités par celle-ci : vous pouvez résoudre le problème soit en achetant les filtres appropriés, soit par leur propre développement.

  Le développement des moteurs de recherche existants est attesté par le message de la société Yandex (http://company.yandex.ru/news/2005/0628) que la nouvelle version du programme Yandex.Server, fonctionnant sous toutes les versions populaires de Windows et Unix , ont commencé à fonctionner plus rapidement. Cela a élargi le groupe de produits pour la recherche d'informations en texte intégral et augmenté la vitesse de traitement des documents d'une fois et demie. Le nombre de types de documents traités a été augmenté : désormais, en plus des formats .txt, .doc, .rtf, .html, .xml et.pdf, les formats .xls, .ppt et .swf sont supportés. La vitesse d'indexation des fichiers est également passée de 25 à 40 Mo/s.

  Pour les utilisateurs intéressés par la gestion de la conception des résultats de recherche, un forfait de livraison de la nouvelle version de ce programme est proposé à un prix presque 2 fois inférieur à ce qu'il était auparavant - pour seulement 170 $. fonctionnalités avancées.

  Selon le bureau de représentation russe de CONVERA (www.convera.su), l'année prochaine, ses efforts en Russie viseront à promouvoir le nouveau moteur de recherche Excalibur et à développer une version localisée du programme RetriewalWare 8.2. Il implémentera des fonctions standard telles que l'extraction d'entités à partir de texte (dans la première version, celles-ci incluent les noms géographiques, les noms propres, les heures, les devises, les dates, les numéros - numéros de téléphone, cartes de crédit et automobile, ainsi que les connexions entre eux), les adaptateurs vers les progiciels Websphere, le portail Sharepoint, Documentum, new Lotus, Windchill et Teamlink.

  Excalibur fera son apparition en Russie cet automne. La différence la plus significative de ce produit par rapport à d'autres moteurs de recherche mondiaux similaires est la clarification de la quantité d'informations pertinentes proposées à la suite de la recherche. Cette efficacité est possible grâce aux 12 millions de taxonomies intégrées au programme, à l'aide desquelles le traitement de l'information est effectué à la demande. Dans le processus de traitement d'une demande, son concept taxonomique est déterminé ( Domaine), de sorte que toutes les informations sont divisées en deux groupes - pertinents et non pertinents pour la demande. Dans ce cas, les résultats de la requête peuvent être présentés sous forme de tableaux, d'images graphiques, de textes et liens d'informations, c'est à dire. la réponse devient le reflet de l'essence de la demande et de ses relations dans l'ensemble des documents proposés à la suite de la recherche.

• 23 mars 1998
  Nouveau moteur de recherche sur Internet

  Un nouveau serveur de recherche-catalogue Newman Search pour les technologies de l'information a été lancé. Newman Search combine les avantages des moteurs de recherche et des annuaires en même temps. Toutes les sources pour lesquelles la recherche est effectuée sont regroupées selon les thèmes "Presse informatique", "Actualités", " Entreprises informatiques"etc. Les utilisateurs peuvent limiter la zone de recherche aux sections pertinentes, réduisant considérablement le" bruit d'information "et le temps qu'il faut pour trouver le document souhaité.

  Les sites Web de Newman Search sont limités aux ordinateurs, à Internet et aux technologies de l'information. La préférence est donnée aux sources primaires et aux sites contenant des informations systématisées (documentation, descriptions, tests, prix, avis, actualités, communiqués de presse).

  Newman Search se distingue par une indexation opérationnelle quotidienne des serveurs - avec un délai de 1 jour (pour la rubrique "Actualités") à 7 jours (pour les sites des entreprises entreprise informatique). Alors que dans les moteurs de recherche conventionnels, vous devez attendre des mois pour mettre à jour les informations.

  La recherche est effectuée en tenant compte de la morphologie de la langue russe et de la terminologie informatique. Par exemple, si vous recherchez "HDD", vous rechercherez en fait les mots "HDD" "WINCHESTER" "HARD DISK" "HDD", etc.

  Les statistiques de trafic ouvertes forment une sorte de classement des sites informatiques en termes de contenu informatif. De plus, la note est maintenue séparément pour chaque section telle que "Actualités", "Sociétés informatiques", etc.

Moteur de recherche Yandex

Historique du moteur de recherche Yandex

L'histoire de la société Yandex a commencé en 1990 avec le développement d'un logiciel de recherche au sein de la société Arcadia.

En 1993, Arcadia est devenue une division de CompTek. 1993-1994 technologies logicielles ont été considérablement améliorées grâce à la coopération avec le laboratoire de Yu. D. Apresyan (Institut pour les problèmes de transmission de l'information de l'Académie des sciences de Russie).

À l'été 1996, la direction de CompTek et les développeurs de moteurs de recherche sont arrivés à la conclusion que le développement de la technologie elle-même est plus important et plus intéressant que la création de produits d'application basés sur la recherche. Les études de marché ont montré l'opportunité et la grande promesse des technologies de recherche.

Le mot "Yandex" a été inventé quelques années plus tôt par l'un des principaux et des plus anciens développeurs du moteur de recherche. "Yandex" signifie "Language index", ou, en anglais, "Yandex" - "Yet Another indexer".

Le moteur de recherche Yandex.Ru a été officiellement annoncé le 23 septembre 1997 à l'exposition Softool. Les principales caractéristiques distinctives de Yandex.Ru à l'époque étaient la vérification de l'unicité des documents (à l'exclusion des copies dans différents encodages), ainsi que les propriétés clés du moteur de recherche Yandex.Ru, à savoir : la prise en compte de la morphologie de la langue russe ( y compris la recherche par la forme exacte du mot), les distances (y compris dans un paragraphe, la phrase exacte) et un algorithme soigneusement développé pour évaluer la pertinence (correspondant à la réponse à la requête), en tenant compte non seulement du nombre de mots de requête trouvés dans le texte, mais aussi le "contraste" du mot (sa fréquence relative pour un document donné), la distance entre les mots, et la position du mot dans le document.

En novembre 1997, une requête en langage naturel a été implémentée. Désormais, vous pouvez contacter Yandex.Ru simplement "en russe", poser de longues requêtes, par exemple : "où acheter un ordinateur", "produits génétiquement modifiés" ou "codes de connexion téléphonique"et obtenez des réponses précises. La longueur moyenne d'une requête dans Yandex.Ru est maintenant de 2,7 mots. En 1997, elle était de 1,2 mots, lorsque les utilisateurs des moteurs de recherche étaient habitués au style télégraphique.

En 1998, Yandex.Ru a ajouté la possibilité de "trouver un document similaire", une liste de serveurs trouvés, une recherche dans une plage de dates donnée et un tri des résultats de recherche au moment de la dernière modification.

En 1999, Yandex a lancé un nouveau robot de recherche, qui a permis d'optimiser et d'accélérer l'exploration des sites Runet. Le nouveau robot a permis d'offrir aux utilisateurs de nouvelles opportunités - recherche dans différentes zones du texte (titres, liens, annotations, adresses, légendes aux images), restriction de la recherche à un groupe de sites, recherche par liens et images, comme ainsi que mettre en évidence des documents en russe. Il y a eu une recherche dans les catégories du catalogue et pour la première fois sur Internet russe, le concept d'« index de citations » a été introduit.

En 2000, la société Yandex a été créée. Yandex a été fondée par les actionnaires de CompTek, la société qui a créé et développé pendant longtemps le projet Yandex. Ru-Net Holdings a investi 5 millions 280 000 dollars et a reçu une part de 35,72 % dans la nouvelle société. Les actionnaires comprennent également la direction et les principaux développeurs du moteur de recherche. Arkady Volozh est devenu le directeur général.

Tous les droits sur la marque Yandex et le site Web www.yandex.ru, ainsi que sur technologie de recherche Yandex et une famille de produits logiciels du même nom. De plus, le projet récemment lancé www.narod.ru a été transféré à Yandex.

Gestion de l'indexation dans le moteur de recherche Yandex

Les autorisations et interdictions d'indexation sont extraites du fichier robots.txt. Yandex prend en charge la balise robots META, la balise NOINDEX et l'extension robots.txt non standard - la directive Host. Les autorisations et interdictions d'indexation sont prises par tous les moteurs de recherche à partir du fichier robots.txt situé dans le répertoire racine du serveur. L'interdiction d'indexer un certain nombre de pages peut résulter, par exemple, d'une volonté de ne pas indexer documents identiques dans des encodages différents. Plus le serveur est petit, plus le robot le contournera rapidement. Par conséquent, il est conseillé d'interdire dans le fichier robots.txt tous les documents qui n'ont pas de sens à indexer.

Le moteur de recherche Yandex prend en charge une extension robots.txt non standard - la directive Host. L'argument de la directive Host est Nom de domaine(un nom d'hôte valide, pas une adresse IP) avec un numéro de port (80 par défaut) séparé par deux points. Si un site n'est pas spécifié comme argument pour Host, il est supposé avoir la directive Disallow: /, c'est-à-dire interdiction totale d'indexation (s'il y a au moins une directive Host correcte dans le groupe).

Cette extension personnalisée aide le moteur de recherche à choisir le bon miroir pour l'indexation. En effet, la directive Host spécifie le miroir principal du site, alors que l'indexation de tous les autres miroirs est interdite.

Pour la compatibilité avec les robots qui ne suivent pas entièrement la norme robots.txt, la directive Host doit être ajoutée dans le groupe en commençant par l'entrée User-Agent, immédiatement après les entrées Disallow.

Le moteur de recherche Yandex analyse et suit les robots des balises META. Pour interdire l'indexation de certaines parties du texte, vous pouvez les marquer avec des balises.

Ajout de pages dans le moteur de recherche Yandex

Yandex recherche des centaines de milliers de pages Web chaque jour, à la recherche de modifications ou de nouveaux liens. Les propriétaires de ressources peuvent ajouter leur propre site en remplissant le formulaire AddURL. Yandex recherche des centaines de milliers de pages Web chaque jour, à la recherche de modifications ou de nouveaux liens. Les propriétaires de ressources peuvent ajouter leur propre site en remplissant le formulaire AddURL.

Indices Yandex Réseau russe, par conséquent, les serveurs des domaines su, ru, am, az, by, ge, kg, kz, md, ua, uz sont saisis dans le moteur de recherche. Les autres serveurs ne sont renseignés que si un texte en russe s'y trouve, ou si les propriétaires des ressources convainquent l'administration du moteur de recherche que leur serveur intéresse les utilisateurs de l'Internet russophone (cela se fait généralement par une lettre à [email protégé]).

Généralement, les pages apparaissent dans la base de recherche dans la semaine suivant leur apparition ou leur modification. Les nouvelles pages ajoutées à la base de données à l'aide d'AddURL apparaîtront plus rapidement (si elles sont situées dans la partie russophone du réseau et ne nécessitent pas de vérification manuelle).

Le moteur de recherche Yandex est en texte intégral, c'est-à-dire que seuls les mots écrits sur les pages des sites entrent dans son index (et deviennent disponibles pour la recherche).

Dans la liste des résultats de recherche, après l'adresse de la page, s'affiche un texte composé d'un titre (balise title), d'une description (meta name = contenu "Description" = balise "") ou du début d'un document (si cette balise n'est pas présent) et les contextes - fragments de texte de page contenant des mots de requête.

Indexation dans le moteur de recherche Yandex

Lorsque Yandex trouve une page nouvelle ou modifiée, il l'indexe. Dans le processus, la page est divisée en éléments, dont le contenu est entré dans l'index. Lorsque Yandex trouve une page nouvelle ou modifiée, il l'indexe. Dans le processus, la page est décomposée en éléments (texte, en-têtes, légendes d'images, liens, etc.) dont le contenu est saisi dans l'index. Celui-ci prend en compte les positions des mots, c'est-à-dire leur position dans le document ou son élément. Le document lui-même n'est pas stocké dans la base de données.

Yandex indexe les pages par leurs véritables adresses. Cela signifie que s'il y a une redirection sur la page, le robot la percevra comme un lien vers une nouvelle adresse et l'ajoutera à la file d'attente d'indexation.

Comme l'exige la norme Protocole HTTP Yandex, ayant reçu des informations dans l'en-tête de réponse indiquant que cette URL est une redirection (codes 3xx), l'ajoutera à la liste des adresses pour contourner l'URL vers laquelle la redirection mène. Si la redirection était permanente (code 301), ou si la directive meta-refresh a été rencontrée sur la page, l'ancienne URL sera exclue de la liste d'exploration.

Le robot Yandex stocke la date du dernier crawl de chaque page, la date de sa modification (envoyée par le serveur Web) et la date des dernières modifications apportées à la base de recherche (date d'indexation). Il optimise la traversée du réseau de manière à visiter plus souvent les serveurs les plus changeants. Le robot Yandex fonctionne automatiquement et la réindexation se produit généralement une fois toutes les deux à trois semaines.

Le robot Yandex suit de lui-même les modifications apportées aux pages déjà indexées la prochaine fois que vous visitez le site. Le robot a son propre horaire de travail et il est impossible de le modifier.

Yandex indexe le document dans son intégralité : texte, titre, légendes des images, description, mots-clés et quelques autres informations.

Le robot Yandex contourne les pages "dynamiques" et les traite exactement de la même manière que les pages "statiques". Le robot de recherche Yandex, en plus du HTML standard, indexe : les formats de fichiers PDF, DOC, RTF et Flash.

Dupliquer- il s'agit du même texte, sous une dizaine d'adresses différentes, en fonction par exemple de la façon dont vous naviguez sur le site. Les sites avec un grand nombre de doublons sont soumis à un nettoyage impitoyable de temps en temps.

Miroirs de sites

Miroir- copie partielle ou complète du site. La présence de ressources en double est parfois nécessaire aux propriétaires de sites très visités pour augmenter la fiabilité et la disponibilité de leur service.

Un grand nombre de miroirs jonchent les bases de données des moteurs de recherche et entraînent des doublons dans les résultats de recherche. Par conséquent, lorsqu'un robot Yandex détecte plusieurs miroirs de site, il en sélectionne un comme principal et les autres sont supprimés de l'index. Par défaut, le robot choisit dans le miroir principal en fonction de ses propres considérations. Et généralement pas ce que le propriétaire de la ressource aimerait voir.

Vous pouvez suivre un certain nombre d'étapes pour sélectionner le site que vous souhaitez comme miroir principal.

Tout d'abord, vous pouvez supprimer les miroirs de sites non principaux.

Deuxièmement, sur tous les miroirs, à l'exception de celui qui doit être sélectionné comme principal, placez un fichier robots.txt, ce qui interdit totalement l'indexation du site. Ou placez-le sur les miroirs robots.txt avec la directive Host.

Troisièmement, placez une balise sur les pages principales des miroirs non principaux qui interdit leur indexation et leur exploration par des liens.

Quatrièmement, modifiez le code des pages principales sur les miroirs non principaux afin que tous (ou presque tous) les liens qui les relient profondément au site soient absolus et mènent au miroir principal.

Si l'un des conseils ci-dessus est mis en œuvre, le miroir principal sera automatiquement modifié lors de l'exploration du robot de recherche Yandex.

Méthodes du moteur de recherche Yandex

Le moteur de recherche Yandex contient dans son index pour chaque mot du texte le numéro du document, la phrase, le mot dans la phrase et le poids de chaque mot. Le robot de recherche Yandex indexe les pages et, sur la base des informations qui s'y trouvent, forme un index de recherche.

Toutes ces informations sont utilisées dans la recherche. Chaque requête recherche (et obtient un rang plus élevé) des phrases qui correspondent exactement à la requête, puis des phrases contenant tous les mots de la requête, et ainsi de suite. La position relative des mots joue un rôle important. Ainsi, par exemple, si une requête de quatre mots n'a pas de réponse exacte dans la base de données, les phrases contenant trois mots de la requête, dans lesquelles les mots apparaissent exactement dans le même ordre que dans la requête, seront classées ci-dessus. Cela permet de résoudre un problème de recherche typique - rechercher un document par "citation inexacte".

Moteur de recherche de randonneurs

Historique du moteur de recherche Rambler

L'histoire du moteur de recherche Rambler commence en 1991 dans la ville de Pushchino, dans la région de Moscou. C'est là qu'un groupe de personnes partageant les mêmes idées a créé la société "Stack". Sergey Lysakov est devenu le chef de la société "Stack". L'entreprise s'est engagée réseaux locaux et une connexion internet.

Déjà en 1996, Sergey Lysakov et le programmeur Dmitry Kryukov ont décidé de développer le premier moteur de recherche russe pour Internet. Dmitry Kryukov a proposé le nom du projet - Rambler. Traduit par Rambler, il signifie « vagabond, vagabond, vagabond », ce qui est en accord avec le principe du robot moteur de recherche.

Le 26 septembre 2006, le domaine rambler.ru a été enregistré et le 8 octobre, la société "Stack" a activé le système. Au printemps 1997, Rambler "s Top100" est apparu - un classificateur de notation qui évalue la popularité des ressources russes sur la base de données objectives.

En juin 2003, la société a lancé nouvelle version moteur de recherche, qui diffère du précédent par deux paramètres principaux : la vitesse de recherche a considérablement augmenté grâce à la nouvelle architecture du système, l'index de recherche est mis à jour plusieurs fois par jour.

Pour ceux qui savent exactement ce qu'ils recherchent et ne veulent pas perdre de temps supplémentaire, une version spéciale et concise de la recherche Rambler a été ouverte sur r0.ru (ou, comme on dit, Arnold).

Le mécanisme des associations de Rambler

Lorsqu'une personne effectue une série de recherches consécutives dans le moteur de recherche Rambler, ces mots et expressions deviennent liés - des associations Rambler. Le mécanisme d'association Rambler est accessible aux utilisateurs du moteur de recherche Rambler. Associations de randonneurs - ce sont des requêtes thématiquement (associatives) liées à la requête utilisateur d'origine. Lorsque quelqu'un effectue une série de recherches consécutives dans le moteur de recherche Rambler, ces mots et expressions deviennent liés. Et cette séquence crée des associations Rambler. En fait, ce concept est "Nous recherchons aussi".

D'une part, à l'aide du mécanisme d'association Rambler, l'utilisateur peut rapidement affiner ou élargir sa demande. D'autre part, une chaîne d'associations typiques révèle les lacunes de la demande originale, son ambiguïté, son « flou ». En conséquence, un visiteur du moteur de recherche Rambler apprend à demander correctement, sans perdre de temps, c'est-à-dire qu'il recourt en fait à l'aide de "l'esprit collectif".

Le mécanisme des associations "Ils nous regardent aussi" est intéressant pour quiconque veut voir à quoi pensent des milliers et des milliers de visiteurs du web. C'est un outil de recherche ainsi qu'une source d'informations précieuses pour les linguistes et les webmasters.

Gestion de l'indexation dans le moteur de recherche Rambler

Vous pouvez limiter l'indexation des pages de ressources par le moteur de recherche Rambler via robots.txt ou la balise META « Robots » Le moteur de recherche Rambler s'appelle « StackRambler ». C'est lui qui télécharge les documents postés sur Internet, y trouve des liens vers d'autres documents, télécharge à nouveau, etc. Le robot StackRambler analyse le fichier robots.txt et limite le crawl de la ressource selon ses instructions. Grâce à robots.txt, vous pouvez refuser l'accès à certains répertoires et/ou fichiers.

Vous pouvez également limiter le crawl des pages ressources par le robot du moteur de recherche Rambler grâce à la balise META « Robots ». La balise contrôle l'indexation d'une page Web spécifique. Dans ce cas, il peut être interdit aux robots non seulement d'indexer le document lui-même, mais également de passer par les liens qu'il contient.

Ajout de pages au moteur de recherche Rambler

Le robot Rambler contourne le Réseau par des liens et trouve ainsi de nouvelles ressources. Peut être rempli formulaire d'inscription... Le robot Rambler visite de manière indépendante uniquement les sites situés dans les domaines nationaux.ru, .su, .ua, .by, .kz, .kg, .uz, .ge. Si le site est situé dans l'une des autres zones de domaine (par exemple, in.com, .net ou.org, ou dans d'autres domaines nationaux), par défaut les robots Rambler ne visiteront pas les pages de ces ressources. Pour ajouter de telles ressources d'intérêt pour les utilisateurs russophones au nombre de celles numérisées, vous devez contacter l'administrateur du moteur de recherche Rambler.

Le robot Rambler parcourt le Web par liens et trouve ainsi de nouvelles ressources pour l'indexation. Vous pouvez également remplir un formulaire d'inscription dans le moteur de recherche Rambler. Les champs de ce questionnaire - "Nom du site" et "Description" ne sont pas utilisés pour la recherche. Ils sont destinés à être lus uniquement par les éditeurs et sont utilisés dans les bases de données internes de Rambler.

Le robot scanne les pages du site dans les 24 heures à partir du moment de l'inscription (ou de la recherche d'une ressource). Dans le même temps, il explore immédiatement le site à une certaine profondeur (explore les pages auxquelles la page enregistrée fait référence). Les pages téléchargées par le robot apparaissent dans la base de recherche avec un certain retard. La réindexation des documents reçus est effectuée avec un intervalle d'environ deux semaines.

Indexation dans le moteur de recherche Rambler

Lors de l'indexation par le moteur de recherche Rambler, seules les informations que l'utilisateur peut voir sur la page sont prises en compte. Il est conseillé d'inclure les concepts de base et les mots-clés du site dans les balises HTML suivantes (par ordre d'importance) : titre h1 ... h4 b, fort, u ce document est plus proche du haut de la liste des résultats de recherche.

Taille maximum document pour les robots Rambler est de 200 kilo-octets. Les documents plus volumineux sont tronqués à la taille spécifiée.

Le programme d'indexation traite les redirections (redirections), mais uniquement si la redirection est effectuée vers domain.ru ou vers des domaines de certains pays de la CEI.

Rambler traite toutes les pages "dynamiques" avec des noms comme * .asp *, * .php *, * .pl *, * / cgi-bin / *, etc. pour les sites visités (selon les données top100), ainsi que les sites, contenant des informations uniques, utile aux utilisateurs moteur de recherche. Pour les autres sites, seules certaines de ces pages sont traitées.

Les fragments HTML marqués de balises ne sont pas indexés par Rambler.

Le moteur de recherche Rambler est capable d'extraire des liens d'objets flash et peut donc traiter des sites construits sur la technologie flash. Cependant, les textes des objets flash eux-mêmes ne sont pas encore indexés.

Lors de l'indexation, seules les informations que l'utilisateur peut voir sur la page sont prises en compte.

Les champs masqués et tous les autres champs, sauf lorsque les sites d'indexation sont ignorés. Il en va de même pour les commentaires dans le code HTML du site. N'utilisez pas non plus de texte invisible dans lequel la couleur de la police correspond à la couleur de l'arrière-plan.

La recherche prend en compte le Rambler's Top100. Un robot Rambler spécial, deux fois par jour, ajoute de nouvelles pages à la base du moteur de recherche de tous les sites qui participent au Rambler's Top100 et ont placé un compteur sur leurs pages. Après avoir modifié les informations dans le Rating Top100, elles sont mises à jour dans le moteur de recherche dans un délai d'un ou deux jours. Si le site est inscrit dans le Top100 de Rambler, il sera retrouvé sur certaines requêtes, même si l'information a été supprimée de la base d'indexation.

La recherche prend en compte les informations obtenues à partir de l'évaluation du Top100 de Rambler, si le site y est enregistré. Le numéro indique quand cette information a été reçue. Les informations sur le Top100 de Rambler sont mises à jour presque tous les jours.

Moteur de recherche Aport

Historique du moteur de recherche Aport

La présentation officielle de "Aport" a eu lieu le 11 novembre 1997. À ce moment-là, le premier million de documents situés sur 10 000 serveurs étaient indexés dans sa base de données. Le créateur du moteur de recherche Aport est Agama, un développeur de logiciels pour les plates-formes Windows. A noter qu'Aport a été créé et continue de fonctionner sous Windows (contrairement à la plupart des moteurs de recherche). Les développements linguistiques de "Agama" ont été utilisés dans la création du moteur de recherche Aport, dans lequel au moment de sa création, la morphologie des mots a été prise en compte et, à la demande du client, l'orthographe de la requête a été vérifiée .

Pour la première fois, le système de recherche Aport a été présenté en février 1996 lors de la conférence de presse d'Agama à l'occasion de l'ouverture du Club russe. Initialement, le moteur de recherche Aport ne cherchait que russia.agama.com.

La présentation officielle du moteur de recherche "Aport" n'a eu lieu que le 11 novembre 1997. À ce moment-là, le premier million de documents situés sur 10 000 serveurs étaient indexés dans la base de données Aport.

Les caractéristiques les plus importantes de la première version de "Aport" étaient la traduction de la requête et des résultats de recherche en anglais et vice versa, ainsi que la reconstruction de toutes les pages indexées à partir de sa propre base de données.

En novembre 1998, le moteur de recherche Aport a été acquis par un citoyen israélien Joseph Avchuk (gardant les marques Aport et Agama). Le montant réel de la transaction était de 55 mille dollars.

En octobre 1999, lors d'expositions informatiques des deux côtés de l'océan, un moteur de recherche fondamentalement nouveau "Aport 2000" a été présenté, entièrement intégré à AtRus (maintenant "Catalog-Aport").

"Aport 2000" est devenu le premier moteur de recherche russe, construit sur la base de la publication de résultats pour des sites individuels. Pour diviser les ressources en sites, les informations fournies à "Aport" sont fournies par le catalogue AtRus ou les informations saisies dans "Aport" par les propriétaires des ressources.

Aport 2000 est devenu le premier moteur de recherche russe à mettre en œuvre deux technologies de base du moteur de recherche américain Google. Comptabilisation du « page rank » (Page Rank), qui caractérise sa popularité. La valeur de classement est calculée par le nombre de liens vers la ressource à partir de l'Internet externe. Le poids du lien d'un site populaire est supérieur au poids du lien d'un site moins populaire ; les liens qui incluent des mots de requête ont plus de poids que, disons, le mot "ici". Traitement des requêtes avec analyse Balises HTML pages. Par exemple, le texte entre les balises h2 est prioritaire sur le texte entre les balises h6.

Aport 2000 a également pris en compte l'occurrence de mots de requête dans l'URL. Parmi les fonctionnalités non documentées figure une priorité plus élevée pour les sites qui ont reçu les ligues supérieures et élites du catalogue AtRus.

Et, enfin, une autre primauté de "Aport" - l'utilisation d'une ligne zéro payante dans les résultats de recherche (d'ailleurs, "Aport" a été le premier de nos moteurs de recherche à commencer à acheter un tel service auprès d'AltaVista, qui pour un petit frais a d'abord donné son lien lors de la demande de "Recherche russe"). Cependant, dans "Aport", vous ne pouvez pas acheter un zéro, mais simplement une place plus élevée pour votre site dans les résultats de recherche.

L'organisation de l'évolutivité dans l'architecture de "Aport 2000" est telle qu'il est possible de scinder la base de recherche "Aport" en plusieurs bases distinctes, chaque petit "Aport" fonctionne sur son propre ordinateur. Aport 2000 estime que l'ensemble d'Internet est divisé en fragments. Après avoir effectué une recherche de ces fragments, l'utilisateur est intégré et une réponse générale est donnée. Il est possible d'ajouter de nouveaux petits "aports" par une procédure pas très compliquée. En cas d'accidents de machines individuelles, les résultats intégraux sont légèrement différents des résultats standard, qui peuvent être observés de temps en temps.

Le 31 juillet 2000, Golden Telecom a acheté la famille de projets Internet Agama, y ​​compris Aport et AtRus, pour l'inclure dans des projets de Russie en ligne et de quasi-contenu.

En mai 2001, l'accord pour changer le propriétaire de "Aport" par "Golden Telecom" a finalement été conclu et "Alfa-Bank" est devenu le nouveau propriétaire. Le NASDAQ connaissait alors une récession rapide et il n'y avait aucune chance de revendre des projets Internet pour un montant acceptable. Cela a conduit à la décision des nouveaux propriétaires de "Golden Telecom" de minimiser les coûts de soutien de projets Internet coûteux.

Gestion de l'indexation dans le moteur de recherche Aport

Lors de l'exploration du contenu du serveur pour l'indexation, Aport vérifie le fichier robots.txt et prend en charge les balises méta Robots. Lors de l'exploration du contenu du serveur pour l'indexation, Aport vérifie le fichier robots.txt. Ainsi, il est possible de restreindre "l'activité" de l'Aport sur le serveur. Le robot de recherche Aport s'appelle Aport. Ce nom peut être utilisé pour restreindre l'indexation via robots.txt.

De plus, le moteur de recherche Aport prend en charge les balises méta Robots, qui vous permettent de définir les règles de comportement du robot sur une page individuelle du site et s'il n'est pas possible de modifier le fichier robots.txt sur le serveur.

Ajout de pages dans le moteur de recherche Aport

L'enregistrement du site dans Aport se fait à partir de la page Ajouter une URL. Seule la racine du site doit être ajoutée. L'enregistrement du site dans Aport se fait à partir de la page http://catalog.aport.ru/rus/reg/add.ple. Cette page est accessible via le lien Ajouter une URL à partir de presque toutes les pages Aport. Seule la racine du site doit être ajoutée, le reste des pages sera trouvé par Aport par des liens.

Aport est un moteur de recherche sur l'Internet russe, vous pouvez donc y ajouter des sites en russe, ainsi que des sites directement liés à l'Internet russe. En cas de refus d'ajouter automatiquement un site (par exemple, si le robot de recherche ne trouve pas de texte en russe sur sa page racine), vous pouvez demander l'ajout d'un site par e-mail : [email protégé]

Indexation des ressources par le moteur de recherche Aport

Aport est un moteur de recherche en texte intégral. Cela signifie qu'il indexe tous les mots qu'une personne verrait à l'écran lors de la visualisation d'une page spécifique sur le serveur. Aport vérifie périodiquement les sites de sa base de données et met sa base de données en conformité avec les changements qui y sont survenus. La période de vérification dépend en grande partie du site spécifique (en tenant compte de sa popularité, du dynamisme de la mise à jour en fonction des données collectées par l'aport lors des visites précédentes du site, et d'un certain nombre d'autres facteurs).

A partir du moment où un site est ajouté au moteur de recherche Aport jusqu'à ce qu'il apparaisse dans la base de recherche, cela prend de deux à trois jours à deux semaines. Dans certains cas (par exemple, en cas de connexion instable avec le site ajouté), ce temps peut s'avérer un peu plus long.

Aport indexe tous les documents statiques (dont l'URL ne contient pas le symbole "?") qu'il trouve robot de recherche en suivant les liens sur le site. Cette règle peut ne pas être suivie pour les grands sites, ainsi que pour les sites qui sont remarqués à l'aide de spam de recherche.

Les documents contenant le caractère "?" dans l'URL sont indexés de manière sélective par le moteur de recherche Aport. Dans ce cas, des quotas sont utilisés pour le nombre de ces documents pour chaque site. La taille du quota est calculée automatiquement en fonction d'un certain nombre de conditions, notamment de l'indice de citation du site, et peut notamment être nulle pour certains sites.

Il convient de garder à l'esprit que l'indexation complète du site peut intervenir progressivement, ainsi que le fait que le contenu de la base de données est l'apanage du moteur de recherche et n'offre aucune garantie d'indexation (ainsi que de sauvegarde déjà indexée documents dans l'index).

Aport est un moteur de recherche en texte intégral. Cela signifie qu'il indexe tous les mots qu'une personne verrait à l'écran lors de la visualisation d'une page spécifique sur le serveur. En conséquence, n'importe quel mot du texte des documents peut servir de critère pour une recherche ultérieure.

Pour Documents HTML en plus du texte principal du document, sont également indexés : le titre du document (TITLE), les mots-clés (META KEYWORDS), les descriptions des pages (META DESCRIPTION) et les légendes des images (ALT). En outre, Aport répertorie, comme appartenant à un document, les textes des liens hypertextes vers ce document à partir d'autres pages situées à la fois à l'intérieur du site et à l'extérieur de celui-ci, ainsi que les descriptions de sites du catalogue Aport compilées (ou vérifiées) par les éditeurs.

moteur de recherche Google

Ce moteur de recherche s'améliore et devient de plus en plus populaire au fil du temps, mais il est inférieur aux moteurs de recherche ci-dessus. Selon des sondages, Données Google fournit environ 10% de toutes les requêtes de recherche sur le Runet. Au inscription google accepte les sites de n'importe quel domaine, c'est-à-dire qu'il ne se limite pas à la zone ru. C'est sans aucun doute un très gros avantage sur les concurrents (en Russie). Mais Google n'a plus aucun avantage et ne peut même pas afficher dans les résultats de recherche des mots qui sont synonymes de la requête. C'est-à-dire que si nous entrons moteur de recherche Google Si la requête est « anecdote », alors Google recherchera sur les sites ce mot même, tandis que Yandex, Rambler et Aport, en plus de ce mot, prendront également en compte les synonymes sur les sites, par exemple « anecdotes », mais Google ne peut pas faire cela.

Moteurs de recherche étrangers

• Recherche AOL
• Achla
• AltaVista
• AltaVista (numérique)
• Netguide Autriche
• AustroNaut
• Toutleweb
• Anti-Recherche
• Demandez aux jeeves
• DemandezAlex
• Réponses
• AusIndex
• Autriche-WWW
• Pages de Bakou
• Indice britannique
• Compnet
• Copernic
• Cyber411
• Coup direct
• Daypop.com
• Exciter
• Angleterre en ligne
• La liberté
• Recherche FTP
• GBP Grandes pages britanniques
• HotBot
• HandiLinks
• Recherche d'informations
• InfoMarché
• Infomine
• InterSearch Autriche
• Entretien
• Inktomi
• Inforia
• Google
• Guide.at
• L'air intelligent
• Lycos
• Recherche de lumière
• Libanis.com
• Magellan
• MaxiRecherche
• Recherche MSN
• Mixcat.com
• Meta-ukraine.com
• Metacrawler
• Aurores boréales
• Recherche Netscape
• Ouvrir le répertoire
• Texte ouvert
• Qango
• Recherche furieuse
• Noms réels
• Search.com
• RechercheRoyaume-Uni
• Search.lv
• Search.iwon.com
• Soumettre.bcentral.com
• Superpromo.com
• Search.escapeartist.com
• Surfgopher.com
• Slider.com
• Indice britannique
• Royaume-UniRépertoire
• Royaume-UniMax
• Whatuseek.com
• WebCrawler
• Wombat Web
• Yahoo
• 2kcity.com

Architecture de métarecherche

introduction

Dans cet article, en utilisant l'exemple du système de métarecherche MetaPing, l'architecture des systèmes de métarecherche et les principes de base de leur fonctionnement et de leur construction sont examinés.

Qu'est-ce qu'un métamoteur de recherche ?

Ce n'est un secret pour personne que l'Internet mondial, contenant une quantité énorme et sans cesse croissante d'informations changeant dynamiquement, se développe à un rythme sans précédent. Afin d'organiser d'une manière ou d'une autre ce flux continu de données, et surtout, pour permettre aux internautes de trouver information nécessaire, des moteurs de recherche spéciaux ont été créés. Chacun de ces systèmes a un index qui contient des informations de service sur le contenu des documents indexés, où chaque mot du texte correspond à la fréquence de son utilisation et aux coordonnées de ce mot dans le texte.

Chaque moteur de recherche ne possède que son propre, limité par ses ressources, un ensemble de documents disponibles pour la recherche. Aucun de ces systèmes ne sera en mesure de couvrir toutes les ressources Internet, de sorte qu'à tout moment une situation peut survenir lorsque les besoins d'information de l'utilisateur ne peuvent pas être satisfaits. En règle générale, dans ce cas, l'utilisateur accède à un autre moteur de recherche et essaie d'y rechercher ce dont il a besoin.

Pour résoudre ce problème et étendre les capacités de recherche, des systèmes appelés métarecherche ont été créés. Ils n'ont pas le leur bases de recherche données, ne contiennent aucun index et utilisent les ressources de nombreux moteurs de recherche lors de la recherche. De ce fait, l'exhaustivité de la recherche dans de tels systèmes est maximisée et la probabilité de trouver les informations nécessaires est très élevée.

Comment fonctionnent les métamoteurs de recherche

Il y a un certain nombre de problèmes à résoudre lors de la conception d'un métamoteur de recherche.

Tout d'abord, parmi l'ensemble des documents reçus des moteurs de recherche, il faut sélectionner les plus pertinents, c'est-à-dire ceux correspondant à la demande de l'utilisateur. En règle générale, les créateurs de métamoteurs de recherche n'espèrent pas à juste titre que les moteurs de recherche qu'ils utilisent renvoient des résultats de recherche pertinents et se fient trop à la position du document dans le moteur de recherche donné.

Cette approche standard est illustrée à la Fig. 1. Dans de tels systèmes, l'analyse des descriptions reçues des documents n'est pas effectuée, ce qui peut placer des documents non pertinents, arrivant en premier dans un moteur de recherche, plus haut que pertinents dans un autre, au lieu de réduire considérablement la qualité de la recherche elle-même. Ce principe s'est avéré être bon lorsque l'auteur de l'analyseur de la position du site dans les moteurs de recherche a créé, mais en général, il s'est avéré insatisfaisant pour les systèmes de métarecherche.

Fig. 1 Métamoteur de recherche standard

Lors du développement de la prochaine génération de systèmes de métarecherche, les lacunes inhérentes aux systèmes de métarecherche standard ont été prises en compte. Des systèmes ont été créés avec la possibilité de sélectionner les moteurs de recherche dans lesquels, selon l'utilisateur, il est plus susceptible de trouver ce dont il a besoin (Fig. 2)

Riz. 2. La prochaine génération de métamoteurs de recherche

De plus, cette approche permet de réduire les ressources de calcul utilisées du serveur de métarecherche sans le surcharger avec trop d'informations inutiles et d'économiser sérieusement du trafic. Il convient de noter ici que dans tout système de métarecherche, le goulot d'étranglement est principalement la bande passante du canal de transmission de données, puisque le traitement des pages avec des résultats de recherche reçus de plusieurs dizaines moteurs de recherche n'est pas une opération très laborieuse, car le temps consacré au traitement de l'information est de plusieurs ordres de grandeur inférieur au temps d'arrivée des pages demandées aux moteurs de recherche.

Comme exemple de systèmes avec une organisation similaire, nous pouvons nommer Profusion, Ixquick, SavvySearch, MetaPing.

Comment ça fonctionne?

Ci-dessous, nous décrirons le principe de fonctionnement du système de métarecherche MetaPing, développé par l'auteur de cet article, cependant, les principes généraux seront vrais pour d'autres systèmes de cette classe (voir Fig. 2).

Commençons par la page de démarrage de ce métamoteur de recherche. Habituellement, l'interface d'un tel système est extrêmement simplifiée et vous permet immédiatement de comprendre quoi, où et comment vous pouvez rechercher ici. Dans notre cas (MetaPing), la recherche est possible dans trois zones de recherche : en Russie, en Ukraine et dans le monde, alors qu'il est possible de tout rechercher en marquant la recherche sur Internet, ou de restreindre la zone de recherche et de rechercher spécifiquement pour annonces, actualités, fichiers et résumés ( fig. 3).

3 page de démarrage MetaPing
L'utilisateur sélectionne, disons, une recherche en Russie, et entre, par exemple, la requête suivante : « les meilleurs moteurs de recherche » (Fig. 4).

Riz. 4 Page de résultats de recherche MetaPing

Après cela, la demande est relayée aux moteurs de recherche russes spécifiés (dans notre cas, Rambler, Aport, Lycos et Google). Il est à noter que Google, bien que n'étant pas un moteur de recherche russe, leur concurrence actuellement avec succès tant au niveau de l'exhaustivité des bases de données que de la qualité de la recherche, et c'est pourquoi il est ici. Soit dit en passant, un lecteur attentif doit avoir noté l'absence du plus grand moteur de recherche russe, Yandex. Au moment du lancement de MetaPing, Yandex était également présent ici, mais après le fameux scandale il a dû être supprimé.

Pour transmettre une requête au moteur de recherche, un agent de métarecherche spécial est utilisé, qui est responsable non seulement du processus de relais de la requête et de la réception des pages, mais également de s'assurer que la requête est transmise dans le codage correct adopté dans chacun des moteurs de recherche sélectionnés, sinon un ensemble différent de descriptions de documents sera reçu ou ne sera pas reçu du tout, ce qui affectera négativement la qualité de la recherche.

Après traitement de la requête reçue, chaque système renvoie à l'agent de métarecherche un ensemble de descriptions et de liens vers des documents qu'il considère pertinents pour cette requête.

Comment choisir exactement ce dont l'utilisateur a besoin dans cet ensemble ?

Au début de cet article, j'ai déjà mentionné l'approche standard qui est utilisée par la plupart des métamoteurs de recherche et consiste simplement à organiser les liens reçus dans l'ordre où ils apparaissent dans les résultats de recherche de chacun des moteurs de recherche. De plus, si le même site a été trouvé dans différents moteurs de recherche, sa valeur pour l'utilisateur augmente naturellement de manière significative.

L'approche est certainement correcte, mais que se passe-t-il si un système, par exemple, indexe les pages générées dynamiquement, et l'autre non ? Ils ont différents ensembles de documents indexés, différentes complétude des bases de données, par conséquent, les informations demandées par l'utilisateur peuvent être trouvées dans un système et peuvent ne pas être trouvées dans un autre. Dans ce cas, l'utilisateur peut obtenir plusieurs liens vraiment pertinents d'un système, qui seront mélangés avec des liens absolument non pertinents d'un autre (par exemple, dans le cas où la phrase entière n'est pas trouvée, la recherche se fait selon l'un des mots clés demander). En conséquence, l'utilisateur doit sélectionner manuellement les liens pertinents et il est fort probable qu'après avoir fouillé dans une telle "vinaigrette", il partira simplement et ne reviendra jamais.

Existe-t-il un moyen de résoudre ce problème ? Bien sûr avoir. Il faut avec l'ensemble des descriptions de documents reçues des moteurs de recherche faire la même chose qu'avec ces documents, c'est-à-dire déterminer la fréquence des mots-clés dans chaque titre et description et essayer de déterminer indépendamment la cote de chacun d'entre eux.

C'est sur ce principe que le système de métarecherche MetaPing est construit, où un algorithme mixte de traitement de l'information est mis en œuvre. L'auteur a développé des programmes spéciaux d'analyse des données obtenues, grâce auxquels, dans un premier temps, l'ensemble des descriptions des documents reçus est classé, au deuxième rang, il est en outre ajusté en fonction de l'endroit où se trouve le document et le nombre total de documents trouvés sur demande (cela nous permet d'évaluer l'exhaustivité des bases de données de recherche du système spécifique).

Un tel traitement permet non seulement de supprimer les documents dans la description desquels il n'y a aucun mot-clé car potentiellement non pertinents pour la requête, mais aussi de trouver une correspondance stricte si tous les mots-clés sont trouvés dans la description du document dans son intégralité, ce qui augmente considérablement la qualité et la précision de la recherche.

Systèmes de métarecherche Inforian Quest 98 et Copernic 98

Inforian Quest 98 (IQ est une bonne abréviation, n'est-ce pas ?). Un produit inforien, l'effort collectif de programmeurs japonais, chinois et américains.

Poids environ 3,5 Mo, nécessite jusqu'à 5 Mo gratuits espace disque... Prix version complète 25 $, shareware - 1 mois.

Utilise deux styles : Essence, pour les utilisateurs avancés, et Wizard, pour les débutants. Les deux styles sont extrêmement simples. Inforian Quest 98 permet une méta-recherche rapide des sept serveurs les plus populaires (Yahoo !, Altavista, InfoSeek, Excite, HotBot, OpenText, WebCrawler), un accès supplémentaire à près de 200 moteurs de recherche en Amérique, en Europe, au Japon et en Chine, ainsi que des sondages au sein de ces derniers bases de données de données sur sept sections thématiques Arts & Entertainment, News & Business, Computers & Internet, Software & Files (Software & FTP), Newsgroups (Usenet (Discussion Group) ), Technologies scientifiques (Technologie), Adresses et téléphones (Pages jaunes). Il y a un espoir que les clients israéliens et russes soient inclus dans la liste des serveurs "recherchés" dans un proche avenir.

Selon le degré de votre patience, il est recommandé de définir le temps d'attente (attendre ...) pour les résultats de la recherche (minimum - 1 seconde, maximum - presque 4 mois, recommandé - 1-2 minutes) et de spécifier la limite sur le nombre de messages de chaque site trouvé (liens par site) (par défaut, 10). Si vous souhaitez recevoir des informations exceptionnellement récentes et que vous êtes prêt à sacrifier un peu de vitesse de recherche pour cela, arrêtez d'utiliser un serveur proxy. Si vous le souhaitez, vous pouvez facilement changer la langue de l'interface de l'anglais à l'allemand, au français ou à l'espagnol, mais si votre ordinateur est non seulement assemblé, mais également rempli de logiciels d'artisans d'Extrême-Orient, vous pouvez essayer l'interface japonaise ou chinoise. Je suis étonné par le "conseil" superbement exécuté, auquel on peut accéder en appuyant sur la touche F1 du clavier ou en utilisant le script Aide -> Rubriques d'aide.

Copernic 98, un système de méta-recherche d'ATC (Agents Technologies Corporation), n'est pas moins populaire aujourd'hui. Le principal avantage du programme est qu'il n'y a pas besoin de payer pour la version de base, le temps d'utilisation n'est pas limité. Ce programme surpasse son concurrent à la fois en légèreté (environ 2,5 Mo) et en volume d'espace d'informations interrogé lors de la recherche. Par rapport au concurrent, NetFind, LookSmart, Lycos, Magellan ont été ajoutés aux principaux moteurs de recherche, bien que le très prometteur OpenText ait été oublié. Il est à noter qu'en cherchant avec le Copernic 98 quelqu'un que vous connaissez sur le Web, vous utilisez non seulement les ressources du traditionnel Who Where ?, BigFoot, Four11, mais aussi la base de données du "héros de la saison en cours", le Société Mirabilis. Le catalogue thématique, contenant une vingtaine de rubriques et cumulant les informations de plus de 100 moteurs de recherche, peut être utilisé si vous avez choisi la version "plus" (30 jours gratuits, si vous l'aimez, payez un supplément de 30$). À ce jour, le soi-disant Channel Development Kit est en cours de développement, ce qui vous permettra d'ajouter indépendamment n'importe quel moteur de recherche à la liste. Si en même temps Copernic ne le considère pas comme une erreur expression de recherche en russe ou en hébreu - dans notre pays, cette direction est dotée d'une popularité considérable.

A chaque opération de recherche, vous pouvez modifier valeurs maximales le nombre total de résultats de recherche et le nombre de messages dans un canal de recherche distinct (Recherche -> Nouveau -> Paramètres -> Recherche personnalisée). Vous pouvez connecter un serveur proxy pour travailler (Affichage -> Options -> Connexion -> Proxies).

Il y a plus de mille ans, les saints Cyrille et Méthode ont commis une erreur stratégique en prenant les lettres grecques comme base de l'alphabet russe. L'une des conséquences les plus dramatiques de cela - la nécessité de perdre du temps à changer le boîtier du clavier - ne s'est manifestée qu'il y a quelques décennies, lorsque les ordinateurs ont été inventés. Un autre, beaucoup moins important, est la nécessité d'écrire un chapitre séparé sur la recherche dans les documents en russe.

Essayons d'en savoir plus sur l'origine de l'écriture russe, cette fois en utilisant le moteur de recherche Rambler. Dans la section "Ratings" du chapitre 1, nous avons déjà parlé de Rambler en tant que rating des sites russes. Dans cette section, il conviendrait de dire que Rambler n'est pas seulement et pas tant une cote qu'un indice automatique, à peu près le même qu'Aport. En effet, sur la page principale de Rambler tout en haut, il y a un champ de recherche et un bouton de recherche ! pour envoyer une demande.

Pour trouver des documents qui racontent la création de l'écriture russe, il est raisonnable de saisir les mots "histoire", "russe", "écriture" dans le champ de recherche, entourez les mots saisis de guillemets pour rechercher une phrase, puis cliquez sur le bouton Rechercher!. Fragment de résultats de recherche.

Comme vous pouvez le voir, déjà le premier document (sur 234 trouvés), à en juger par son titre, ainsi que le début indiqué par Rambler, la date de la dernière modification (18 mai 2005) et la taille (150 Ko) entièrement répond à nos attentes. Peut-être que les 233 pages restantes disent aussi quelque chose sur l'écriture russe. Mais s'agit-il de documents ? Il manque quelque chose d'important ? Pour répondre correctement à ces questions, vous devez connaître le langage des requêtes Rambler.

Jusqu'à présent, nous savons que Rambler recherche une phrase lorsque les mots du champ de recherche sont entourés de guillemets. Il est important de comprendre que les mots qui composent la phrase, Rambler restent inchangés. Rambler trouvera des documents contenant l'expression « histoire de l'écriture russe », mais ne trouvera pas l'expression « histoire de l'écriture russe ». Pour rechercher toutes les formes grammaticales des mots, vous devez les libérer des guillemets en entrant "Cyril", "Méthode", "Russe", "écriture" dans le champ de recherche.

Par cette requête, Rambler trouve 4229 sites et plus de 34 000 documents. Fragment de résultats de recherche. Comme vous pouvez le voir, Rambler a mis en gras les mots "russe", "écriture", c'est-à-dire qu'aucune distinction n'est faite entre les mots "russe" et "russe", toutes les formes grammaticales sont considérées comme un seul mot. Mais cela vaut la peine de mettre le mot entre guillemets, et Rambler commencera à chercher exactement ce qui est indiqué. À la prochaine demande, des documents contenant les mots « russe », « écriture » ​​et toute forme grammaticale des mots « Cyril » (par exemple, « Cyril » et « Méthode ») seront trouvés :

Cyril Methodius "russe" "écriture"

Par défaut, Rambler recherche les documents contenant tous les mots séparés par des espaces. Mais presque tous les moteurs de recherche modernes essaient de deviner ce que le chercheur avait en tête, il est donc préférable d'indiquer explicitement à Rambler ce qu'il doit faire. Si vous avez besoin de trouver tous les mots, vous mettez l'opérateur logique AND entre eux. La requête suivante trouvera les documents où les deux mots sont présents (en tenant compte de leur variabilité) :

Cyril debout ET Methodius debout

Mais si vous avez besoin de trouver un mot parmi plusieurs, utilisez l'opérateur OU, par exemple :

(écriture OU alphabet OU alphabet) ET Russe ET "Cyril" ET "Méthode"

Cette requête signifie que l'on recherche des pages où il y a nécessairement les mots "Cyril", "Méthode", une des formes grammaticales du mot "russe" et l'un des mots : "écriture", "alphabet", "alphabet" ( compte tenu de leur variabilité grammaticale). Dans le dernier exemple, les mots "Cyril" et "Methodius" sont écrits avec une lettre minuscule, car Rambler, avant de se référer à son index, convertit majuscules en minuscule.

En plus des opérateurs AND et OR, Rambler dispose également de l'opérateur NOT, qui vous permet de trouver des documents où il n'y a pas de mot (phrase) donné. La requête suivante trouvera des pages où il y a des mots « histoire », « russe », « écriture » (en tenant compte de leur variabilité grammaticale), mais pas de mot « Kirill » : histoire ET russe ET écriture NON Kirill

En utilisant l'opérateur NON, vous pouvez faire des requêtes très complexes, par exemple : histoire ET du russe ET écriture NON (Cyril OU Methodius)

Cette requête indique à Rambler de rechercher des pages où il y a les trois mots connectés par l'opérateur AND, et il n'y a ni le mot « Cyril », ni le mot « Methodius ». Vous pouvez comprendre cela à l'aide d'une telle requête au moteur de recherche :

Cyril OU Méthode

Dans ce cas, il y aurait des documents contenant soit le mot « Cyril », soit le mot « Methodius », soit les deux. Evidemment, tous les documents indexés par le moteur de recherche peuvent être divisés en deux parties : la première répond à la requête Cyril OU Methodius, la seconde non. Ainsi, l'opérateur NOT commande simplement au moteur de recherche d'afficher cette deuxième partie. Évidemment, cette section contient des pages qui ne contiennent ni le mot « Cyril » ni le mot « Methodius ».

Il ne nous reste plus qu'à nous familiariser avec le mode de recherche avancée, qui peut être personnalisé en cliquant sur le lien Recherche avancée situé sous le bouton Rechercher !. Formulaire de demande pacuiiipeHHoro.

Dans le champ de recherche, vous pouvez saisir des mots reliés par des opérateurs logiques (dans ce cas, la case Tous doit être cochée dans le groupe Rechercher des mots de requête), ou vous pouvez simplement indiquer si au moins un des mots sélectionnés est recherché ou une exacte ([phase. Vous pouvez spécifier où rechercher - dans les documents eux-mêmes, dans les titres (titre) ou dans le texte des liens. Vous pouvez limiter la distance entre les mots; cela, bien sûr, ne remplace pas la recherche de phrases , mais cela peut parfois aider. Vous pouvez rechercher uniquement sur certains sites (Rechercher des documents uniquement sur les sites suivants Vous pouvez rechercher des documents d'un certain type en spécifiant la Langue et le Format du document, créés dans une période de temps spécifiée (Date du document Enfin, vous pouvez trier les pages non seulement en fonction de leur pertinence par rapport à la requête (pertinence), mais également par date, ainsi que rechercher des documents ne contenant pas les mots spécifiés (Exclure les documents contenant les mots suivants).

L'œuvre a été ajoutée au site du site : 2016-03-05

"xml: lang =" ru-RU "lang =" ru-RU "> MINISTÈRE DE L'ÉDUCATION et DES SCIENCES DE LA FÉDÉRATION DE RUSSIE

"xml: lang =" ru-RU "lang =" ru-RU "> Université d'État de Belgorod

"xml: lang =" ru-RU "lang =" ru-RU "> Branche Stary Oskol

essai

"xml: lang =" ru-RU "lang =" ru-RU "> Moteurs de recherche Internet

"xml: lang =" ru-RU "lang =" ru-RU "> sur l'exemple du système“"xml: lang =" en-US "lang =" en-US "> Rambler"xml: lang =" ru-RU "lang =" ru-RU ">"

; font-family: "Times New Roman" "xml: lang =" ru-RU "lang =" ru-RU "> Complété par: Demenko Ale"xml: lang =" ru-RU "lang =" ru-RU "> к; font-family: "Times New Roman" "xml: lang =" ru-RU "lang =" ru-RU "> this.

; font-family: "Times New Roman" "xml: lang =" ru-RU "lang =" ru-RU "> groupe d'étudiants 150

; font-family: "Times New Roman" "xml: lang =" ru-RU "lang =" ru-RU "> spécialité" Enseignant"xml: lang =" ru-RU "lang =" ru-RU "> et; font-family: "Times New Roman" "xml: lang =" ru-RU "lang =" ru-RU "> ka et méthode de formation initiale"xml: lang =" ru-RU "lang =" ru-RU "> e; font-family: "Times New Roman" "xml: lang =" ru-RU "lang =" ru-RU ">

; font-family : " Times New Roman " " xml : lang =" ru-RU " lang =" ru-RU " > Vérifié par : M. V. Karnaukhova

; font-family: "Times New Roman" "xml: lang =" ru-RU "lang =" ru-RU "> Stary Oskol - 2004

"xml: lang =" ru-RU "lang =" ru-RU "> INTRODUCTION ………………………………………………………………. ……………… …… 3

"xml: lang =" ru-RU "lang =" ru-RU "> Langue des requêtes de recherche …………………………………………………… ....… 3

"xml: lang =" ru-RU "lang =" ru-RU "> S'inscrire …………………………………………………………………………………………… …… .3

"xml: lang =" ru-RU "lang =" ru-RU "> Opérateurs ………………………………………………………………………………… . 3

"xml: lang =" ru-RU "lang =" ru-RU "> guillemets ………………………………………………………………………………………… … …..4

"xml: lang =" ru-RU "lang =" ru-RU "> Parenthèses …………………………………………………………………………………………… ……..4

"xml: lang =" ru-RU "lang =" ru-RU "> Métacaractères …………………………………………………………………………… .4

"xml: lang =" ru-RU "lang =" ru-RU "> Utilisation du langage de requête ………………………………………………… ..… .4

; font-family : "Times New Roman" "xml: lang =" ru-RU "lang =" ru-RU "> Morphologie ……………………………………………………… ……………………….5

; font-family: "Times New Roman" "xml: lang =" ru-RU "lang =" ru-RU "> Mots vides ………………………………………………… … …………………………...5

; font-family: "Times New Roman" "xml: lang =" ru-RU "lang =" ru-RU "> Limitation de distance …………………………………………………… …….5

; font-family: "Times New Roman" "xml: lang =" ru-RU "lang =" ru-RU "> Mots introuvables ………………………………………………… … ……………..5

; font-family: "Times New Roman" "xml: lang =" ru-RU "lang =" ru-RU "> Opérateurs spéciaux …………………………………………………… ……..5

; font-family: "Times New Roman" "xml: lang =" ru-RU "lang =" ru-RU "> Recherche confortable …………………………………………………… ……………...5

; font-family: "Times New Roman" "xml: lang =" ru-RU "lang =" ru-RU "> Comment activer la barre de liens ………………………………………… …… … ..6

; font-family: "Times New Roman" "xml: lang =" ru-RU "lang =" ru-RU "> Comment faire pour que Rambler trouve mes documents ? ………… ..6

; font-family: "Times New Roman" "xml: lang =" en-RU "lang =" en-RU "> Comment gérer l'indexation du site, Utilisation des fichiers robots.txt, Robots et le fichier robots.txt ……… …… ………… ... 7

; font-family: "Times New Roman" "xml: lang =" ru-RU "lang =" ru-RU "> Placement du fichier robots.txt ………………………………………… … ……huit

; famille de polices : "Times New Roman" "xml: lang =" ru-RU "lang =" ru-RU "> Format de fichier Robots.txt …………………………………………… ……………huit

; font-family: "Times New Roman" "xml: lang =" ru-RU "lang =" ru-RU "> Groupes d'instructions pour les robots individuels: User-agent …… ..… 8

; font-family: "Times New Roman" "xml: lang =" ru-RU "lang =" ru-RU "> Lignes vides et commentaires ……………………………………………… ..neuf

"xml: lang =" ru-RU "lang =" ru-RU "> Utilisation des META-tags" Robots "………………………………………… .9

; font-family: "Times New Roman" "xml: lang =" ru-RU "lang =" ru-RU "> Détermination de la position du site dans les résultats de recherche pour une requête donnée …………………… …………… …………………………….…neuf

; font-family: "Times New Roman" "xml: lang =" ru-RU "lang =" ru-RU "> Comment fonctionne le moteur de recherche Rambler ………………….… 9

"xml: lang =" ru-RU "lang =" ru-RU "> Conclusion ……………………………………………………………………….…. 16

introduction

Décrit ici :

• Langage de requête de recherche : quoi et comment vous pouvez écrire dans la barre de recherche ;
• Application du langage de requête : comment le moteur de recherche Rambler traite la requête ;
• Recherche avancée : comment rechercher plus efficacement dans Rambler à l'aide de la page Recherche avancée ;
• Recherche pratique : comment définir un bouton spécial pour rechercher dans Rambler directement dans le panneau du navigateur.

• Comment faire en sorte que Rambler trouve mes documents ;
• Comment gérer l'indexation du site ;
• Réponses aux questions fréquemment posées.

Langage de requête de recherche

Une requête de recherche peut comprendre un ou plusieurs mots et peut contenir des signes de ponctuation. Vous pouvez écrire des requêtes simples sans entrer dans les subtilités du langage de requête. Donc, si vous entrez dans chaîne de recherche plusieurs mots sans signes de ponctuation et sans opérateurs logiques, des documents contenant tous ces mots seront trouvés (et à une distance limitée les uns des autres). La connaissance et l'application correcte du langage de requête du moteur de recherche contribueront à rendre la recherche sur Rambler rapide et efficace.

S'inscrire

En général, le cas de l'écriture mots de recherche et les opérateurs n'ont pas d'importance, c'est-à-dire maison et maison, Not et non sont perçus de la même manière. Et seulement parfois, afin d'améliorer la qualité de la recherche, le cas de la requête de recherche est pris en compte.

Par exemple, si une requête se compose de deux, trois ou quatre mots, dont chacun est écrit avec une majuscule, alors une recherche par nom propre est supposée, et la limitation de la distance entre les mots de la requête est automatiquement modifiée de la valeur par défaut à la valeur (n-1) * 2 , où n est le nombre de mots dans la requête. Cela vous permet de trouver un groupe de mots de requête, dans lequel il n'y a pas plus d'un mot ou signe de ponctuation "supplémentaire", par exemple "Baden-Baden", "A. Pouchkine", "Fiodor Mikhailovich Dostoïevski".

Les opérateurs

Une requête multi-mots peut contenir des opérateurs. Les opérateurs ne sont pas recherchés dans le document, ils servent uniquement d'instructions au moteur de recherche. Tous les opérateurs des moteurs de recherche sont binaires, c'est-à-dire qu'ils ont des parties gauche et droite, chacune étant également une requête (par défaut, constituée d'un mot). Pour modifier la portée des opérateurs (regrouper plusieurs mots de requête dans un argument d'opérateur), des parenthèses et des guillemets sont utilisés.

Deux requêtes reliées par l'opérateur ET (ET logique) forment une requête complexe qui n'est satisfaite que par des documents qui satisfont simultanément ces deux requêtes. Autrement dit, sur demande"chien et chat" il n'y aura que les documents qui contiennent le mot"chien" et le mot "chat".

Une requête complexe constituée de deux requêtes reliées par l'opérateur OU (OU logique) est satisfaite par tous les documents qui satisfont à au moins une de ces deux requêtes. Sur demande"chien OU chat" il y a des documents qui contiennent au moins un des mots"chien" ou "chat" (ou ces deux mots ensemble).

L'opérateur NOT (logique AND NOT) forme une requête, à laquelle répondent des documents qui satisfont le côté gauche de la requête et ne satisfont pas le droit. Ainsi, le résultat de la recherche pour la requête"chien PAS chat" il y aura tous les documents qui contiennent le mot"chien" et il n'y a pas de mot "chat".

Si l'opérateur n'est pas explicitement spécifié, l'opérateur par défaut AND est utilisé : seuls les documents contenant tous les mots de la requête sont trouvés. Ainsi, la demande"crédit informatique"sera interprété comme"information ET technologie ET crédit"... Sur la page Recherche avancée, l'opérateur par défaut peut être remplacé par OR (Recherche de mots de requête : au moins un).

Chacun des opérateurs a une abréviation :

Opérateur	Désignation abrégée
ET
OU
NE PAS

Une requête de plusieurs mots entrecoupés d'opérateurs sera interprétée selon leur priorité. Les opérateurs AND et NOT ont traditionnellement une priorité plus élevée, par conséquent, une requête de plusieurs mots est d'abord regroupée par les opérateurs AND et NOT, et seulement ensuite par les opérateurs OR. Vous pouvez modifier l'ordre de regroupement à l'aide de parenthèses.

Devis

Vous pouvez utiliser des guillemets doubles pour rechercher des guillemets. Les mots de requête entourés de guillemets doubles sont recherchés dans les documents exactement dans l'ordre et dans les formes dans lesquels ils apparaissent dans la requête.

Ainsi, les guillemets doubles peuvent aussi être utilisés simplement pour rechercher un mot sous une forme donnée (par défaut, les mots sont trouvés sous toutes les formes). Par exemple, demandez"avion" ravitaillé "atterrissage"satisfait le document contenant le texte"... l'avion a atterri et fait le plein...", et ne satisfait pas au document contenant".. l'avion a atterri pour faire le plein...".

Supports

Lors de la création de requêtes, il devient parfois nécessaire de combiner les mots de la requête en groupes qui seront les arguments d'un certain opérateur. Ces groupes sont mis entre parenthèses.

La partie entre crochets de la requête est elle-même une requête et est soumise aux règles du langage de création de requête. L'utilisation de parenthèses vous permet de créer des requêtes imbriquées et de les transmettre aux opérateurs en tant qu'arguments, ainsi que de remplacer la priorité par défaut des opérateurs.

Si la requête est sans parenthèses"avion machine | aérodrome"équivalent à la demande"voiture ET avion OU aérodrome"et, selon la priorité des opérateurs, signifie "trouver des documents contenant soit les mots"voiture" et "avion" , ou le mot aérodrome, puis une requête entre parenthèses"voiture (avion | aérodrome)"équivaut à une demande"machine ET (avion OU aérodrome)"qui signifie "trouver des documents contenant le mot« voiture » ​​et l'un des mots « avion » ou « aérodrome » ».

Métacaractères

Rambler ne prend pas encore en charge la recherche de chaînes à l'aide de métacaractères ("*" , "?" ), qui sont couramment utilisés pour signifier "toute sous-chaîne" et "caractère unique arbitraire", respectivement. Cependant, ces opérateurs sont réservés pour une utilisation future similaire.

Utiliser le langage de requête

Chaque requête adressée au moteur de recherche Rambler est traitée conformément aux règles du langage de requête. Certains mots et symboles sont traités comme des opérateurs de langage de requête et traités d'une manière spéciale. En fait, le langage de requête décrit une certaine formule utilisée dans la recherche - chacun des documents est "apparié" avec elle, et le résultat de la recherche n'est que les documents qui la satisfont.
Par exemple, demandez"avion" satisfaire à tous les documents dans lesquels le mot apparaît au moins une fois"avion" de n'importe quelle forme. Une demande composée de plusieurs mots est satisfaite par des documents contenant chacun de ces mots sous quelque forme que ce soit (sous certaines conditions). La question de savoir si un document correspond à une requête plus complexe est déterminée par la logique des opérateurs et des constructions du langage de requête.

Morphologie

Pour chaque mot de la requête, la recherche est effectuée en tenant compte des règles de flexion de la langue correspondante. Rambler comprend et distingue les mots russes et Langues anglaises- par défaut, la recherche s'effectue dans toutes les formes du mot.

Par exemple, lors de la recherche du mot"Humain" des documents contenant des mots seront également trouvés"homme", "homme", "homme" et même "gens" ... Pour rechercher une seule forme spécifique d'un mot, vous devez l'entourer de guillemets doubles ou utiliser la recherche d'une expression exacte dans la recherche avancée.

Mots vides

Certains mots et symboles sont exclus de la requête par défaut en raison de leur faible contenu informatif. Ce sont les mots dits vides - les mots les plus fréquents des langues russe et anglaise, par exemple, les prépositions, les particules et les articles. La présence de ces mots peut ralentir les recherches et nuire à l'exhaustivité des résultats. Il est possible d'indiquer la nécessité de ces mots dans la requête en reprenant la requête entre guillemets ou en utilisant la recherche de l'expression exacte dans la recherche avancée.

Limitation de distance

Si une requête est composée d'un ou plusieurs mots sans utiliser d'opérateurs ni de constructions de langage de requête, alors les documents seront trouvés dans lesquels tous les mots de requête sont trouvés. Dans le même temps, pour chaque requête, il existe toujours une limitation dite de contexte - un nombre positif, égal par défaut à une distance de 40 mots. Un document contenant tous les mots de la requête ne sera émis que si la distance en mots entre les occurrences des mots de la requête est inférieure à ce nombre. Par exemple, sur demande"Armée rouge" trouveront les documents dans lesquels les mots"rouge" et "armée" se rencontrer au moins une fois à moins de 40 mots d'intervalle.

La valeur de la contrainte de contexte peut être modifiée avec la construction"(nombre, demande)" , où nombre est un nombre positif, la requête est toute requête correcte du point de vue du moteur de recherche, composée de plus d'un mot (évidemment, limiter la distance entre les mots dans le cas d'une requête à un mot n'a pas de sens) . Ainsi, sur demande"(2, armée rouge)"il n'y a que les documents dans lesquels entre les mots"rouge" et "armée" au moins une fois pas un seul mot ne vaut (puisque ce n'est que dans le cas de leur proximité immédiate que la différence des nombres ordinaux des mots est inférieure à 2, c'est-à-dire égale à 1)

Mots introuvables

Si la requête se compose de plusieurs mots et que certains d'entre eux n'ont pas pu être trouvés sur Internet, les résultats de la recherche sont renvoyés pour une requête partielle, dont les mots absents sur Internet sont exclus. Dans ce cas, les diagnostics correspondants sont affichés sur la page des résultats de la recherche.

Opérateurs spéciaux

Rambler vous permet de rechercher des pages sur lesquelles les compteurs de Top100, To p Boutique, TopList, SpyLog et HotLog. Pour retrouver sur Internet toutes les pages sur lesquelles se trouve un compteur avec un identifiant donné, utilisez l'opérateur$ (compteur = ID) , où counter est le nom du compteur (top100, topshop, toplist, spylog ou hotlog), et ID est le numéro du compteur (identifiant de ressource).

Exemple : afin de retrouver toutes les pages de la rubrique Rambler-Postcards sur Internet (identifiant Rambler's Top100 - 193680), envoyez une requête à Rambler $ (top100 = 193680).

; font-family: "Times New Roman" "xml: lang =" ru-RU "lang =" ru-RU "> Recherche confortable

Pour faciliter la recherche sur Internet, vous pouvez installer sur le panneau du navigateur (Netscape ou Internet Version explorateur 4) un bouton de recherche spécial dans Rambler. Comment faire?

Faites glisser l'un des liens de la page spéciale avec la souris vers le champ du panneau des liens.

Après cela, le bouton "Rechercher dans Rambler" apparaîtra sur le panneau. JavaScript doit être activé dans le navigateur. Si, lors de la visualisation d'un document, sélectionnez le texte que vous souhaitez définir comme requête de recherche et cliquez sur ce bouton, la requête sera envoyée Randonneur ... Les résultats de la recherche seront affichés dans une autre fenêtre. La longueur de la requête est limitée à 96 caractères

Comment activer la barre de liens

Si la barre de liens est désactivée, vous pouvez l'activer comme suit :

Netscape

Dans le menu "Affichage", cochez "Afficher la barre d'outils personnelle"

Internet Explorer

au menu "View" (ou "View") définit les "ToolBars". Ensuite, cochez "Liens"

; font-family: "Times New Roman" "xml: lang =" ru-RU "lang =" ru-RU "> Comment faire pour que Rambler trouve mes documents ?

1. Tout d'abord, vous devez remplir un formulaire d'inscription dans le moteur de recherche Rambler. Ce sera une garantie que les robots Rambler découvriront le site et commenceront à l'indexer plus tôt. Le questionnaire se trouve sur http://www.rambler.ru/doc/add_site_form.shtml.
2. Les robots Rambler explorent automatiquement les sites situés dans les domaines de premier niveau suivants :

Fédération de Russie : .ru, .su
Ukraine : .ua
Biélorussie : .par
Kazakhstan : .kz
Kirghizistan : .kg
Ouzbékistan : .uz
Géorgie : .ge

et ignorer les sites d'autres domaines.

Si ce site est situé en dehors des domaines nommés (par exemple, dans les zones.com, .org, .net ), mais une partie importante du site contient du matériel en russe ou peut intéresser le public russophone de Rambler, vous pouvez envoyer une lettre à l'adresse [email protégé] avec une demande d'inclusion du site dans la liste des sites scannés, ou remplissez le formulaire retour d'information... Le personnel de Rambler examinera cette demande et décidera de la faisabilité d'une telle inclusion.

1. Il est recommandé d'inscrire le site dans le Rating Top100 et de placer un compteur sur toutes les pages du site. Le questionnaire rempli lors de l'inscription dans cette notation est indexé quotidiennement, et un robot Rambler spécial remplit deux fois par jour la base de données du moteur de recherche avec de nouvelles pages sur lesquelles se trouve le compteur. Ainsi, l'inclusion d'un site dans le Top100 est la plus manière rapide accédez aux résultats de recherche !
2. Lorsque vous remplissez les champs des questionnaires "Nom du site" et "Description", vous ne devez pas y saisir de longues listes de mots-clés. Ces champs ne sont pas encore utilisés pour les recherches de toute façon. Le titre et la description doivent être lisibles par l'homme car ces champs sont utilisés dans nos bases de données internes et sont examinés par les éditeurs.
3. Rambler peut extraire des hyperliens à partir d'objets Macromedia Flash. Si le site dispose d'un écran de démarrage ou de barres de navigation réalisées à l'aide de cette technologie, Rambler les traitera, trouvera les adresses de toutes les pages du site et indexera l'ensemble du site. Cependant, les textes des objets flash eux-mêmes ne sont pas indexés. Cette décision a été prise car la plupart de ces objets contiennent des éléments de navigation, des écrans de démarrage, des menus et d'autres fragments très importants en tant que source d'hyperliens, mais contenant peu d'informations comme du texte. Pour les sites entièrement constitués d'objets flash, il est recommandé de créer une copie HTML et de l'enregistrer auprès d'un moteur de recherche.
4. Les robots Rambler ignorent les champs lors de la numérisation et tous les autres domaines, sauf ... Cela est dû au fait que ce système essaie d'indexer le document tel qu'il est (c'est-à-dire tel que l'utilisateur le voit). Ce n'est un secret pour personne que souvent les créateurs de pages Internet abusent de ces champs, essayant de forcer les moteurs de recherche à trouver un document par des requêtes qui ne lui sont pas directement liées. Vous devez également éviter d'utiliser du texte invisible (dans lequel la couleur de la police correspond à la couleur de l'arrière-plan). Les robots Rambler ne scannent pas non plus les commentaires dans le document, il est donc préférable de les utiliser aux fins prévues. N'oubliez pas que chaque commentaire augmente la taille du document, ce qui signifie qu'il réduit la probabilité que le document soit consulté jusqu'à la fin par l'utilisateur.
5. Faites attention aux titres et à l'emphase dans le document. Il est conseillé d'inclure les concepts de base et les mots-clés de ce site dans les balises HTML suivantes (par ordre d'importance) :