Parfois, il est nécessaire que les pages du site ou les liens qui y sont placés n'apparaissent pas dans les résultats de recherche. Vous pouvez masquer le contenu du site de l'indexation à l'aide du fichier robots.txt, du balisage HTML ou de l'autorisation sur le site.
Interdiction d'indexer un site, une rubrique ou une page
Si certaines pages ou sections du site ne doivent pas être indexées (par exemple, avec un service ou information confidentielle), restreignez-leur l'accès de la manière suivante :
- Spécifiez la directive Disallow dans le fichier robots.txt.
- Dans le code HTML des pages du site, spécifiez la balise meta robots avec la directive noindex ou none. Voir la balise méta des robots et l'en-tête HTTP X-Robots-Tag pour plus de détails.
- Autorisation d'utilisation sur le site. Nous recommandons cette méthode pour masquer la page principale du site de l'indexation. Si page d'accueil est interdit dans le fichier robots.txt ou en utilisant la balise meta noindex, mais des liens vers celui-ci, la page peut apparaître dans les résultats de recherche.
Interdiction d'indexer le contenu des pages
Masquer une partie du texte de la page de l'indexationDans le code HTML de la page, ajoutez l'élément noindex. Par exemple:
L'élément n'est pas sensible à l'imbrication - il peut être situé n'importe où dans le code HTML de la page. Si vous devez rendre le code de site valide, vous pouvez utiliser la balise au format suivant :
texte à indexerMasquer un lien sur une page de l'indexation
Dans le code HTML de la page, ajoutez l'attribut a à l'élément a. Par exemple.
Salutations chers amis! Dans l'article d'aujourd'hui, je veux parler de la façon de vérifier l'indexation d'une page spécifique du site. Imaginez que vous avez écrit un article et que vous l'avez publié sur un site Web. Avant d'entreprendre toute action, vous devez savoir comment les moteurs de recherche ont évalué cette page à ce stade de la promotion.
Pour ce faire, nous devons savoir si la page est indexée ou non. Si la page est indexée, nous commençons à l'améliorer, sélectionnons les requêtes et analysons les concurrents, sinon nous accélérons l'indexation de la page (). Comment savoir si une page est indexée ou non ?
En général, vous pouvez utiliser la méthode la plus banale. Nous ouvrons le panneau du webmaster dans Yandex et regardons les pages indexées (comme avec Google). Bien sûr, la méthode est bonne, mais malheureusement, elle a le seul inconvénient, et elle est très importante pour la promotion de la page. Le panel du webmaster est mis à jour une fois par jour, voire une fois tous les 2 jours. Ce n'est pas très pratique pour l'optimiseur de référencement, pour qui il est très important de connaître le score de qualité de la page.
Que signifie l'évaluation de la qualité ? La plupart des optimiseurs de référencement sont promus par des entreprises peu compétitives Requêtes de recherche, il est donc important de savoir quelle position le moteur de recherche attribuera lors de la première indexation de la page. Selon la position, vous devez analyser les concurrents correspondants qui sont plus élevés dans les résultats de recherche.
Ainsi, je veux vous parler des outils que j'utilise personnellement lors de la promotion des blogs.
Tout d'abord, c'est le programme YCCY, qui me sert depuis plus de 2 ans. Il se distingue par sa précision dans la vérification de l'indexation des pages. Soit dit en passant, c'est aussi l'un des plus anciens outils d'optimisation de référencement. Malgré son âge, il est toujours d'actualité et est utilisé non seulement pour vérifier l'indexation des pages, mais également à plusieurs autres fins, telles que la vérification par lots de toutes les pages du site, la vérification des backlinks, etc. autres
Un index de moteur de recherche est une base de données qui stocke des informations sur les documents Web. Le but de ce "stockage" est évident - en utilisant la base de données, le moteur de recherche peut calculer rapidement et avec précision les valeurs des facteurs de classement, la valeur numérique de la pertinence de l'URL pour la demande de l'utilisateur et générer des résultats de recherche.
Pour les spécialistes du référencement et les propriétaires de sites, cela signifie une chose : combien de pages sont indexées, combien de documents peuvent être trouvés dans les résultats des requêtes ciblées, et le même nombre d'URL peut attirer du trafic.
Comment vérifier rapidement l'indexation dans Yandex et Google ?
Il existe de nombreux moyens et services pour vérifier l'indexation des pages, et nous avons trois outils qui affichent le nombre de documents dans l'index par domaine :
Spécifiez simplement le domaine dans l'un d'entre eux. L'outil vous aidera à vérifier l'indexation du site et vous indiquera le nombre de documents dans la base de données Données Google et Yandex, avec ou sans sous-domaines :
Opérateurs de recherche pour vérifier l'indexation
Vous pouvez connaître l'indexation d'un site grâce aux opérateurs de recherche. Pour Yandex, il s'agit des opérateurs "site :", "hôte :" et "url :".
Pour Google - "site:" , "inurl:" et "info:" .
À la fois moteurs de recherche les résultats sont approximatifs, mais vous pouvez utiliser Options supplémentaires pour voir combien de pages ont été indexées en une semaine, par exemple :
Pour vérifier l'indexation page spécifique site, utilisez l'opérateur "url :" pour Yandex et "info :" pour Google.
Webmestre et console de recherche
Dans Webmaster, allez dans l'onglet "indexation" - "pages en recherche". Ici vous pouvez trouver des statistiques sur les documents ajoutés et supprimés de la recherche. Vous pouvez également afficher l'historique des modifications pour l'ensemble du site pour une plage de dates spécifique :
Vous pouvez vérifier l'indexation de votre site dans Google à l'aide de la Search Console. V nouvelle version dans la console, allez dans l'onglet "état" - "indexation des URL soumises" et obtenez une image des modifications, des erreurs, des pages exclues et un calendrier d'affichage :
Contrôle d'indexation possible
Il est important de comprendre que l'exploration ou l'exploration d'une page de site ne signifie pas qu'elle entre dans l'index. Parfois, il est nécessaire d'empêcher l'indexation de pages qui ne sont pas nécessaires à la recherche, par exemple : des URL avec des paramètres techniques GET, des documents de service ou d'utilisateur (panier, Espace personnel et autres), des documents avec des balises UTM. Il est donc souhaitable que chaque site dispose :
À l'aide de la commande Interdire, vous pouvez désactiver l'indexation d'URL individuelles ou de sections du site.
Délai d'exploration - définit le temps minimum pour que le robot accède au serveur afin d'éviter les charges sur le site.
Clean param - vous permet de spécifier des paramètres CGI dans les URL qui ne sont pas importantes pour l'indexation, c'est-à-dire divers ID utilisateur, sessions, etc. Utilisé uniquement dans Yandex.
Sitemap.xml - un fichier qui aide les robots de recherche à explorer le site, en tenant compte des priorités spécifiées.
Robots.txt - un fichier qui définit les règles et les paramètres d'exploration pour tous les robots des moteurs de recherche ou individuellement pour chacun :
Les pages ouvertes doivent être dans la recherche, alors seulement vous pouvez penser au classement. N'oubliez pas de consulter le site pour l'indexation, le suivi des changements et les bonnes positions dans les résultats de recherche !
Pour comprendre si une page particulière du site est dans la recherche et combien de pages de votre ressource sont généralement vues moteurs de recherche, vous n'avez pas besoin de beaucoup. En savoir plus sur la façon de vérifier l'indexation du site et d'obtenir information nécessaire, nous le dirons dans cet article.Immédiatement, nous notons que lors de la numérisation d'un site, les robots transfèrent toutes les informations reçues sur la ressource vers des bases de données distinctes. Et puis le moteur de recherche travaille sur ces bases de données.Cependant, on constate que certains webmasters inexpérimentés confondent deux notions : le crawling et l'indexation. Le crawling est en fait l'étude du site par le robot. Il ne faut pas beaucoup de temps pour contourner toute la ressource. Mais l'indexation, c'est-à-dire l'ajout d'informations sur la ressource à la base de données, prend un temps relativement long.
1) Comment vérifier l'indexation du site via le panneau de contrôle du service pour les webmasters
Cette méthode est la principale. Pour ServiceGoogle vous devriez faire ce qui suit :
- accédez au panneau de configuration du service ;
- sélectionnez l'onglet Search Console ;
- après cela, allez dans un autre onglet "Google Index" ;
- Cliquez sur État de l'indexation.
Pour le service Yandex, la séquence d'actions sera la suivante :
- ouvrir Webmestre ;
- trouver l'élément d'indexation du site ;
- sélectionnez la ligne Pages dans la recherche.
Vous pouvez également parcourir une séquence d'onglets différente - après avoir indexé le site, cliquez sur l'onglet Historique, et déjà là, cliquez sur l'onglet Pages dans la recherche. Cela vous permettra de suivre l'évolution du nombre de pages indexées.
Cette méthode de vérification n'est disponible que pour les webmasters pour lesquels l'accès correspondant est ouvert dans la barre d'outils du service.
L'image ci-dessous montre un graphique d'un site bien indexé. Comme vous pouvez le constater, le nombre de pages de l'index ne cesse d'augmenter.
Et l'image ci-dessous montre le cas où il y a des problèmes d'indexation ou des pages de sites sont généralement fermées à l'indexation.
2) Vérification par les opérateurs de recherche
Avec leur aide, il est facile d'affiner les résultats futurs. Par exemple, le paramètre / opérateur "site:" est excellent à cet effet, grâce auquel vous pouvez voir exactement combien de pages sont indexées.
Pour cela dans ligne de recherche(Yandex ou Google, et mieux ici et là) la combinaison suivante est saisie :site : URL du site
Noter! Une grande différence dans les résultats des deux moteurs de recherche peut indiquer la présence de certains problèmes sur le site.
Par exemple, le site cubing.com.ua, dont les données sont présentées dans les captures d'écran ci-dessous, est sous le filtre AGS appliqué par le moteur de recherche Yandex.
Mais outils supplémentaires, qui se trouvent dans les moteurs de recherche, offrent la possibilité d'obtenir de nombreuses informations intéressantes. Par exemple, comment l'indexation a changé sur une période donnée.
3) Plugins et extensions
Il s'agit d'une méthode de vérification automatisée. En plus des plugins, vous pouvez utiliser des extensions spéciales. Ils sont également appelés bookmarklets, qui sont des programmes de script. Ils sont enregistrés en tant que signets de navigateur normaux.
La beauté des scripts est que maintenant vous n'avez plus besoin d'ouvrir le moteur de recherche encore et encore et d'entrer des mots ou des caractères. Le programme fera tout pour vous.
L'image ci-dessus montre un exemple du fonctionnement du plugin. Barre RDS . La capture d'écran montre quelles données il affiche lorsqu'il est intégré dans Navigateur Google Chrome. Mais dans le navigateur MozillaComment il offre encore plus de données et de possibilités.
En particulier, un tel plugin permet d'obtenir des données, comme page séparée et sur l'ensemble du site.
Noter! Les plugins sont payants et gratuits. Un inconvénient évident versions gratuites- la nécessité de saisir constamment le captcha. Terriblement nerveux !
Le script/bookmarklet "Checking Indexing" méritait de bonnes critiques. Il vous suffit de le faire glisser vers le panneau de votre navigateur. Ouvrez ensuite le site dont vous avez besoin et cliquez sur l'onglet script. Cela activera un nouvel onglet de navigateur affichant toutes les données.
4) Prestations spéciales
Véritables aides de tous les "seoshnikov". La liste de ces services peut être longue - ils sont nombreux. Par exemple, une ressource est allouée Araignée Netpeak.
Le principal avantage des services est que vous obtenez beaucoup de Information additionnelle en plus des données de base :
- données sur le nombre de pages indexées ;
- une liste complète de toutes les pages qui sont dans l'index ;
- codes de réponse ;
- balises méta ;
- fichier robots.txt et bien plus encore.
En outre, le service fournira des informations sur les erreurs sur le site.
5) Vérification de l'indexation du site avec Topvisor
Topvisor est le meilleur service pour surveiller et analyser la promotion des moteurs de recherche. Pour vérifier l'indexation, procédez comme suit :
Après votre inscription, sélectionnez le projet que vous souhaitez indexer.
Ici, vous pouvez créer des groupes de mots-clés pour plus de commodité et utiliser le service pour déterminer la fréquence des demandes et voir leurs valeurs de base, "expression" et "exactes". Dans le même temps, vous pouvez saisir les "clés" manuellement, les importer à partir d'un fichier et également effectuer une sélection à partir de Yandex.Wordstat et Google AdWords.
Pour vérifier les positions, allez dans l'onglet "positions", sélectionnez le moteur de recherche souhaité, par exemple Yandex, sélectionnez groupe souhaité mots clés et cliquez sur le bouton vert dans le coin supérieur gauche "mettre à jour".
Après un certain temps, les données seront mises à jour. Dans le rapport, vous verrez la position de votre site pour certaines requêtes et la fréquence des requêtes par "clés". Lorsqu'il y a des changements, par exemple, si votre site a grimpé de plusieurs positions dans le moteur de recherche, ces changements seront affichés ici. Option également disponible démarrage automatique vérifie à l'heure spécifiée ou en fonction des mises à jour Yandex
Pourquoi il y a des problèmes avec l'indexation des sites : une description des principaux problèmes et des moyens de les résoudre
Considérez les principales raisons pour lesquelles un site peut ne pas être indexé. Souvent, il ne faut pas beaucoup de temps pour corriger les erreurs, mais après cela, les résultats Résultats de recherche s'améliorer sensiblement.
Chantier jeune
Si votre ressource a très peu de jours/semaines/mois, il vous suffit d'attendre. Un peu. Ainsi, les moteurs de recherche font en sorte que les sites et les pages entrent dans l'index loin d'être immédiats. Il faut parfois attendre plusieurs mois.
Plan du site manquant
Il est impossible d'obtenir de bons résultats sans un sitemap approprié. Plan du site fournit une assistance directe aux robots de recherche, ce qui accélère considérablement la vitesse d'exploration du site, ainsi que l'insertion de ses pages dans l'index. Le moyen le plus simple d'ajouter un lien vers un sitemap consiste à utiliser le panneau de configuration du service Webmaster.
Présence d'erreurs
Portez une attention particulière aux alertes lorsque vous visitez le service de webmaster. Il y a toujours des messages sur la présence de certaines lacunes, erreurs. Passez-les en revue et n'oubliez pas de les corriger.
Problème avec les robots
La balise meta robots est importante pour une bonne indexation du site. Changer inconsciemment les paramètres de l'hébergement ou de votre CMS conduit à l'entrée suivante dans le code.
Ce qui signifie que la page n'est tout simplement pas indexée.
Erreur avec le fichier robots.txt
Une rédaction correcte est gage d'une bonne indexation. Vous pouvez souvent trouver des conseils et des recommandations à fermer pour les robots de recherche via fichier donné tout inutile.
Cependant, la particularité du fichier est qu'un seul caractère mal placé peut généralement fermer le site pour l'indexation par les moteurs de recherche.
Même si vous essayiez de fermer une seule page, il se peut que plusieurs pages se soient fermées en un seul clic, etc.
Regardez attentivement votre dossier. A-t-il un enregistrementAgent utilisateur : * Interdire : /? S'il est présent, le site est fermé pour indexation.
Et quelques autres raisons pour lesquelles le site n'est pas indexé
Parmi les principaux problèmes d'indexation figurent :
- la présence de pages en double ;
- utilisation de matériaux non uniques lors du remplissage du site ;
- vitesse de chargement lente du site et problèmes d'accès à celui-ci.
Comment accélérer l'indexation des sites dans Yandex et Google ?
L'objectif principal du propriétaire du site est de s'assurer que toutes les pages ouvertes aux robots de recherche sont indexées. Arriver à un tel résultat, franchement, est très, très difficile.
De plus, vous devez constamment surveiller l'ensemble du processus d'ajout de pages à l'index. Tout changement - brusque - qu'il soit positif ou négatif, signale la présence de problèmes spécifiques qui interfèrent avec l'indexation normale de la ressource.
Pour vérifier l'indexation du site, utilisez n'importe quelle méthode (ou mieux, chacune dans l'ordre) décrite dans notre article :
- barre d'outils dans le service pour les webmasters ;
- opérateur de recherche/site de paramètres : ;
- plugins et scripts ;
- services en ligne spécialisés.
Bonus, pour ceux qui veulent vraiment obtenir des résultats
Présentation tableau spécial , qui vous aidera lorsque vous travaillez avec l'indexation de sites.
Travailler avec une telle table est très, très simple. Voici la séquence détaillée des actions :
- faites une copie du tableau avec des colonnes, comme dans la capture d'écran ;
- sélectionnez une zone de domaine ;
- dans la colonne A, chargez l'URL du site ;
- attendez que toutes les URL soient chargées - plus il y en a, plus il faut attendre le résultat.
Les colonnes B et C peuvent être copiées, ce qui vous permettra de suivre la dynamique d'indexation des pages.
Vous n'avez pas encore terminé mon cours "Comment créer un site internet en 4 jours" ? Suivez le lien : et inscrivez-vous dès maintenant ou vous pouvez utiliser mes instructions, où je vous montre étape par étape ! Venez, ce sera intéressant !
Bonjour, cher lecteur . Continuons avec mon livre Blogger Search Traffic et parlons aujourd'hui de l'indexation des ressources. Dans cet article, vous apprendrez comment vérifier rapidement et facilement l'indexation des pages de votre site dans Yandex et Google à l'aide d'opérateurs de recherche courants et de divers services. Vous comprendrez l'importance de ce processus, vous verrez sur différents exemples plusieurs options pour définir vos documents de blog. Bien sûr, cet article est d'une importance pratique, mais c'est le premier manuel à étudier afin de s'engager davantage dans la promotion de votre ressource Web sur les moteurs de recherche.
Vérifier si le site est dans l'index des moteurs de recherche
Avant de parler des différents services et services de vérification des pages indexées dans Yandex et Google, je suggère de rappeler l'importance de la base de données elle-même. Le fait est que tout moteur de recherche ne fonctionne qu'avec les documents qui ont été consultés par son robot et entrés dans la base de données. Cette base de données s'appelle un index et le processus de collecte de toutes les données des pages de n'importe quel site du réseau s'appelle l'indexation. Ce processus est assez compliqué, mais fascinant et instructif. Et une bonne compréhension du travail de ce processus est l'une des principales conditions de réussite de Yandex et de Google. Par conséquent, avant d'étudier plus avant le contenu de cet article, je recommande à tous de s'en souvenir.
Vérification de l'indexation des pages du site dans Yandex et Google
Yandex. Afin de connaître la disponibilité des pages dans un moteur de recherche russe, il existe plusieurs opérateurs. L'opérateur du site trouve toutes les pages de votre site dans la base de données Yandex, et l'opérateur hôte fournit des informations sur les documents indexés des domaines et sous-domaines du site. Voici les résultats de l'exploitant du site :
Et voici le résultat final après avoir utilisé l'opérateur hôte :
Voyons maintenant combien de pages indexées l'hébergeur nous montrera pour mon blog pas sur le miroir principal (sans www). Le résultat sera bien sûr prévisible :
Si nous faisons le même schéma mais pour l'opérateur du site, alors le nombre de pages dans l'index non selon le miroir principal de mon site ne changera pas - il restera 206. En effet, comme je l'ai dit, le site trouve tous les documents du site, et l'hébergeur trouve le domaine. Par conséquent, je vais vous donner ce conseil - si vous souhaitez estimer rapidement le nombre de pages d'une ressource Web dans la base de données Yandex, utilisez l'opérateur du site (vous pouvez entrer l'adresse du site avec ou sans www dans la chaîne de requête - le résultat sera pareil). Si vous avez besoin de connaître le nombre exact de pages dans l'index de n'importe quel domaine, utilisez la combinaison d'opérateurs suivante (au lieu de l'adresse de mon blog dans l'exemple, mettez l'adresse du domaine souhaité) :
Google. Le moteur de recherche le plus populaire a un opérateur pour déterminer quelles pages sont indexées. Son nom est site et il remplit la même fonction que son homologue dans Yandex - il donne une liste complète des documents dans la base de données Google. Voici à quoi ça ressemble :
Malheureusement, cette déclaration affiche toutes les pages qui sont dans l'index Google. Mais comme vous le savez, ce moteur de recherche sépare sa base de données en un index principal et un index supplémentaire. Il contient essentiellement tous les documents de votre blog que Google utilise pour ses SERP. Le reste des documents, qui contiennent généralement des pages en double, des sections techniques du CMS ou des URL qui ne conviennent pas au classement, se trouvent dans un index supplémentaire appelé Résultats supplémentaires (spas en termes de référencement). Par conséquent, pour déterminer avec précision les pages indexées de travail de votre blog qui sont impliquées dans le classement, utilisez la commande spéciale & :
Comme vous pouvez le voir, les résultats sont très différents dans mon cas - le nombre de pages indexées dans l'index principal est bien inférieur au nombre total. Cela suggère qu'à un moment donné, lors des premières exécutions d'un robot de recherche sur mon blog, Google a réussi à ajouter un tas de déchets et de doublons à sa base de données. Et avant que j'aie eu le temps de le découvrir, leur nombre dépasse de loin les pages réelles de mon site. Ce qui a bien sûr affecté le trafic de recherche de Google. Par conséquent, il est si important qu'avant le tout premier lancement de votre nouvelle ressource Web, fermez complètement toutes les sections inutiles de votre site dans le fichier robots.txt. Mais nous en reparlerons une autre fois.
Vérification de l'indexation des pages à l'aide de services
Barre RDS. L'option de vérification la plus rapide consiste à utiliser (un article expliquant comment le configurer et comment l'utiliser). Ce plugin, qui peut être attaché à n'importe quel navigateur populaire, peut donner immédiatement toutes les informations sur la disponibilité des pages dans la base de données Yandex et Google (dans l'index général), ainsi que des informations sur la date d'indexation de la page en cours. Grâce à cette extension, sans perdre de temps à basculer vers divers services ou à chercher, vous pouvez évaluer l'indexation de n'importe quel site. En général, je recommande, c'est très pratique :
Service XSEO. Un ensemble d'outils pour les webmasters et les blogueurs, XSEO.in fournit également des informations claires sur l'indexation des pages du site dans Yandex et Google. Mais contrairement au service précédent, il vous permet de voir assez rapidement, en quelques clics, le nombre de pages de Google dans différents index - dans le principal et les supplémentaires. Ces informations ne sont pas disponibles dans tous les plugins, programmes ou services. XSEO donne des données précises sur le nombre de documents, comme pour mon blog :
Pour obtenir de telles données pour toute ressource Web que vous analysez, il suffit de sélectionner la section "Vérifier l'indexation du site" dans le service.
Service PR-CY. Le service d'analyse bien connu Pr-Cy.ru, qui a à son actif un assez bon ensemble de divers rapports et outils de référencement. Comme les sources précédentes, il fournit également des données sur l'indexation de n'importe quel site. Mais il a une différence remarquable - il a des graphismes intéressants, qui montrent l'historique de l'indexation des pages dans les moteurs de recherche. J'ai rarement remarqué une telle chose, mais c'est ce service qui a l'interface la plus conviviale qui vous permet de voir rapidement l'évolution du nombre de pages indexées. Voici, par exemple, l'historique des documents de mon blog entrant dans la base de données Yandex :
Comme vous pouvez le voir sur ce graphique, le service montre clairement le nombre de pages indexées dans le moteur de recherche russe au cours de l'année. De cette façon, vous pouvez évaluer l'indexation de n'importe quel site, surtout si vous choisissez un bon donateur pour l'achat de liens externes. Par exemple, en , Soit dit en passant, le graphique montre clairement un saut du nombre de documents indexés en mai puis un retour au nombre précédent. Tout cela parce qu'en avril, j'ai changé le design de mon site et la structure de mes pages a complètement changé. Yandex a réagi assez rapidement, mais à un moment donné, la redirection du set a tout remis en place.
Avec Google, l'histoire est un peu différente pour moi. Voici le planning d'indexation des pages de mon blog, lancé il y a exactement un an :
Comme vous pouvez le voir, la croissance a été lente, mais j'ai ensuite commencé à écrire plus d'articles et à expérimenter les balises. En conséquence, alors que je les supprimais, Google a honnêtement scanné tous les doublons et les a envoyés à leur base de données. Du coup, les positions de mon blog ont chuté et jusqu'au début du mois de juin de cette année, la visibilité de mon site dans ce moteur de recherche n'atteignait même pas les 2%. Autrement dit, il n'y avait tout simplement pas de trafic Google sur mon blog. Mais comme vous pouvez le constater, le nombre de pages dans l'index supplémentaire a déjà diminué. Et cette tendance se poursuit en ce moment - il s'agit d'une de mes expériences pour supprimer les pages en double de la base de données. Pour le moment, la visibilité de mon blog dans Google est passée à 21% et le matériel sur l'expérience augmente - pour l'avenir, j'ai préparé mon article sur le travail avec les doublons et leur exclusion de l'index Google.
Vérification de l'indexation du site dans Yandex Webmaster et Google Tools
Pour le dessert, j'ai laissé les services les plus intéressants qui peuvent fournir des informations complètes sur l'indexation de votre ressource Web. Bien sûr, je veux dire les barres d'outils des webmasters de Yandex et Google. Eux seuls disposent de toutes les données exactes sur la présence des pages de votre site dans leurs bases de données. Alors allons à la source !
Service de Yandex. Comme je l'ai dit, c'est le meilleur ensemble d'outils qui vous montrera toutes les informations sur l'indexation des pages de votre site (et pas seulement). Je l'utilise depuis le tout début, dès que j'ai envoyé mon blog pour être mangé par le moteur de recherche russe -. Pendant tout le temps de fonctionnement, j'ai utilisé à plusieurs reprises les rapports intéressants fournis par ce service.
Dans cet article, je n'expliquerai pas tous les détails des rapports d'indexation - ils sont décrits en détail dans . Voir la section "Indexation de sites Web". Si quelque chose n'est pas clair, le service a une aide merveilleuse. En dernier recours, si vous ne comprenez pas vous-même les données analytiques des rapports, écrivez vos questions dans les commentaires de cet article.
Service de Google. Comme Yandex, . Et toutes les données qu'il contient donnent les informations les plus fiables, pour ainsi dire, de première main. Par conséquent, pour obtenir les données les plus précises sur l'indexation des pages du site dans ce moteur de recherche, je recommande d'utiliser la sous-section "Statut d'indexation" de ce service.
Lorsque vous entrez pour la première fois dans ce rapport, vous verrez le seul graphique où ses éléments (points individuels dessus) sont nombres totaux total indexé pages du site dans l'index Google. Il s'agit du nombre de tous les documents qui se trouvent dans deux index - primaire et secondaire.
Mais bien sûr, ce ne sont pas toutes des informations sur l'indexation - pour cela, vous devez cliquer sur le bouton "Données avancées" et activer toutes les cases à cocher vides (cochez les cases). En conséquence, trois autres graphiques sont ajoutés au premier graphique (l'image est cliquable):
Alors, que montrent ces graphiques et comment pouvons-nous bénéficier de leurs indicateurs :
indexé de tous les temps est le nombre de toutes les pages qu'il a trouvées une fois robot de recherche Google. Typiquement, les nœuds de ce graphe sont beaucoup plus grands que le nombre de documents indexés au total. Cela suggère qu'en plus d'apparaître périodiquement de nouvelles pages, Google a englouti toutes les pages inutiles de votre blog lors de l'analyse, et éventuellement des doublons. Comme dans mon cas.
bloqué dans le fichier robots.txt— le nombre de pages interdites à l'indexation, pour lesquelles des directives d'interdiction sont inscrites dans le fichier robots.txt. En théorie, cela indique le nombre que Google n'a pas inclus dans son index en raison de l'interdiction. Mais en fait, ce n'est pas exact, car ce moteur de recherche voit parfaitement toutes les pages de n'importe quel site qui ne donnent pas d'erreur 404. Et même s'ils ont une directive pour interdire le crawling.
supprimé- le nombre de pages supprimées sur demande des résultats de recherche.
Comme vous pouvez le voir sur la figure, chaque point sur n'importe quel graphique donne toutes les informations sur quatre indicateurs pour une certaine période de temps (le jour est le dimanche, lorsque les données hebdomadaires sont mises à jour dans les rapports Google webmaster). Ces informations sont présentées dans une plaque séparée avec des numéros pour chaque programme.
Ce que vous pouvez voir dans le rapport sur l'état de l'indexation
Tout d'abord, en examinant les données reçues sur le graphique "bloqué dans robots.txt", vous pouvez évaluer si vos directives d'interdiction fonctionnent correctement. Si le graphique jaune continue d'augmenter, cela indique un problème évident dans le fichier robots.txt. Dans ce cas, vous devez vérifier attentivement chaque directive. Il y aura peut-être des erreurs ou vous devrez écrire de nouvelles règles pour le robot de recherche.
Deuxièmement, avec une indexation correctement configurée, le nombre de pages indexées devrait augmenter tout le temps. Si cela n'est pas observé, Google ne collecte pas correctement les informations de votre site. Il y a peut-être des erreurs dans le même fichier robots.txt, un contenu en double est apparu, Google a commencé à collecter déchets inutiles en raison d'imperfections du CMS, etc. Mais dans mon cas, la carte bleue a d'abord été saccadée, puis, ayant atteint un maximum, elle a commencé à décliner rapidement fin juillet de cette année. Cela indique que les doublons ont commencé à disparaître de l'index (j'ai écrit à ce sujet ci-dessus).
Troisièmement, s'il y a des sauts dans le graphique des pages indexées qui montrent une forte diminution des documents dans l'index, alors vous avez des problèmes pour accéder à la ressource Web. Peut-être y a-t-il une surcharge de travail due à une augmentation ou à l'apparition de plus de pages avec une erreur 404 (par exemple, avec un changement brutal de la structure), etc. Dans ce cas, vous devez agir de toute urgence, sinon vous risquez d'obtenir une baisse massive des pages indexées dans Google. Et cela entraîne un effondrement du trafic de recherche.
Quatrièmement, un grand nombre de pages en double (une énorme différence entre les données des graphiques rouge et bleu, si toutes les autres options d'erreurs sont exclues) indique que les versions canoniques des pages sont mal configurées sur votre site ou qu'il y a du contenu en double . Si les mesures nécessaires ne sont pas prises à temps, Google accumulera un nombre énorme de doublons dans son index, qui seront alors très difficiles à retirer. De plus, les pages en double ne contribuent en aucune façon à augmenter la visibilité du site, mais plutôt le contraire - les positions pour de nombreuses requêtes peuvent couler.
Sur ce, je considère mon programme pédagogique sur la façon d'évaluer rapidement l'indexation des pages de votre site à compléter. Comme je l'ai dit, si vous avez des petites questions, posez-les dans les commentaires. Si vous avez besoin du tableau "Statut d'indexation" pour votre réponse, laissez un lien vers une capture d'écran avec celui-ci. Si votre question nécessite l'attention particulière d'un spécialiste du référencement, mes consultations viendront toujours à la rescousse.
Sincèrement, Votre Maxim Dovzhenko
