Новый тег rel=canonical для удаления дубликатов страниц. Стоит ли связывать тегом rel=canonical страницы на разных доменах? Как проверить правильно ли настроен rel=“canonical”

Канонический тег (rel=»canonical») является довольно важным инструментом поисковой оптимизации. Зачастую он даже лучше, чем 301 редирект при работе с дублированным контентом.

Разберём более подробно этот тег.

Что плохого в дублированном контенте

Дублированный контент — это два одинаковых по своему содержанию документа. Когда Google видит дубль, он старается исключить его из индекса, т.к. по идее пользователь не захочет видеть один и тот же документ в поисковой выдаче несколько раз. Да и к тому же самому поисковику не хочется постоянно обрабатывать тысячи и даже миллионы дублированных страниц, тратя на это свои производственные мощности.

Проблема для веб-мастера состоит в том, что если одна и та же информация находится на разных страницах, то в выдаче будет только одна из этих страниц. Но url, который выберет Гугл, не всегда является наиболее оптимальным для пользователя, и не всегда является первоисточником.

Пока поисковик не определит первоисточник, результаты выдачи не будут удовлетворять целям первоначального автора контента. В данном случае канонический тег имеет ограниченную пользу, поскольку те, кто крадут ваш контент, скорее всего, не будут ставить теги.

С другой стороны, если дублирование происходит на вашем сайте, то тег будет как нельзя кстати. Даже если на вашем сайте будут ссылки на дублированный контент, ценность для выдачи будет составлять только страница-первоисточник. Таким образом, даже при наличии ссылок на несколько дублей, значимой для Google будет считаться только одна из этих страниц. И не пострадает.

Естественно, это не лучшее решение с точки зрения SEO. Но это не приведёт к каким-либо санкциям со стороны Гугла.

Что такое тег rel=»canonical»

Тег имеет следующий синтаксис: Таким образом Google и Bing поймут, что все дубли ссылаются на канонический адрес, указанный в теге. Гугл имеет чёткое представление по поводу использования данного тега:

Да, rel=»canonical» должен использоваться только для выбора предпочитаемой страницы при дублировании (незначительные различия в содержании допустимы).

Другими словами, используйте его только для борьбы с дублированным контентом. При использовании его для других целей вы можете быть уличены в поисковом спаме.

Проблемы дублированного контента

Реализуйте теги надлежащим образом на вашем сайте. Это убережёт вас от проблем дублированного контента, некоторые из которых связаны с системами управления сайтами (CMS):

Tracking Codes . Некоторые системы требуют добавления переменных в конце url-адреса для обратных ссылок на ваш сайт. Формат может быть такой: www.example.com?tracking-variable или такой: www.example.com/example.htm?tracking-code. Проблема заключается в том, что поисковые системы разделяют адреса, даже если те различаются всего одним символом. Хотя Google и Bing и имеют в своём распоряжении технологии, которые помогают определять такие адреса, до сих пор возникает множество ошибок при их обработке. Интересно будет отметить, что некоторые ссылаются на ваш сайт, дабы получить взаимную обратную ссылку, используя данный метод. Канонический тег защитит вас от этого.
Приставки к url . Как мы уже уяснили, любые два адреса, отличающиеся хотя бы одним символом, рассматриваются как отдельные страницы. И есть несколько случаев, когда приставки к адресам могут привести к дублированию контента. К ним относятся, например, дополнительный язык сайта (русская и английская версии страницы) или создание движком дополнительных страниц (ярко выражено в WordPress).
Разбивка на страницы . Это когда сайт разбивается автоматически на несколько страниц с одинаковым контентом. Например, если у вас интернет-магазин и продукцию можно отсортировать по цвету товара или по его цене (при этом для результата сортировки генерируется отдельная страница с одинаковыми описаниями товаров).
WWW . По большей части это не проблема, т.к. Google обычно правильно определяет адреса с www и без. Но до сих пор бывает такое, что поисковик индексирует как бы две версии сайта (example.com и www.example.com). В результате половина вашего контента проиндексирована с www, а другая половина — без www. Обычно это дело прописывается в robot.txt, но и канонический тег тут тоже может помочь.
Если невозможно реализовать 301 редирект . Как ни странно, но в некоторых случаях у веб-мастера нет возможности реализовать 301 редирект, например, из-за ограниченного доступа к серверу. Канонический тег в данном случае является альтернативой, с той лишь разницей, что исходная страница будет продолжать существовать.

Но всё-таки, в соответствии с политикой Google, канонический тег это рекомендация, а не обязательное для исполнение правило. Эта опция поможет владельцам сайтов самостоятельно указывать, какую страницу Гугл должен считать канонической. Таким образом, для Google будет проще определить, какую страницу необходимо включить в индекс при дублировании контента.

Атрибут rel=“canonical” - один из способов борьбы с дублирующимся контентом. Он размещается на любой HTML-странице между тегами . Поисковые роботы начинают считать страницу, указанную в атрибуте rel=“canonical”, приоритетной (канонической). Каноническая страница будет отображаться в поиске, на неё перейдут ссылочный вес и другие характеристики страниц с одинаковым содержанием.

Таким образом, если на вашем сайте есть идентичный или очень похожий контент, доступный по разным URL, с помощью атрибута rel=“canonical” можно указать тот URL, который является предпочтительным для индексации.

Когда нужно использовать канонические ссылки

1. Для предупреждения появления различных дублей. Например:

страниц сортировок: /*sort, asc, desc, list=*;
дублей из-за UTM-меток: *utm_source=, /*utm_campaign=, /*utm_content=, /*utm_term=, /*utm_medium=;
других страниц c GET-параметрами в URL;
дублей в результате особенностей работы CMS (движка).

В этом случае нужно добавить атрибут rel=“canonical” на все статические страницы сайта. Например, для страницы https://site.ru/category-1/page-2, rel=“canonical” будет выглядеть следующим образом:

href=“https://site.ru/category-1/page-2” />

2. Для доступных по разным URL страниц с очень похожим контентом.

Например, это могут быть страницы одной серии товара, который отличается только расцветкой или страницы товара, который расположен сразу в нескольких категориях.

В этом случае нужно указать со всех страниц rel=“canonical” на основную, приоритетную страницу.

В таком случае на каждой из страниц пагинации нужно указать канонической страницу «Показать всё».

Например, для страницы https://site.ru/category-1/page-2 нужно прописать канонический URL:

ru /category-1/show-all” />

Как указать основной URL при помощи атрибута rel=“canonical”?

Прописать между тегами любой HTML-страницы

Это основной способ. Чтобы указать каноническую ссылку, пропишите между тегами на странице полный URL страницы, которая должна быть в индексе.

Например, для страницы https://site.ru/*utm_content= канонической будет https://site.ru/.

Для получения такого результата, на странице https://site.ru/*utm_content= мы указали тег:

ru /” />

Важно!
Чтобы снизить вероятность ошибки в элементах link, после атрибута rel=“canonical” используйте абсолютные, а не относительные ссылки.

В файле Sitemap

В XML-карте сайта вы можете прописать канонический (основной) URL для любой страницы.

Важно!
Атрибут rel=“canonical” - это рекомендация для поисковой системы, а не правило. В этом случае ПС могут проигнорировать их.

В заголовке HTTP

Лучше всего использовать для документов не HTML-формата. Например, для файлов формата PDF.

В таком случае сервер, при запросе дублирующего файла, должен отдавать ссылку на файл-оригинал:

Link: ; rel=“canonical”

Важно!
Этот способ подойдёт, если у вас есть доступ к настройкам сервера. Не рекомендуется использовать для HTML-документов.

С помощью плагина

Для CMS существуют различные плагины, которые позволяют настроить канонический URL. Например:
— для WordPress можно настроить canonical с помощью Yoast SEO ;
— в OpenCart - реализовано в настройках CMS (нужно зайти в настройки товара и задать параметр SEO URL);
— для настройки атрибута canonical в Joomla (версии 3.х и выше) нужно включить в настройках CMS функцию SEF. После включения для технических страниц вида /index.php?option будет добавлен атрибут rel=“canonical” (с указанием URL на страницу с настроенным ЧПУ).

Как проверить правильно ли настроен rel=“canonical”?

Провести анализ можно специальной программой для SEO-анализа сайта - .

С помощью этой программы вы увидите:
— какие страницы на сайте без атрибута rel=“canonical”;
— на каких страницах стоит атрибут rel=“canonical”, и какие страницы являются для них каноническими;

Основные ошибки использования rel=“canonical”

— Канонический URL отдаёт 404 ошибку.
— Указанный канонический URL находится на другом домене или поддомене.
— Каноническая ссылка не является индексируемой.
— Использование rel=“canonical” со страниц пагинации на первую страницу.

Для всех страниц пагинации неправильно прописывать канонической первую страницу. Это делает индексацию всех страниц пагинации невозможной.

Для страниц пагинации в качестве канонических нужно указывать эти же страницы.

Например, страница https://site.ru/category-1/page-2 должна содержать каноническую ссылку:

— Несколько ссылок rel=“canonical” с одной страницы.

Для одной страницы должна быть одна каноническая страница, в ином случае будет учтён только первый URL.

— Разные канонические URL.

Указывайте одни и те же канонические страницы при разных способах реализации атрибута (например, через XML-карту сайта и через rel=“canonical” на самой странице).

Заключение

Атрибут rel=“canonical” - удобный и полезный инструмент для поискового продвижения. При правильном использовании, он повысит эффективность работы и ускорит индексирование сайта, что, в свою очередь, существенно повлияет на его ранжирование.

Подписаться на рассылку

Еще по теме:

Наталия Бондаренко

SEO-оптимизатор

Оптимизирую сайты с 2009 года. Люблю сложные кейсы, которые оказались не по зубам специалистам с других компаний. Делаю очень подробные аудиты.

Пишу статьи-инструкции на блог SiteClinic по SEO-инструментам и аналитике.

Любимая цитата - Чтобы добиться успеха, надо искренне любить то, чем вы занимаетесь

Как указать каноническую страницу из числа одинаковых или похожих

Если у вас есть одна страница, доступная по нескольким URL, или разные страницы с похожим контентом (например, версии для мобильных устройств и компьютеров), Google будет считать один URL каноническим , а остальные – его копиями . Сканирование канонического URL будет выполняться намного чаще, чем его копий.

Сообщите нам, какой из URL является каноническим. В противном случае мы выберем его самостоятельно или будем считать оба адреса равноценными, а это может привести к нежелательным последствиям. Дополнительные сведения представлены в разделе ниже, где говорится о том, для чего нужно выбирать канонический URL .

Используйте атрибут rel="canonical"

Используйте в заголовке страницы тег . Он указывает, что соответствующая страница копирует другую.

Предположим, вы хотите указать страницу https://example.com/dresses/green-dresses , содержание которой воспроизводится на других, в качестве канонической. Выполните следующие действия:

Поместите на все повторяющиеся страницы ссылку rel="canonical" . Добавьте в раздел этих страниц элемент с атрибутом rel="canonical" , ссылающимся на каноническую страницу:

Если у канонической страницы есть вариант для мобильных устройств, добавьте ссылку rel="alternate" , указывающую на мобильную версию.

Добавьте атрибут hreflang или другую необходимую переадресацию.

Используйте следующую структуру URL: https://www.example.com/dresses/green/greendress.html
Не применяйте такой вариант: /dresses/green/greendress.html .

Используйте HTTP-заголовок rel="canonical"

Если у вас есть доступ к настройкам сервера, можно указывать канонический URL для документов в формате, отличном от HTML (например, PDF), с помощью атрибута rel="canonical" в заголовках HTTP (а не с помощью HTML-тегов).

Например, если на вашем сайте по нескольким разным URL доступен файл PDF, можно возвращать заголовок HTTP rel="canonical" , чтобы сообщить роботу Googlebot, какой из этих URL является каноническим:

Link: ; rel="canonical"

В настоящее время этот способ поддерживается только для веб-поиска.

В элементе link rel="canonical" указывайте абсолютные пути, а не относительные . Подробнее:

https://example.com/home
https://home.example.com
https://www.example.com

Выберите один из этих адресов в качестве канонического и используйте переадресацию 301 на стороне сервера, чтобы перенаправлять на данный адрес трафик с других URL. Это один из самых надежных способов обеспечить переход пользователей и поисковых систем на нужную страницу. Код статуса 301 означает, что запрашиваемая страница находится по другому адресу.

Если у вас есть доступ к сервису веб-хостинга, попробуйте найти в представленных на нем справочных материалах документацию по настройке переадресаций 301.

Была ли эта статья полезна?

Как можно улучшить эту статью?

Довольно таки часто, можно увидеть на разных сайтах, что на один и тот же контент посетители попадают с разных адресов (URL). Причиной этого явления, есть дублирование содержимого на сайте. Как правильно — это случается при использовании различных систем управления контентом (cms) на сайте. Для того, что бы избежать проблемы, компанией Google еще в 2009 году было предложено использование тега rel=”canonical” , для страницы с определенным url, которая будет участвовать в выдаче поисковых систем. Немного позже все поисковики поддержали идею.

Атрибут rel=»canonical»

Как использовать атрибут rel=”canonical”.

Допустим, вы нашли страницу на которую с разных url приходят посетители и хотите решить проблему с помощью атрибута. Для этого выбираем основной url, например: https://сайт/kak-samomu-raskrutit/page-one-1/ и теперь что бы сообщить об этом поисковой системе необходимо:

прописать атрибут rel=”canonical” для основной страницы и добавить на страницу тег в теле , вот пример:

Поисковая система, выделит этот адрес, как основной и он будет использоваться в результатах поиска. Для того, что бы избежать проблем, указывайте абсолютные ссылки, а не относительные.

Нужно использовать:

https://сайт/kak-samomu-raskrutit/page-one-1/

Не использовать:

/kak-samomu-raskrutit/page-one-1/

Теперь перед нами может появится главный вопрос, а передаются ли характеристики такие как ссылочный вес, pr канонической странице? Могу сказать точно, все характеристики страницы, такие как ссылочный вес и т.д, передаются, проверено на практике.

Что бы упростить жизнь вебмастерам и сеошника, рекомендую использовать плагины и модули для CMS, которые будут отслеживать ссылки с дублирование контента и автоматически прописывать канонические атрибуты. Для WordPress могу рекомендовать плагин , отлично справляется с задачей. Достаточно поставить галочку в пункте “Канонические URL’ы” и будут генерироваться канонические страницы автоматически.

Вам остается только проверять правильно и корректировать роботу плагина.

Примеры, где необходимо использовать rel=»canonical».

1. Сервер показывает одинаковое содержимое для протокола https и субдомена www , пример:

http://lonbo.com/page-one
https://loknbol.com/page-one
http://www.lonbo.com/page-one

Так, же для этого случая можно использовать .

2. Для сайтов, которые используют движки , при сохранении контента в разные разделы (категории).

https://сайт/category-1/page-one1/
https://сайт/category-2/page-one1/

3. Динамические URL . Как правило характерно для товаров интернет — магазинов, которые созданы в разные сессии или для разных поисковых запросов. Пример:

https://сайт/products?category=shapka&color=grey
https://сайт/head/grey?gclid=ABCD
https://сайт/shapka/grey/shapkaGrey.html

4. Распространение содержимого сайта(ресурса), на других сайтах , полностью или частично.

Общие правила при использовании атрибута rel=»canonical».

Не используйте атрибута более одного раза, для одной страницы. Поисковик может просто проигнорировать его указание.
Не забывайте включать rel=”canonical” в раздел кода HTML. Особенно проверяйте при использовании плагинов или модулей.
Убедитесь, что каноническая страница открыты для индексации, в противном случае использование бесполезно.
Страницы

Аллан Скотт (Allan Scott), инженер программного обеспечения команды индексирования Google, перечислил в блоге Webmaster Central пять наиболее распространенных ошибок, которые допускают вебмастера при использовании атрибута rel="canonical" , а также дал несколько важных советов по применению данного тега.

Прежде всего, представитель поиска напомнил специалистам отрасли о том, что атрибут канонической страницы чётко указывает поисковым роботам, на какой именно экземпляр из набора страниц с похожим содержанием ссылаются дубликаты. При этом, дополнительные свойства адреса (к примеру PageRank) и связанные сигналы (качество входящей ссылочной массы) также переносятся с дублированных страниц на каноническую. В настоящее время атрибут rel="canonical" поддерживают все ведущие западные поисковые системы: Yahoo!, Bing, и Google.

Однако зачастую применение атрибута rel="canonical" вызывает у вебмастеров определенные трудности. В свою очередь, ошибки, связанные с указанием канонической страницы могут повлиять и на отображение страниц ресурса в поисковой выдаче.

Чтобы избежать подобных ошибок, специалисты Google рекомендуют придерживаться следующих общих правил при проставлении атрибута rel="canonical":

Большинство дублированных страниц должно содержать ссылки на канонический адрес.
Важно убедиться в том, что страница, на которую ссылаются при помощи атрибута rel="canonical" существует, а ее URL — правильный (проверьте не возвращает ли сервер ошибку 404).
Необходимо убедиться в том, что каноническая страница не закрыта для индексации поисковыми роботами.
Важно четко понимать, какую страницу вебмастер хочет видеть в результатах поиска, именно ее и следует указывать как каноническую (к примеру, если сайт содержит набор страниц с одной и той же моделью товара, различающегося по цвету — целесообразно в качестве канонической указать страницу с наиболее популярным цветом).
Не стоит забывать о включении атрибута rel="canonical" в раздел документа кода HTML.
Важно избегать использования атрибута rel="canonical" более одного раза для одной страницы. В противном случае поисковик просто-напросто проигнорирует указание атрибута.

Ошибка 1. Атрибут rel="canonical" использован для первой страницы серии пагинации :

Представьте, что статья на вашем сайте имеет несколько страниц:

example.com/article?story=cupcake-news&page=1
example.com/article?story=cupcake-news&page=2
и т.д.

В данном случае страницы 2 и 3 не являются дубликатами, а значит и применение атрибута rel="canonical" для указания в качестве канонической первой страницы документа будет ошибкой. Данная ошибка может повлечь за собой выпадение страниц 2 и 3 из индекса.

Кроме того, при разбиении документа на страницы важно грамотно применять HTML-атрибуты rel="next" и rel="prev" , позволяющие указать на взаимосвязь между отдельными URL.

Безусловно, rel="canonical" можно использовать как для абсолютных, так для относительных ссылок, однако Google рекомендует использовать абсолютные ссылки для минимизации возможных ошибок. Если в документе указана базовая ссылка, то все относительные ссылки будут вычисляться на ее основе.

Однако в случаях, когда абсолютные ссылки на каноническую страницу по ошибке записываются как относительные ( вместо http://example.com/example.com/cupcake.html ), алгоритмы могут проигнорировать то, что данная страница была указана в качестве канонической.

Ошибка 3. Если каноническими назначено несколько страниц из набора с похожим содержанием, или атрибут rel="canonical" использован по ошибке :

Часто специалисты Google наблюдают следующую ситуацию: вебмастер копирует шаблон страницы, забывая при этом изменить значение атрибута rel="canonical"

Если вы используете шаблоны - не забывайте проверять, не был ли случайно скопирован атрибут rel="canonical".

Еще одна ошибка вебмастеров, когда каноническими назначается несколько страниц из набора с похожим содержанием. Часто это происходит из-за использования различных плагинов на странице. Код плагина по ошибке встраивается в атрибут rel="canonical".

Важно понимать, что в обоих случаях алгоритмы Google распознают применение атрибута rel="canonical" как ошибочное, и не учтут его использование при индексации.

Ошибка 4. Одна из категорий целевой страницы ссылается при помощи атрибута rel="canonical" на избранную статью :

При таком подходе в индекс попадет только страница со статьёй, сама же страница категории не будет проиндексирована.

Ошибка 5. Атрибут rel="canonical" используется в разделе документа :

Как уже говорилось выше, атрибут rel="canonical" должен быть включен в раздел документа кода HTML, при этом он не должен попадать в раздел документа . В противном случае алгоритмы Google не будут учитывать использование данного тега, особенно если он будет показываться обычного текста, или тегов, которые мы обычно присутствуют в разделе .

Дополнительная информация, касающаяся применения атрибута rel="canonical" доступна на формуе