Дублированный контент: как избежать SEO-санкций

Дублированный контент: одно из самых непонятых понятий в SEO. Владельцы сайтов беспокоятся, думая, что Google накажет их за любой повторяющийся текст. На самом деле с дублированным контентом всё тоньше. Некоторое дублирование безвредно или даже ожидаемо (версии для печати, мобильные версии). Другое дублирование (плагиат, слабая синдикация) может навредить позициям. Это руководство объясняет, что такое дублированный контент, когда он важен и как с ним работать, не навредив SEO.

Главная мысль: дублированный контент сам по себе не является санкцией за ранжирование. Но он может сбить Google с толку: какую версию ранжировать, а нежелательные версии могут игнорироваться. Указав предпочтительную версию с помощью канонических тегов и редиректов, вы полностью избегаете проблемы.

Что такое дублированный контент

Дублированный контент: это текст, который появляется на нескольких страницах или нескольких URL. Это может происходить намеренно или случайно. Примеры: страницы товаров с небольшими различиями (один товар, разные цвета), автоматически сгенерированные страницы, контент, повторно опубликованный на нескольких сайтах, версии для печати и страницы пагинации.

В документации Google Search Central объясняется, что дублированный контент не вызывает санкций для всего сайта. Однако он может создавать проблемы. Обнаружив несколько одинаковых страниц, Google должен решить, какую версию индексировать и ранжировать. Если он выберет не ту версию, ваш контент может ранжироваться хуже, чем мог бы.

Решение: сообщить Google, какая версия предпочтительна. Используйте канонические теги, редиректы 301 или другие сигналы, чтобы объединить дублированный контент в одну версию. Это предотвращает путаницу и концентрирует все ранжирующие сигналы на предпочтительной версии.

Внутренний дублированный контент

Внутренний дублированный контент возникает внутри вашего сайта. Типичные причины: идентификаторы сессий (URL вида ?sessionid=12345), параметры URL (версии для печати, отфильтрованные страницы), несколько версий домена (www и без www, http и https) и вариации, создаваемые CMS.

Идентификаторы сессий создают проблемы. Некоторые сайты генерируют уникальный идентификатор сессии для каждого посетителя, порождая неограниченное число дублирующихся URL. Для Google каждый идентификатор сессии: это отдельная страница, хотя на них один и тот же контент. Решение: по возможности не включайте идентификаторы сессий в URL (используйте cookie), направляйте URL с идентификаторами сессий на чистую версию с помощью канонического тега или блокируйте их в robots.txt. Инструмент «Параметры URL» в Search Console, которым раньше пользовались для этого, был закрыт в 2022 году.

Страницы для печати и мобильные версии раньше часто были источником внутреннего дублирования. Сегодня адаптивный дизайн и современная веб-разработка в основном устранили эту проблему. Но если у вас всё ещё есть отдельные версии для печати или отдельные мобильные URL, объедините их. Используйте адаптивный дизайн с единым URL для всех устройств или редиректы 301, чтобы перенаправить трафик на основную версию.

Страницы категорий и тегов часто содержат похожий контент. Если в вашем блоге есть и страница категории «Цифровой маркетинг», и страница тега «Цифровой маркетинг» с одинаковыми автоматически сформированными списками публикаций, у вас внутреннее дублирование. Решение: заблокируйте страницы тегов в robots.txt или используйте noindex, если они не добавляют уникальной ценности.

Внешний дублированный контент

Внешний дублированный контент: это когда ваш контент появляется на других сайтах. Это может происходить через синдикацию контента, повторную публикацию статей или плагиат. Если вы публикуете статью на своём сайте, а другой сайт повторно публикует её без изменений, обе версии являются дублями.

Синдикация контента (продажа ваших статей другим издателям) обычна в СМИ. Решение: закройте синдицируемый контент платным доступом или временной задержкой. Опубликуйте материал сначала на своём сайте, подождите неделю, пока Google проиндексирует вашу версию, а затем разрешите синдикацию. Или потребуйте от тех, кто синдицирует контент, добавлять канонический тег, указывающий на ваш оригинал.

Плагиат: более серьёзная проблема. Если кто-то копирует ваш контент без разрешения и указания авторства, у вас ограниченные возможности. Во-первых, отправьте уведомление об удалении по DMCA хостинг-провайдеру. Во-вторых, подайте в Google запрос на удаление по причине нарушения авторских прав. В-третьих, добавьте канонический тег на оригинал и надейтесь, что Google распознает вашу версию как исходную. Лучшая защита: уникальный авторский голос и быстрая публикация, чтобы ваша версия ранжировалась первой.

Как использовать канонические теги для объединения дублей

Канонический тег сообщает поисковым системам, какая версия дублированного контента предпочтительна. Добавьте этот тег в head нежелательных страниц: <link rel="canonical" href="https://example.com/preferred-version" />. Канонический тег должен указывать на версию, которую вы хотите индексировать и ранжировать. Все дублирующиеся версии должны указывать на эту единственную версию. Тогда Google объединит ранжирующие сигналы на канонической версии, сделав её сильнее.

В документации Google по канонизации объясняется, что канонические теги: это подсказки, а не директивы. Google обычно следует им, но оставляет за собой право выбрать другой канонический адрес, если тег кажется неверным. Поэтому размещайте канонические теги только на правильных URL. Канонические теги, указывающие на саму страницу, допустимы: у предпочтительной страницы может быть канонический тег, указывающий на неё саму.

Как использовать редиректы 301 для устранения дублей

Самый мощный способ объединить дубли: редирект 301. Когда вы перенаправляете дублирующийся URL на канонический редиректом 301, вся ссылочная масса переходит на каноническую версию, а дубль фактически удаляется. Перенаправляйте каждый дублирующийся формат на каноническую версию: www на версию без www, http на https, со слешем в конце и без него, вариации с параметрами и старые URL на новые при миграциях.

Так все версии объединяются в один URL. Все ссылки, все ранжирующие сигналы и весь авторитет концентрируются на единственной канонической версии.

Версии для печати и другие форматы

Если у вас несколько форматов одного и того же контента (веб-версия, PDF-версия, версия для печати), у вас есть варианты. Во-первых, используйте адаптивный дизайн, чтобы каждый пользователь видел версию, подходящую его устройству. Во-вторых, используйте CSS, чтобы скрывать контент при печати (правила @media print), чтобы для версии для печати не требовалась отдельная страница. В-третьих, если отдельные URL необходимы, используйте канонические теги или редиректы для объединения.

Отдельные мобильные URL (m.example.com) следует объединить в адаптивные версии на основном домене. Адаптивный дизайн отдаёт один URL на всех устройствах и устраняет дублированный контент. Если отдельные мобильные URL приходится сохранять, используйте канонические теги с мобильной версии на десктопную и hreflang, чтобы связать их. Подробнее смотрите в нашем руководстве по индексации mobile-first.

Слабый контент и риск дублирования

Слабый контент: это малоценное, поверхностное дублирование. Примеры: автоматически сгенерированные страницы товаров только с названием и изображением, усечённые превью статей на нескольких страницах и контент сайтов-скрейперов. Слабый контент может вызвать санкции в ранжировании, особенно в сочетании с дублированием.

Решение: следите, чтобы каждая страница несла существенную уникальную ценность. Минимум 300 слов для большинства страниц, больше для опорного контента. Добавляйте оригинальную информацию, данные, примеры и собственный взгляд. Не генерируйте по шаблону множество малоценных страниц. Страницы пагинации (страница 2, страница 3 результатов поиска): частая проблема дублирования. Google перестал использовать rel="next" и rel="prev" в 2019 году, поэтому задайте каждой странице пагинации канонический тег на саму себя и свяжите страницы обычными ссылками, доступными для сканирования, или предложите страницу «показать всё».

Управление синдицируемым контентом и повторными публикациями

В рекомендациях Google по синдикации признаётся, что повторная публикация контента происходит в СМИ, издательском деле и новостях. Если ваша статья появляется на TechCrunch и одновременно на 10 других издательских платформах, каждая версия: дубль. Google должен выбрать, какая версия «оригинальная». Без противоположных сигналов Google может выбрать не ваш оригинал, а сайт, который его перепубликовал. Решение: договоритесь с теми, кто синдицирует контент.

Потребуйте от них использовать канонические теги, указывающие на вашу оригинальную статью. Согласуйте сроки публикации: сначала публикуйте на своём сайте, подождите 7-30 дней до индексации, затем разрешайте синдикацию. Так у Google будет время признать вашу версию оригинальной. Указывайте в синдицируемых версиях подпись автора и ссылку на первоисточник, сигнализируя, что ваша версия основная. Для полной синдикации контента рассмотрите платную или премиальную модель либо ранний эксклюзивный доступ для подписчиков.

Отслеживайте, где ваш контент появляется в интернете. Настройте Google Alerts на характерные фразы из ваших главных статей. Если обнаружится плагиат или несанкционированная повторная публикация, отправляйте уведомления об удалении по DMCA. Документируйте свой контент отметками времени и метаданными, подтверждающими первичное создание. В спорах об оригинальности контента алгоритмы Google учитывают: дату первой публикации, авторитет сайта, качество контента и профиль обратных ссылок. Сильные оригинальные сайты обычно сохраняют приоритет, даже если дублированный контент где-то появился раньше.

Как отслеживать проблемы с дублированным контентом

Следите за отчётом об индексировании страниц в Search Console на предмет дублирующихся страниц. Google отмечает URL, которые считает дублями, и сообщает, какую версию выбрал канонической. Если Google выбрал не ту версию, измените выбор с помощью канонических тегов или редиректов. Используйте поиск site:, чтобы найти дублированный контент на вашем сайте. Введите site:example.com "unique phrase" и посмотрите, сколько страниц содержат эту фразу. Если на нескольких страницах одинаковый текст, дубли нужно устранить.

Выберите одну предпочтительную версию домена и закрепите её самостоятельно. Настройка предпочтительного домена в Search Console (с www или без) была закрыта в 2019 году, а инструмент «Параметры URL» в 2022, поэтому Google больше не принимает от вас эти предпочтения. Перенаправьте каждую вариацию (с www или без, http или https) на предпочтительную версию редиректами 301, добавьте канонические теги и поддерживайте единообразие внутренних ссылок. Затем проверьте в Google Search Console, что Google выбрал нужную вам версию. Лучшие практики Google делают упор на консолидацию, а не на надежду, что Google сам выберет правильно.

Влияет ли дублированный контент на видимость в ответах ИИ?

Да, но иначе, чем в Google. Когда один и тот же текст находится на нескольких URL, ИИ-ассистенты берут одну версию и игнорируют остальные, и эта версия не всегда та страница, которую вы хотите видеть в цитатах. Когда копии расходятся, например на одной странице старая цена, а на другой новая, ассистент может процитировать не ту или пропустить ваш сайт из-за противоречащих друг другу фактов.

Три привычки не дают дублированному контенту размывать вашу видимость в ИИ:

• Держите одну каноническую страницу на тему и направляйте на неё дубли каноническим тегом или редиректом 301.
• Обновляйте факты (цены, цифры, даты) везде, где они встречаются, или храните их в одном месте и ссылайтесь на него.
• Когда вы синдицируете статью, попросите партнёра сослаться на оригинал и сначала опубликуйте свою версию.

Проверьте, возвращают ли редиректы правильный статус, с помощью бесплатной проверки редиректов и старайтесь не создавать почти-дубли с самого начала: Sorank проверяет каждое новое ключевое слово по вашим опубликованным страницам, чтобы две статьи никогда не были нацелены на один запрос (см. каннибализация ключевых слов).

Заключение

Дублированный контент сбивает поисковые системы с толку: непонятно, какую версию ранжировать, и это может навредить вашему SEO. Предотвращайте проблемы с дублированным контентом: используйте канонические теги, чтобы объединять дубли, редиректы 301, чтобы объединять похожий контент, и адаптивный дизайн, чтобы отдавать единый URL на всех устройствах. Следите за своим сайтом в Google Search Console на предмет предупреждений о дублированном контенте. Если у вас внутренние дубли, используйте канонизацию и редиректы для объединения. Если внешние сайты плагиатят ваш контент, сообщите о них в Google и добивайтесь указания авторства. Чистая структура URL без путаницы с дублями помогает Google понять ваш сайт. Наш инструмент аудита GEO и SEO выявляет проблемы с дублированным контентом, вредящие вашим позициям, чтобы вы могли эффективно их устранить.