Дубльований контент: як уникнути санкцій у SEO

Дубльований контент належить до найпоширеніших непорозумінь у SEO. Власники сайтів переймаються, що Google покарає їх за будь-який повторений текст. Насправді дубльований контент влаштований тонше. Частина дублювання нешкідлива й навіть очікувана (версії для друку, мобільні версії). Інше дублювання (плагіат, неякісна синдикація) справді може погіршити позиції. У цьому посібнику пояснюємо, що таке дубльований контент, коли він має значення і як з ним працювати, не завдаючи шкоди вашому SEO.

Головна думка: сам по собі дубльований контент не є причиною санкцій у ранжуванні. Але він може заплутати Google щодо того, яку версію ранжувати, а неосновні версії можуть бути проігноровані. Якщо вказати, яка версія основна, за допомогою канонічних тегів і редиректів, проблеми не виникне взагалі.

Що таке дубльований контент

Дубльований контент: це текст, який з'являється на кількох сторінках або за кількома URL-адресами. Він може виникати навмисно або випадково. Приклади: сторінки товарів із незначними відмінностями (той самий товар, різні кольори), автоматично згенеровані сторінки, контент, перепублікований на кількох сайтах, версії для друку та сторінки пагінації.

У документації Google Search Central пояснюється, що дубльований контент не призводить до санкцій для всього сайту. Проте він може створювати проблеми. Коли Google знаходить кілька однакових сторінок, він мусить вирішити, яку версію індексувати й ранжувати. Якщо обрано не ту версію, ваш контент може ранжуватися гірше, ніж міг би.

Вихід: підказати Google, яка версія основна. Використовуйте канонічні теги, 301-редиректи або інші сигнали, щоб звести дубльований контент до однієї версії. Так ви уникнете плутанини й зосередите всі сигнали ранжування на основній версії.

Внутрішній дубльований контент

Внутрішній дубльований контент виникає в межах вашого сайту. Типові причини: ідентифікатори сесій (URL на кшталт ?sessionid=12345), параметри URL (версії для друку, відфільтровані сторінки), кілька версій домену (з www і без, http і https) та варіації, створені CMS.

Ідентифікатори сесій створюють проблеми. Деякі сайти генерують унікальний ідентифікатор сесії для кожного відвідувача, через що з'являється необмежена кількість дубльованих URL. Для Google кожен ідентифікатор сесії: це окрема сторінка, хоча контент на них однаковий. Рішення: по можливості не додавайте ідентифікатори сесій до URL (використовуйте cookies), спрямовуйте URL з ідентифікаторами на чисту версію через канонічний тег або закрийте їх у robots.txt. Інструмент «Параметри URL» у Search Console, який колись використовували для цього, закрили 2022 року.

Версії для друку та мобільні версії раніше були поширеним джерелом внутрішнього дублювання. Сьогодні адаптивний дизайн і сучасна веброзробка значною мірою усунули цю проблему. Але якщо у вас досі є окремі версії для друку або окремі мобільні URL, об'єднайте їх. Використовуйте адаптивний дизайн з єдиними URL, які обслуговують усі пристрої, або 301-редиректи, щоб перенаправити трафік на основну версію.

Сторінки категорій і тегів часто мають схожий контент. Якщо у вашому блозі є і сторінка категорії «Цифровий маркетинг», і сторінка тегу «Цифровий маркетинг» з ідентичними автоматично згенерованими списками публікацій, це внутрішнє дублювання. Рішення: закрийте сторінки тегів у robots.txt або застосуйте noindex, якщо вони не додають унікальної цінності.

Зовнішній дубльований контент

Зовнішній дубльований контент: це ситуація, коли ваш контент з'являється на інших сайтах. Таке трапляється через синдикацію, перепублікацію статей або плагіат. Якщо ви публікуєте статтю на своєму сайті, а інший сайт перепублікує її без змін, обидві версії стають дублікатами.

Синдикація контенту (продаж ваших статей іншим видавцям) поширена в медіа. Рішення: розміщуйте синдикований контент за платним доступом або із затримкою в часі. Спершу опублікуйте на своєму сайті, зачекайте тиждень, поки Google проіндексує вашу версію, і лише потім дозвольте синдикацію. Або ж вимагайте від партнерів додати канонічний тег, що вказує на ваш оригінал.

Плагіат: це серйозніша проблема. Якщо хтось копіює ваш контент без дозволу чи вказання авторства, ваші можливості обмежені. По-перше, надішліть повідомлення про вилучення за DMCA хостинг-провайдеру. По-друге, подайте до Google запит на видалення через порушення авторських прав. По-третє, додайте канонічний тег до свого оригіналу й сподівайтеся, що Google визнає вашу версію першоджерелом. Найкращий захист: унікальний авторський голос і швидка публікація, щоб ваша версія ранжувалася першою.

Канонічні теги для об'єднання дублікатів

Канонічний тег вказує пошуковим системам, яка версія дубльованого контенту є основною. Додайте цей тег у head неосновних сторінок: <link rel="canonical" href="https://example.com/preferred-version" />. Канонічний тег має вести на версію, яку ви хочете індексувати й ранжувати. Кожна дубльована версія має вказувати на цю єдину версію. Тоді Google об'єднає сигнали ранжування на канонічній версії, зробивши її сильнішою.

У документації Google з канонізації пояснюється, що канонічні теги є підказками, а не директивами. Google здебільшого дотримується їх, але залишає за собою право обрати іншу канонічну сторінку, якщо тег здається хибним. Тому ставте канонічні теги лише на правильні URL. Самореферентні канонічні теги допустимі: основна сторінка може мати канонічний тег, що вказує на неї саму.

301-редиректи для усунення дублікатів

Найпотужніший спосіб об'єднати дублікати: 301-редирект. Коли ви перенаправляєте дубльований URL на канонічну версію 301-редиректом, вся посилальна вага переходить на канонічну версію, а дублікат фактично зникає. Перенаправляйте кожен формат-дублікат на канонічну версію: www на без www, http на https, зі слешем у кінці й без нього, варіації з параметрами та старі URL на нові під час міграцій.

Так усі версії зводяться до одного URL. Кожне посилання, кожен сигнал ранжування й увесь авторитет концентруються на єдиній канонічній версії.

Версії для друку та інші варіанти формату

Якщо той самий контент доступний у кількох форматах (вебверсія, PDF, версія для друку), у вас є варіанти. По-перше, використовуйте адаптивний дизайн, щоб кожен користувач бачив версію, яка підходить його пристрою. По-друге, приховуйте контент для друку через CSS (правила @media print), щоб версія для друку не потребувала окремої сторінки. По-третє, якщо окремі URL неминучі, об'єднайте їх за допомогою канонічних тегів або редиректів.

Окремі мобільні URL (m.example.com) слід об'єднати з адаптивними версіями на основному домені. Адаптивний дизайн обслуговує один URL на всіх пристроях і усуває дубльований контент. Якщо окремі мобільні URL доводиться залишити, використовуйте канонічні теги з мобільної версії на десктопну та hreflang, щоб пов'язати їх. Докладніше читайте в нашому посібнику з mobile-first індексації.

Тонкий контент і ризик дублювання

Тонкий контент: це малоцінне, поверхове дублювання. Приклади: автоматично згенеровані сторінки товарів лише із заголовком і зображенням, скорочені анонси статей на кількох сторінках і контент сайтів-скраперів. Тонкий контент може призвести до санкцій у ранжуванні, особливо в поєднанні з дублюванням.

Рішення: переконайтеся, що кожна сторінка має суттєву унікальну цінність. Мінімум 300 слів для більшості сторінок і більше для ключових матеріалів. Додавайте оригінальну інформацію, дані, приклади та власний погляд. Не створюйте безліч малоцінних сторінок за шаблоном. Сторінки пагінації (сторінка 2, сторінка 3 результатів пошуку) часто стають джерелом дублювання. Google перестав враховувати rel="next" і rel="prev" у 2019 році, тож надайте кожній сторінці пагінації канонічний тег на саму себе, пов'яжіть сторінки звичайними посиланнями, доступними для сканування, або запропонуйте сторінку «показати все».

Синдикований контент і перепублікація

Рекомендації Google щодо синдикації визнають, що перепублікація контенту трапляється в медіа, видавничій справі й новинах. Якщо ваша стаття з'являється на TechCrunch і водночас ще на 10 видавничих платформах, кожна версія є дублікатом. Google мусить обрати, яка з них «оригінальна». Без протилежних сигналів Google може обрати того, хто перепублікував, а не вашу першоджерельну версію. Рішення: домовляйтеся з партнерами-синдикаторами.

Вимагайте від синдикаторів використовувати канонічні теги, що вказують на вашу оригінальну статтю. Узгодьте терміни публікації: спершу публікуйте на своєму сайті, зачекайте 7-30 днів до індексації й лише потім дозвольте синдикацію. Це дасть Google час визнати вашу версію оригіналом. Додавайте до синдикованих версій підпис автора й посилання на першу публікацію, щоб показати, що ваша версія основна. Для повної синдикації контенту розгляньте платну чи преміальну модель або ранній ексклюзивний доступ для передплатників.

Стежте, де з'являється ваш контент в інтернеті. Налаштуйте сповіщення Google Alerts на характерні фрази з ваших найкращих статей. Якщо виявите плагіат або несанкціоновану перепублікацію, надсилайте повідомлення про вилучення за DMCA. Документуйте свій контент часовими позначками та метаданими, що підтверджують первинне авторство. У суперечках про оригінальність контенту алгоритми Google беруть до уваги: дату першої публікації, авторитет сайту, якість контенту та профіль зворотних посилань. Сильні оригінальні сайти зазвичай зберігають перевагу, навіть якщо дубльований контент з'явився деінде раніше.

Моніторинг проблем із дубльованим контентом

Стежте за звітом «Індексація сторінок» у Search Console, щоб виявляти дубльовані сторінки. Google позначає URL, які вважає дублікатами, і повідомляє, яку версію обрано канонічною. Якщо Google обрав не ту версію, змініть це за допомогою канонічних тегів або редиректів. Використовуйте пошук site:, щоб знайти дубльований контент на своєму сайті. Введіть site:example.com "unique phrase" і подивіться, скільки сторінок містять цю фразу. Якщо кілька сторінок мають однаковий текст, дублювання потрібно усунути.

Оберіть одну основну версію домену й забезпечте її самостійно. Налаштування основного домену в Search Console (www або без www) закрили 2019 року, а інструмент «Параметри URL»: у 2022, тож Google більше не бере ці уподобання від вас. Перенаправляйте всі варіації (www чи без www, http чи https) на основну версію 301-редиректами, додайте канонічні теги й підтримуйте узгодженість внутрішніх посилань. Потім перевірте в Google Search Console, що Google обрав саме ту версію, яку ви мали на увазі. Найкращі практики Google наголошують на консолідації, а не на сподіванні, що Google сам обере правильно.

Чи впливає дубльований контент на видимість у відповідях ШІ?

Так, але інакше, ніж у Google. Коли кілька URL містять один і той самий текст, ШІ-асистенти беруть одну версію й ігнорують решту, і це не завжди та сторінка, яку ви хочете бачити в цитуваннях. Коли копії суперечать одна одній, наприклад стара ціна на одній сторінці й нова на іншій, асистент може процитувати не те або пропустити ваш сайт через конфлікт фактів.

Три звички, які не дають дубльованому контенту розмивати вашу видимість у ШІ:

• Тримайте одну канонічну сторінку на тему й спрямовуйте на неї дублікати через канонічний тег або 301-редирект.
• Оновлюйте факти (ціни, цифри, дати) скрізь, де вони трапляються, або зберігайте їх в одному місці й посилайтеся на нього.
• Якщо синдикуєте статтю, попросіть партнера послатися на оригінал і спершу опублікуйте свою версію.

Перевіряйте, чи редиректи повертають правильний статус, безкоштовним інструментом перевірки редиректів, і не створюйте майже-дублікатів із самого початку: Sorank звіряє кожне нове ключове слово з вашими опублікованими сторінками, щоб дві статті ніколи не націлювалися на один запит (див. канібалізація ключових слів).

Висновок

Дубльований контент заплутує пошукові системи щодо того, яку версію ранжувати, і це може зашкодити вашому SEO. Запобігайте проблемам з дубльованим контентом: використовуйте канонічні теги, щоб об'єднувати дублікати, 301-редиректи, щоб зливати схожий контент, і адаптивний дизайн, щоб обслуговувати єдиними URL усі пристрої. Стежте за своїм сайтом у Google Search Console, щоб помічати попередження про дубльований контент. Якщо на сайті є внутрішні дублікати, застосуйте канонізацію та редиректи. Якщо зовнішні сайти плагіатять ваш контент, повідомте про це Google і закликайте до належного вказання авторства. Чітка структура URL без плутанини з дублікатами допомагає Google легко розуміти ваш сайт. Наш інструмент GEO SEO-аудиту виявляє проблеми з дубльованим контентом, що шкодять вашим позиціям, щоб ви могли швидко їх усунути.