Сопли или дополнительный индекс Google

В той статье, где мы рассказывали про внутреннюю оптимизацию сайта, мы упомянули о каких-то соплях Google.

И многим, конечно, стало интересно, что же это такое. Хотя из названия можно догадаться, что речь пойдет не совсем о хорошем. А, точнее говоря о еще одном способе борьбы Google с поисковым спамом.

Что такое дополнительный индекс Google

В далеком 2003 году компания Google для оптимизации базы поисковика запустила механизм supplemental results (дополнительный индекс Гугла), который нацелен на борьбу с веб-страницами, которые не несут какой-либо ценности с точки зрения поисковой системы.

С одной стороны это большой плюс, ведь когда человек ищет нужную ему информацию, Гугл делает все, чтобы предоставить пользователю релевантные страницы сайтов под нужный запрос.  Но с другой стороны, для владельцев сайтов этот supplemental results – не очень хорошая штука

Так чем же плох дополнительный индекс

1. Самая главная проблема этого индекса состоит в том, что он не дает пользователям сайта никаких посетителей из поисковой системы.
2. Так как на сканирование сайта роботу отведено определенное время, то будет очень обидно, если робот потратит время на те страницы, которые не очень ценные для людей и поисковых систем.
3. Большое количество страниц в дополнительном индексе негативно влияют на  общее ранжирование сайта в поисковой выдаче.
4. Если у вас в дополнительном индексе очень много страниц, значит, можно предположить, что к этим страницам также негативно отнесется и Яндекс. Но в таком случае Яндекс просто исключит ваш сайт из своей выдачи.

Почему страницы попадают в дополнительный индекс

Итак, давайте выясним, каким страницам грозит попасть в сопли.

1. На страницах сайта есть дублирующийся контент.
2. На странице нет никакого текста.
3. Страницы с дублирующими тайтлами и метатегами.
4. Страницы, где отсутствуют тайтлы и метатеги.
5. Страницы, до которых очень трудно добраться. Такие страницы, как правило, имеют  уровень вложенности больше 4.

Как узнать, сколько страниц сайта в дополнительном индексе Google

Для обнаружения страниц сайта в соплях Google раньше можно было воспользоваться операторами Google 
site:site.com -site:site.com/&
Оператор site:elims.org.ua/& – показывает сколько страниц в основном индексе.
Оператор site:elims.org.ua – показывает сколько страниц всего в  индексе.

Но с недавнего времени эта комбинация операторов перестала работать. И теперь, чтобы узнать сколько на сайте страниц в соплях, нужно через оператор site:site.com пролистать все страницы основного индекса, дойдя до ссылки «Мы скрыли некоторые результаты, которые очень похожи на уже представленные выше. Показать скрытые результаты.» Нажав на «Показать скрытые результаты», вы увидите, сколько у вас страниц в дополнительном индексе Google.
Конечно, есть более легкий вариант. Для этого Вы должны установить себе в браузер плагин RDS – bar.

После нажатия на кнопку выпадет окошко, где Вы увидите примерно такую картину.

Как видно на изображении в процентах отображается, сколько страниц из общего индекса находятся в основном. Остальная часть страниц находится в дополнительном индексе.

Конечно, все 100% страниц не могут быть в основном индексе. Но, если вы по своему сайту видите примерно такие же цифры, значит, у вас все хорошо. А если нет, значит, вам нужно вывести эти страницы из дополнительного индекса.

Как страницы сайта из дополнительного индекса

1. Самое главное – это наполнять сайт уникальным контентом.
2. Убрать страницы, которые не имеют ценность.
3. Чтобы убрать ненужные страницы можно воспользоваться такими методами.
   • Закрыть от индексации ненужные страницы в файле robots.txt.
   • Закрыть от индексации ненужные страницы через мета-тег robots.
   • Закрыть от индексации ненужные страницы через http заголовки X-Robots-Tag.
   • Проставить на всех страницах атрибут rel="canonical". Более подробно про этот атрибут мы писали тут.
   • Удалить страницу в панели вебмастеров гугла.
4. Проработать структуру своего сайта таким образом, что бы уровень вложенности страниц вашего сайта был не выше четвертого. И, конечно, нужно стараться не превышать впредь этот уровень.