Провел некоторые работы на сайте, в частности с robots.txt(получился небольшой фэйл... Как оказалось у меня был пустой файл robots.txt). Закинул на сайт вот такой robots:
Код:
User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /tag
Host: yhoome.ru
Sitemap: http://yhoome.ru/sitemap.xml
Взял на одном из 100 сайтов на которых я анализировал этот файл. После чего уменьшилось количество циклических ссылок иииииииии из выдачи выпало 50(из 113) проиндексированных страниц сайта( что меня чуток забеспокоило).
Так вот я хотел спросить у вас, нормально ли это или это плохой знак? Я думаю, что просто яндекс выкинул страницы которые я закрыл в robotx.txt и страницы по разным urlам ведущим на одну статью(пример: /post123 и /hello-my-friend - ведут на статью про друзей).
Что вы можете сказать про мой robots.txt и нормально ли то, что сразу выпало столько страниц?
Обсуждение: 3