Sky DaiL блог → Результат технических работ на сайте(посоветоваться)


 17.03.2015 01:13 SkyDailОбсуждение:   3
Провел некоторые работы на сайте, в частности с robots.txt(получился небольшой фэйл... Как оказалось у меня был пустой файл robots.txt). Закинул на сайт вот такой robots:


Код:
User-agent: Yandex
Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /feed/ Disallow: */feed Disallow: */trackback Disallow: */comments Disallow: /*? Disallow: /*?* Disallow: /tag Host: yhoome.ru 
Sitemap: http://yhoome.ru/sitemap.xml


Взял на одном из 100 сайтов на которых я анализировал этот файл. После чего уменьшилось количество циклических ссылок иииииииии из выдачи выпало 50(из 113) проиндексированных страниц сайта( что меня чуток забеспокоило). 
Так вот я хотел спросить у вас, нормально ли это или это плохой знак? Я думаю, что просто яндекс выкинул страницы которые я закрыл в robotx.txt и страницы по разным urlам ведущим на одну статью(пример: /post123 и /hello-my-friend - ведут на статью про друзей).

Что вы можете сказать про мой robots.txt и нормально ли то, что сразу выпало столько страниц?

Обсуждение: 3

 21.03 13:28 9seo #1
Напиши, что должно индексится на сайте? Я тебе посоветую
 24.03 11:10 pasagir #2
Так ты проверь в Яндексе, не запретил ли ты сам эти страницы индексировать.
И еще, может это субъективно, но мне всегда удобней, когда в файле все аккуратно, каждое условие с новой строки.
 24.03 11:56 MaksimF #3
Желательно добавить:
Код:
Disallow: /404.php
Disallow: /cgi-bin
Disallow: /xmlrpc.php
© 2024 Все права защищены. Идея принадлежит автору блога 9seo.ruF.A.Q.Обратная связь