Как составить правильный robots.txt
Совсем недавно я заглянул в Яндекс.Вебмастер и ужаснулся. Вообще в этой панели я редкий гость, в этот раз просто понадобилось добавить карту сайта, если быть точным несколько различных карт, которые мы обозрели ранее.
Так вот, как вы знаете, на главной панели вебмастера имеется сразу несколько показателей и график числа страниц исключенных роботом. Вот мне в глаза этот график и бросился — на нем был изображен резкий скачок синей кривой, которая отвечает за исключение страниц намеренно запрещенных к индексации. Мне стало интересно, что же такого я там назапрещал (есть такое слово?:)).
Просмотрев все страницы с запрещенными к индексации URL я увидел среди них вполне нормальные посты, которые действительно были исключены из индекса благодаря имеющемуся у меня robots.txt.
Дальше больше. Решив за одно просмотреть проиндексированные URL, по мимо нормальных страниц я заметил всякую хрень, наподобие такой: /404-not-found-wordpress.html/feed или вот такой /404-not-found-wordpress.html/404-pravitelstvo. А затем я зашел в вебмастер Google… Это пипец какой-то, но там примерно тоже самое.
В общем понял я одно — нельзя полагаться на 100% на выложенные в сети примеры robots.txt для wordpress, как сделал это я. Каждый robots.txt необходимо настраивать под конкретный сайт. Этим и займемся.
