Совсем недавно я заглянул в Яндекс.Вебмастер и ужаснулся. Вообще в этой панели я редкий гость, в этот раз просто понадобилось добавить карту сайта, если быть точным несколько различных карт, которые мы обозрели ранее.

Так вот, как вы знаете, на главной панели вебмастера имеется сразу несколько показателей и график числа страниц исключенных роботом. Вот мне в глаза этот график и бросился — на нем был изображен резкий скачок синей кривой, которая отвечает за исключение страниц намеренно запрещенных к индексации. Мне стало интересно, что же такого я там назапрещал (есть такое слово?:)).

Просмотрев все страницы с запрещенными к индексации URL я увидел среди них вполне нормальные посты, которые действительно были исключены из индекса благодаря имеющемуся у меня robots.txt.

Дальше больше. Решив за одно просмотреть проиндексированные URL, по мимо нормальных страниц я заметил всякую хрень, наподобие такой: /404-not-found-wordpress.html/feed или вот такой /404-not-found-wordpress.html/404-pravitelstvo. А затем я зашел в вебмастер Google… Это пипец какой-то, но там примерно тоже самое.

В общем понял я одно — нельзя полагаться на 100% на выложенные в сети примеры robots.txt для wordpress, как сделал это я. Каждый robots.txt необходимо настраивать под конкретный сайт. Этим и займемся.

Как я составил правильный robots.txt для wordpress

Как долго Вы ждете индексацию постов яндексом с ссылками из gogetlinks? Это мучительное ожидание, трата нервов, когда же наконец зачислятся деньги за размещенные ссылки на мой счет.

Способов на самом деле ускорить этот процесс масса и уверен, большую часть из них вы прекрасно знаете. Сюда можно отнести:

— репосты в социалки (postpr вам в помощь, который делает репосты в twitter, subscribe, жж и др. сервисы);
— покупка (или иное размещение) внешних ссылок (с помощью того же gogetlinks, miralinks и др.);
— если посты с ссылками не публикуются на главной, а только в разделе новости, например, тогда пригодится вывод заголовков этих новостей в боковой панели, а также использование различных карт сайтов, о которых я недавно писал, но это уже способы внутренней оптимизации.

Ну в общем, как я уже сказал, способов масса.

Есть и еще один очень хороший способ, который подарили нам сами поисковые системы, точнее их создатели, — это адурилки :). Название адурилки пошло от английского add url, т.е. «добавить адрес». Такие адурилки есть у каждой поисковой системы, в том числе и у интересующего нас сегодня Яндекса. Но не список этих самых адурилок я хотел вам сегодня предложить, а очень действенный инструмент массового добавления URL адресов в поисковик Яндекс.
Как добавлять URL адреса в Яндекс массово