Запретил индексацию всего сайта из-за ошибки в Robots.txt

На днях решил сделать себе «правильный» robots.txt для WordPress, да и занес туда по неосмотрительности url-ы, содержащие решетку.

disallow-all-robots-txt

Да, да :)
А символ решетки # в роботсе служит для комментирования. Так получилось, что решетка шла после первого слеша. В итоге поисковики отбросили все лишнее и осталась директива, запрещающая индексацию всего сайта, потому что Disallow: */#comment* — это тоже самое, что и Disallow: /

Запрет индексации всего сайта в robots.txt

Поисковый траффик с сайта в одночасье исчез, что и послужило сигналом о криворуко составленном роботсе.

Учитесь на чужих ошибках — это бесплатно!

Понравилась статья? Поделиться с друзьями:
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: