На днях решил сделать себе «правильный» robots.txt для WordPress, да и занес туда по неосмотрительности url-ы, содержащие решетку.
Да, да
А символ решетки # в роботсе служит для комментирования. Так получилось, что решетка шла после первого слеша. В итоге поисковики отбросили все лишнее и осталась директива, запрещающая индексацию всего сайта, потому что Disallow: */#comment* — это тоже самое, что и Disallow: /
Поисковый траффик с сайта в одночасье исчез, что и послужило сигналом о криворуко составленном роботсе.
Учитесь на чужих ошибках — это бесплатно!