Здравствуйте, очень много вопросов про ошибку индексирования у Яндекса. Техподдержка Яши отправляет к нам, хотя на самом деле их проблема и вот почему:
Итак, разберем самый нахальный поисковик Яндекс. В отличии от Гугла, у Яши 2 робота: быстрый и обычный. Быстрый, как правило, сразу проверяет сайт и если сайт на выделенном сервере, то 12 обращений в секунду с одного IP (у быстрого робота) и реально красиво обрабатывает. Меленный бот сам определяет отклик сервера и дожидается отклика, внося поправки в свой алгоритм обхода сайта.
Однако между обходом быстрого и обычного робота интервал времени в пару месяцев. (отсюда и пошли байки про нахальные фильтры АГС, мол сам Яша засовывает сайт в АГС и требует оплаты чтобы выйти из под него - полная чушь ИМХО).
Теперь про наш бесплатный хостинг. Первая причина ошибки именно Яши, то что наши сервера, как правило, расположены в США (хотя и есть несколько в Европе, Азии, Канаде...) и не всегда отклик может быть достаточно быстрым (а по последним печальным событиям закрыты быстрые европейские каналы и пакеты идут в обход), второе - БД MySQL находится совсем на другом адресе, а это удлинняет отклик от выдачи готовой страницы с сервера.
Мы с самого начала планировали на очень большую популярность нашего хостинга и на множество сайтов на одном IP, и поэтому уже ответили про поисковых роботов 5 октября 2013 года, когда впервые столкнулись с проблемами у Яндекса (к слову, Гугл кушает с огромным аппетитом и даже сейчас очень корректно). Поэтому рекомендовали в robots.txt внести запись исключительно для Яндекса директивой Crawl-delay.
Но видимо наш совет как об стенку горох... Мы не можем дать универсальный совет под все CMS и самописные коды.
Например наш сайт по адресу 100ms.ru как будто написан на html 
однако это далеко не так. Страницы html, и даже css формируются согласно php инструкциям, благодаря особой настройкой htaccess. (инструкция в теме: Файл htaccess ) И время работы сервера определяется опытным путём.
Или второй пример: сайт http://100sm.ru (наш партнер) там своя CMS (начальная разработка для нашего нового конструктора сайтов), и создан сайт всего на ОДНОМ файле (без MySQL), а как буд-то страниц много. Не верите? протестируйте:
http://100sm.ru/vds.html
http://100sm.ru/vds.php
http://100sm.ru/vds.abracadabra
Все они открываются и работают
Crawl-delay для такого конструктора - тоже будет другой.
Поставьте значение в свой robots.txt наверное такой (неуниверсальный совет, но подходит большинству):
User-agent: Yandex
Crawl-delay: 0.5
Если вам ответ покажется не очень глубокими, то Гугл в помощь, или Яндекс 
