Нужен ли sitemap.xml?
При работе с файлом sitemap.xml у вебмастеров часто возникают вопросы, ответов на которые нет даже в официальной справке поисковых систем. К примеру, интересны следующие моменты:
— Для чего именно нужен sitemap?
— Влияет ли он на индексацию сайта?
— Как часто его нужно обновлять?
Sitemap.xml - нужен или нет, чем помогает при оптимизации сайта? Признайтесь честно, можете ли вы на них ответить прямо? 
Мы привыкли использовать sitemap, надеясь, что это как-то улучшит индексацию сайта или повлияет на рейтинг, но дать гарантию этих улучшений никто не может.
В официальной справке Яндекса и Google о целях сайтмэпа говорится очень размыто:
http://help.yandex.ru/webmaster/indexin … itemap.xml
https://support.google.com/webmasters/a … 6184?hl=ru
Из описания понятно, что sitemap нужен для того, чтобы сообщить поисковикам о страницах сайта (новых или старых). Но что это нам даст, подробностей нет, просто данные вроде как могут помочь поисковикам оптимизировать свои алгоритмы краулинга. При этом, четко говорится:
Google не гарантирует, что мы будем сканировать или индексировать все ваши URL.
Файлы Sitemap учитываются при обходе сайта, однако мы не гарантируем, что все URL из вашего файла Sitemap будут добавлены в поисковый индекс Яндекса.
Ну и чтобы убедить нас всё же использовать сайтмэп, они говорят:
В большинстве случаев веб-мастера получают преимущества от передачи файлов Sitemap и никогда не испытывают никаких неприятностей.
То есть, завуалировано звучит: «лучше вам навряд ли будет (мы не можем этого обещать), но хуже точно вы не сделаете, хотя время потратите»
На мой взгляд, у сайтмэпов есть свои плюсы и минусы, о которых будет сказано ниже, но в целом, это рудимент поисковой оптимизации, наподобие meta-keywords, который раньше давал поиску определенные сигналы и мы могли его использовать в свою пользу, но сейчас это бесполезное занятие.
Хорошо организованная структура сайта гарантирует нахождение поисковиком всех важных для индексации страниц. Поэтому, лучше сделать упор на организации оптимальной структуры, то есть, важные страницы имеют ссылку с главной, до любой страницы можно дойти с главной не более, чем в 2-3 клика, на внутренних документах присутствуют «хлебные крошки» (как навигационный элемент), а также хорошо структурированное меню, сами URL адреса логично организованы в папки/подпапки, отражая структуру сайта…
Обычно робот Яндекса узнает о страницах сайта, переходя по ссылкам со страницы на страницу. / Тот же источник
Плюсы Sitemap.xml
В некоторых случаях сайтмэп все-таки будет полезен. Например:
— Некоторые страницы сайта могут быть доступны лишь через javascript или flash-навигацию. Поисковик их просто не найдет на сайте в процессе краулинга, если не будет внешних или внутренних текстовых ссылок, поэтому, sitemap здесь будет уместен.
— В Google существуют форматы sitemap для описания видео и изображений, а также контент для мобильных устройств или новостей. Видео и изображения, например, на некоторых сайтах часто включаются/отображаются через скрипты и поисковик может их не обнаружить, в этом случае sitemap очень поможет (пока только в Google).
Минусы Sitemap.xml
Если вы все же работаете с sitemap, то учитывайте следующие моменты:
— Забыв о sitemap, есть вероятность, что в нем останутся ненужные страницы, ведущие на неактуальный контент (битые ссылки) или на тот, который вы решили закрыть от индексации. Давая противоположные инструкции робота, есть шанс, что он сделает всё не так, как вы ожидаете.
— Левые парсеры сайтов (грабя контент) в первую очередь смотрят, есть ли sitemap, в нём обычно владелец сам указал все важные документы и не нужно их искать, анализируя структуру сайта.
Если подытожить, то сайтмэп может лишь помочь роботу найти html-документы (или видео/изображения), которые у него нет возможности обнаружить из навигации, исходя из особенностей сайта. В большинстве же случаев sitemap.xml не нужен и если появилась необходимость в его создании, то у вас есть серьезная проблема в структуре сайта, уделить внимание которой было бы правильней. А что вы думаете по этому поводу?
