Детальное руководство по файлу Sitemap. Файл Sitemap: HTML, XML, TXT, как создать и добавить в Яндекс и Google вебмастер Главная sitemap
Карта сайта - это файл Sitemap.xml, где находится перечень всех страниц веб-сайта, создаваемый для ускорения индексации ресурса. Также есть карта сайта для пользователей - она скорее похожа на оглавление в книге. Последние называются HTML-картами и являются каталогом страниц проекта, отображающих иерархию.
Сегодня мы расскажем, как самостоятельно создать файл Sitemap.xml, загрузить на сайт и добавить в поисковые системы. Разберём и создание HTML-карты.
Sitemap - это карта сайта, каталог ссылок на категории, подкатегории, страницы проекта с поддержкой заложенной иерархии (уровня вложенности). При помощи Sitemap.xml можно сообщить поисковым системам Google и Яндекс актуальную структуру, уровень вложенности, количество страниц и ссылки на них.
Пример карты сайта
Наиболее подробная информация по необходимости использования Sitemap.xml представлена в справочнике Яндекс.Вебмастер и Google Webmasters.
- Гугл поддерживаются четыре формата карт сайта — .txt, RSS, .xml и «Сайты Google» (если ресурс сделан с помощью одноименного сервиса корпорации добра). Яндекс поддерживает только.xml карты.
- Google не поддерживает тег
. - Для Гугл обязательно добавление ссылки на карту сайта в файле robots.txt – для обозначению ее доступности к просмотру.
Для указания пути к файлу Sitemap.xml можно использовать кабинет вебмастера или указать ссылку в файле robots.txt . Лучше сделать и то, и другое. Если у вас сайт с огромным количеством страниц, карт сайта может быть несколько. Стандартные ограничения Google:
- Размер Sitemap-файла до 50 мегабайт.
- Количество ссылок не более 50 000 штук.
Аналогичные требования предъявляет поисковая система Яндекс.
Важность карты сайта нельзя недооценивать. Она и сегодня является одним из первых шагов при начале работы над SEO-продвижением сайта.
Виды карт
Можно выделить два типа карта сайта:
- XML Sitemaps – рассчитана на поисковых роботов, для сбора и обработки всех ссылок – категорий, подкатегорий, отдельных страниц. Представляет из себя набор тегов, внутри которых находятся ссылки на страницы и статьи.
- HTML карта сайта – для пользователей. Является отдельной страницей, состоящей из ссылок, разбитых в соответствии с категориями и подкатегориями. Реже – в качестве обычного каталога имеющихся статей, если сами категории не несут практической пользы. Нередко на нее можно перейти из меню на главной странице.
Также карты, можно подразделить на созданные вручную и сгенерированные с помощью онлайн-сервисов, плагинов или модулей.
Как создать файл Sitemap.xml
Создание файла Sitemap.xml подразумевает использование различных способов:
- Ручной. Вы самостоятельно через любой редактор (например, Notepad ++) задаете в определенном порядке теги и ссылки.
- Сервисы. Загружаете необходимые ссылки или вписываете адрес сайта, на выходе получаете сгенерированный sitemap.xml файл.
- Плагины/модули. Некоторые движки сайтов (CMS) обладают встроенными плагинами, позволяющими генерировать карты сайта в одно нажатие. Другие – требуют дополнительной установки.
Нет смысла рассматривать в контексте статьи создание карты сайта ручным методом, так как и автоматические справляются точно также. Плюс исключается человеческий фактор. Ведь всегда можно допустить ошибку, не закрыть тег или сделать что-то неправильно.
Создание карты сайта с помощью онлайн-генератора
Предельно простой процесс. Достаточно следовать инструкции ниже:
Данный сервис позволяет сгенерировать карту для сайта размером не более 500 страниц. Существуют и другие аналоги, работающие по такому же принципу.
Подключение с помощью плагинов и модулей
Для начала остановимся на самом популярном движке в мире – WordPress. Предлагаем загрузить плагин «Yoast SEO», он универсальный и потребуется для оптимизации страниц для продвижения в выдаче поисковых систем. В качестве приятного бонуса через него можно сгенерировать карту сайта. Инструкция следующая:
Готово Карта сайта создана и доступна по адресу site.com/sitemap.xml – то есть, находится в корневой папке.
В DataLife Engine (DLE) генератор карт уже встроен и доступен из панели управления проектом, для Joomla следует воспользоваться модулем OSMap, в Bitrix xml-файл формируется автоматически, в Drupal для этого можно использовать модуль XMLSitemap.
Как добавить файл Sitemap.xml на сайт и загрузить в поисковые системы
Если файл создан CMS, он он располагается в корне сайта. А значит, необходимо добавить ссылку в Яндекс.Вебмастер и Google Search Console. Далее вернёмся к этому процессу.
В случае, если файл создавался вручную или с помощью генератора, нужно перед добавлением в кабинет вебмастера загрузить его в корневую папку сайта. Самый простой способ:
Аналогичным образом нужно поступать и с остальными сайтами, где не предусмотрена возможность автоматической генерации карты сайта средствами движка или дополнительного модуля. Разве что уровень вложения корневых папок может различаться – много где для начала нужно зайти по пути public_html.
На очереди – добавление в Яндекс.Вебмастер . Инструкция следующая:
При успешном завершении робот будет знать, где искать карту и при посещении веб-сайта им будут индексироваться все ссылки различного уровня вложенности.
Для добавления файла карты в Google Search Console нужно проделать следующие действия:
Вы просто кретин, если в свое время не уделили сайтмапу нужное внимание. Достаточно один раз разобраться в вопросе и в будущем избежать большого количества ошибок, что давайте сейчас и сделаем.
Ваш покорный слуга в годы младые также был таким кретином, когда только начал продвигать сайты в одной конторе. Попался мне в то время один сайтец на продвижение, который, следует сказать, был просто гавном. И у этого гавна были проблемы с индексацией. Естественно, будь сайт достаточно качественным, его бы оба поисковика индексировали несмотря ни на какие проблемы, но владельцы жались на нормальных дизайнера, верстальщика и программиста, а в этом случае сеошнику остается только, так сказать, открывать бутылку при помощи ножниц. Я перепробовал на нем все — и настройку last-modified, и ускорение индексации модным в то время фастботом, и покупку ссылок. И только потом оказалось, что дело было в том, что там не обновлялся автоматически сайтмап! Когда я его обновил — все страницы влетели в индекс.
Что такое sitemap и зачем он нужен
Что такое sitemap? Это файл с информацией о страницах сайта, которые нужно индексировать. Обычно sitemap создают для Яндекса и Гугла, чтобы оповестить поисковых роботов о страницах, которые нужно внести в индекс. Ещё при помощи сайтмапа осуществляется проверка того, как часто происходят обновления, и индексация каких веб-документов является наиболее важной. В целом очень хорошо о нем рассказали на Вебмастерской Яндекса:
Влияет ли наличие sitemap на продвижение
Если у вас отсутствует сайтмап, это не означает, что поисковики не станут индексировать ресурс. Поисковые роботы зачастую и без этого неплохо сканируют сайты и включают их в поиск. Но иногда могут возникать сбои, из-за которых порой удается отыскать не все веб-документы. Основными причинами являются:
- Разделы сайта, в которые можно попасть, только совершив длинную цепочку переходов;
- Динамические URL-адреса.
Так вот, создание sitemap.xml во многом помогает решить эту проблему. Этот файл влияет на SEO лишь постольку, поскольку облегчает/ускоряет индексацию страниц. Также возрастает шанс того, что веб-страницы проиндексируются до того, как ваши конкуренты смогут скопировать контент, опубликовав его у себя на сайте.
В каком еще формате бывает карта сайта и почему её делают в формате XML
Зачем нужна карта сайта, мы разобрались. Теперь давайте рассмотрим, в каких форматах её можно сделать:
- В формате html. Создается в виде обыкновенной страницы с адресами, ведущими на главные разделы ресурса. Такой тип карты помогает быстро сориентироваться, и рассчитан в большей степени на людей, чем на поисковых роботов. В HTML sitemap можно поместить ограниченное число ссылок (не более 100), ведь если их окажется больше, то не все они попадут в индекс. Или же поисковые роботы могут и вовсе исключить такую страницу из поиска за чрезмерное число URLов, пусть даже и внутренних.
- Создание xml-файла sitemap. Здесь нет слишком критичных ограничений по количеству ссылок, а поисковики лучше его индексируют, ведь файл sitemap xml-формата содержит полную информацию в понятном для робота виде. Особенно он важен для проектов, где имеются сотни и тысячи документов одинаковой важности, и размещение всех ссылок на них необходимо. В сайтмап такого типа есть возможность разместить до 50 тысяч URLов и помимо этого можно выставить частоту обновлений и приблизительный приоритет (priority), чего не скажешь о карте в формате HTML. Именно по этим причинам сайтмап почти всегда создают в xml.
Вот еще инфа об этом файле:
Как сделать правильный sitemap
Рассмотрим, как сделать правильную xml-карту. Здесь должны быть соблюдены следующие требования:
- Размер файла должен быть не больше 10 мб;
- Карта должна содержать не больше 50000 ссылок. В тех случаях, когда ссылок больше, можно создать несколько карт и включить их в главную xml-карту;
- Адрес сайтмапа следует прописать в robots.txt;
- Также загрузите sitemap в яндекс и гугл (как добавить файл – описано ниже);
- Поисковые системы должны иметь доступ к карте. Необходимо использовать специальные теги, которые дают поисковикам понять, что это именно карта, а не что-то другое;
- У sitemap должна быть кодировка UTF-8.
Приведу простой пример карты:
< url > < loc > http : //site.ru/ < lastmod > 2016 - 11 - 20T19 : 45 : 08 + 03 : 00 < / lastmod > < changefreq > always < / changefreq > < priority > 0 , 9 < / priority > < / url > < url > < loc > http : //site.ru/category/ < lastmod > 2016 - 11 - 20T19 : 46 : 38 + 03 : 00 < / lastmod > < changefreq > monthly < / changefreq > < priority > 0 , 6 < / priority > < / url > < url > < loc > http : //site.ru/page/ < lastmod > 2016 - 11 - 20T19 : 48 : 41 + 03 : 00 < / lastmod > < changefreq > yearly < / changefreq > < priority > 0.4 < / priority > < / url > |
Теги url и loc являются обязательными. В первом прописывают все сведения о конкретном URL. Во втором прописывается сам адрес.
Теги lastmod, changefreq, priority не являются обязательными, но использовать их всё же рекомендуется.
Lastmod в sitemap отвечает за дату последнего обновления.
Changefreq указывает на частоту изменений страницы. Значения могут быть следующими:
- Hourly – обновление ежечасно;
- Always – всегда обновляется;
- Weekly – обновляется раз в неделю;
- Daily – обновления происходят ежедневно;
- Monthly – обновления происходят раз в месяц;
- Yearly – один раз в год;
- Never – не обновляется (такое значение лучше не использовать).
Priority сообщает поисковикам о степени важности страницы, по сравнению с другими. Приоритет можно выставлять от 0,1(низкий) до 1(высокий).
Это был только пример карты, не нужно указывать именно эти значения. Вообще, priority рекомендуется расставлять следующим образом: максимальный для главной страницы (1), для рубрик средний (0,6), а для записей – минимальный (0,4).
Теперь рассмотрим пример, когда ссылок более 50 тысяч. В этом случае файл включает в себя другие карты:
< sitemap > < loc > http : //site.ru/sitemaps/sitemap01.xml < lastmod > 2016 - 11 - 20T21 : 37 : 28 + 03 : 00 < / lastmod > < / sitemap > < sitemap > < loc > http : //site.ru/sitemaps/sitemap02.xml < lastmod > 2016 - 11 - 20T21 : 37 : 29 + 03 : 00 < / lastmod > < / sitemap > |
Как создать карту сайта
Способов создания xml-карты несколько, рассмотрим их:
- Скачать карту при помощи онлайн генератора с другого ресурса;
- Сгенерировать при помощи специальной программы. Но стоит учесть, что программы подобного рода в основном платные. Пример такого генератора: Wonder WebWare SiteMap Generatior. В Screaming Frog также есть такая возможность;
- Создать сайтмап вручную;
- Автоматически создать карту при помощи CMS (например на WordPress доступна такая функция).
Вот вариант, как сделать сайтмап без помощи плагинов:
Плагины для создания sitemap на WordPress
Сделать карту сайта в WordPress можно с помощью специального плагина, который называется Google XML Sitemaps. Здесь все просто: скачиваем плагин, устанавливаем, затем приступаем к созданию файла. Для этого открываете Консоль-Настройки, и выбираете XML-sitemap. Далее выставляем настройки. Приоритет оставляем по умолчанию.
Введите название сайта
Выбирайте тип карты - xml или html, приоритет, частоту изменений и включаемые страницы сайта - на выходе вы получите валидный файл карты сайта.
Генератор XML-карты сайта
Создать карту сайта Sitemap можно онлайн совершенно бесплатно с использованием специального сервиса Saitreport. Карта сайта - это необходимое условие для его продвижения. С ее помощью информация о структуре ресурса передается поисковым системам.
Отсутствие карты сайта затрудняет его продвижение. Большинство поисковых систем может долго не замечать важные документы. Поэтому для индексирования страниц необходимо правильно сгенерировать и разместить карту сайта.
Онлайн-сервис Saitreport позволяет сгенерировать XML-карту и дает возможность создать Sitemap для продвижения сайта. Данный файл позволит выбрать приоритет индексирования страниц, частоту обновлений и тип включаемых документов.
Как создать карту сайта?
Чтобы сгенерировать карту сайта, заполните самостоятельно все необходимые поля на сайте сервиса: адрес главной страницы, дату и частоту обновлений, приоритет и количество страниц. Запустите инструмент и дождитесь окончания генерации Sitemap.
Генератор карты проведет анализ сайта и сформирует текстовый файл Sitemap.xml, который нужно самостоятельно добавить в корень. Использование карты сайта дает следующие преимущества:
- страницы сайта добавятся в поиск;
- поисковые системы будут определять сайт гораздо быстрее;
- увеличится уровень соответствия поиску.
При использовании сервиса Saitreport вы можете создать XML-карту и воспользоваться дополнительным функционалом, задав параметры.
Sitemap - это файл со ссылками на страницы сайта, который сообщает поисковым системам об актуальной структуре сайта. Яндекс поддерживает форматы XML и TXT. Формат XML позволяет передавать дополнительную информацию .
Примечание. Яндекс не гарантирует, что все указанные в файле URL попадут в результаты поиска.
- Требования к файлу
- Вопросы и ответы
В каких случаях нужен файл Sitemap
Яндекс разрабатывает специальные алгоритмы, по которым индексирующий робот узнает о сайте. Например, с помощью Ссылка, которая связывает страницы одного сайта. Страницы могут\n находиться в разных каталогах одного домена или на поддоменах.
"}}">внутренних и Ссылка, которая расположена на другом сайте."}}">внешних ссылок - переходя с одной страницы на другую. Иногда робот может пропустить страницы. Используйте Sitemap , если на сайте:большое количество страниц;
отдельные страницы без навигационных ссылок;
глубокая вложенность.
Поддерживаемые Яндексом форматы
Ограничение. Поиск Яндекса не поддерживает передачу RSS и Atom-фидов с помощью файла Sitemap .
Требования к файлу
Максимальный размер файла в несжатом виде - 50 МБ.
Разместите файл на том же домене, что и сайт, для которого он составлен.
При обращении к файлу сервер должен возвращать HTTP-код 200.
Как создать файл и сообщить о нем Яндексу
При необходимости вы можете удалить информацию о Sitemap .
Вопросы и ответы
Sitemap отображается в сервисе как исключенная страница со статусом «Неверный формат документа»
Отображение файла Sitemap (как и других XML-файлов) как исключенных страниц имеет только информативный характер и никак не влияет на индексирование сайта или обработку Sitemap .
Файл Sitemap может отображаться в группе исключенных страниц, так как робот попытался проиндексировать его как обычную страницу, в то время как файлы формата XML не индексируются в поисковой системе Яндекса и в результатах поиска не участвуют.
При обработке Sitemap возникла ошибка «Неизвестный тег»
Файл Sitemap может содержать только определенные XML-элементы . Если Вебмастер обнаружит в файле другие элементы (например, указание на мобильную или мультиязычную версию, адреса картинок), в Вебмастере появится ошибка «Неизвестный тег». Неподдерживаемые элементы игнорируются роботом при обработке Sitemap , при этом данные из поддерживаемых элементов учитываются. Поэтому менять файл Sitemap необязательно.
Если содержимое файла будет изменено, потребуется до двух недель на обновление информации в Вебмастере.
Файл Sitemap находится в статусе «Не проиндексирован»
Файл Sitemap может быть не проиндексирован по нескольким причинам:
Робот обошел файл Sitemap недавно и еще не успел обработать его. Подождите две недели. Если вы используете файл индекса Sitemap с несколькими файлами, то их обработка может занять больше времени, чем одного файла Sitemap .
Сайт ранее был недоступен для индексирующего робота. Необходимо дождаться следующего посещения сайта роботом.
Которые нужны для поисковых роботов. Кто-то скажет, что она и не нужна, ведь все разделы уже отображаются. Однако необходимость такой страницы существует в том случае, если на сайте содержится пятьдесят страниц и больше. Для поисковиков и для пользователей она будет служить путеводителем, помогающим понять, где содержится та или иная информация.
XML- и HTML-файлы
Так как используется не только для поисковых роботов, но и для пользователей, посещающих сайт, обычно составляют две карты: в XML- и HTML-форматах.
Чтобы создать Sitemap для поисковых роботов, используют XML-файл. Благодаря ему роботы заносят в свою поисковую базу новые При отсутствии карты на многостраничном сайте большое количество страниц может не индексироваться на протяжении иногда очень долгого времени.
Для создания карты сайта для пользователей используется HTML-файл. Важность этой карты заключается в том, что от ее удобства напрямую зависит, найдет ли пользователь интересующую его информацию или нет. Поэтому такую карту создают для тех интернет-проектов, у которых все разделы и их подразделы не помещаются в главном меню.
Как создать Sitemap XML
Существует три способа решения данной задачи:
Покупка генератора для карты сайта.
Создать Sitemap при помощи онлайн-сервисов.
Ручное написание файла.
Для существенной экономии времени предлагается приобретение генераторов. Поэтому если двадцать — тридцать долларов для покупки лицензии являются для веб-мастера мелкой тратой денег, то купить его, особенно для крупного интернет-ресурса, все-таки не помешает, так как не нужно будет тогда создавать сайт вручную.
Для сайта, содержащего несколько сотен страниц, рекомендуются онлайн-сервисы, где для того, чтобы создать Sitemap, необходимо будет лишь указать адрес интернет-ресурса и загрузить результат.
Самым верным вариантом является ручное создание карты. Для этого нужно знать такие теги, как url, urlset, loc, lastmod, changefreg и priority. При этом первые три тега считаются обязательными, а без последних трех можно и обойтись.
Создание Sitemap в Joomla
Чтобы на сайте создать Sitemap, Joomla и Wordpress имеют специальные дополнения, как и большинство известных систем администрирования, благодаря которым карта сайта создается вручную или автоматически. Для крупных интернет-проектов, у которых постоянно обновляются материалы, такое дополнение очень удобно.
В "Джумле" оно называется Xmap, в Wordpress - Google XML Sitemaps.
Автоматическое создание карты сайта
Автоматически создать Sitemap помогают бесплатные онлайн-серверы, если страниц сайта насчитывается не более пятисот. Вот как легко проводится генерация карты сайта:
Зайдя на один из таких интернет-ресурсов, нужно найти пункт «Генерация Sitemap», нажать на кнопку «Создать» и создать файл Sitemap автоматически.
Найти «URL сайта» и ввести там адрес сайта, для которого создается карта.
Возможно, система потребует введение проверочного кода. Его нужно также ввести и нажать «Старт».
Готовую карту загрузить на сайт.
Ручной способ создания карты
Такой способ является, с одной стороны, самым трудным, отнимающим драгоценное время, но с другой стороны, это самый верный способ, применяющийся в тех случаях, когда другие варианты не подходят. Так, например, если есть много страниц, в занесении в карту сайта которых нет особой необходимости, но автоматически они, конечно, туда попадают, ручной способ избавит карту от «передозировки» таких страниц. Другой причиной, по которой выбирают этот способ, является плохая навигация сайта.
Для реализации ручного создания карты необходимо:
Собрать страницы для включения их в карту.
В excel-файл вставить все адреса в третий столбик.
В 1-м и 2-м столбиках вставить и url и loc.
В 4-м и 5-м столбиках вставить закрывающие url и loc.
Применить функцию «сцепить» для соединения пяти столбиков.
В сделать sitemap.xml.
Добавить в этот файл теги и urlset и /urlset.
Вставить между ними соединенный столбик.
Получившийся файл необходимо проверить. Сделать это можно, например, в "Яндексе", в панели веб-мастера.
Как создать Sitemap для "Яндекса" и Google
После создания сайта ее добавляют на сайт. С этой целью файл с картой сайта нужно назвать Sitemap.xml и добавить его в корневую директорию. Чтобы поскорее нашли ее, в Google и "Яндекс" имеются специальные инструменты. Они называются «Инструменты для веб-мастеров» (в Google) и «Яндекс-вебмастер» (в "Яндексе").
Добавление Sitemap в Google
Добавление Sitemap в "Яндекс"
Так же и в «Яндекс-вебмастер» нужно сначала авторизоваться. Потом перейти на индексирование/файлы Sitemap, указать там путь файла и нажать кнопку «Добавить».
Поисковые роботы сегодня возьмут только те файлы, которые содержат не больше пятидесяти тысяч url.
При превышении карты десяти мегабайт лучше разбить ее на несколько файлов. Благодаря этому перегрузки сервера не будет.
Чтобы создать Sitemap xml правильно, при нескольких файлах нужно их всех прописать в файле индекса, используя теги sitemapindex, sitemap, loc и lastmod.
Все страницы нужно прописывать или с префиксом «www» или без его использования.
Необходимая кодировка файла — это UTF8.
Также в файле нужно добавить указание пространства имен языка.
Как создать карту сайта для пользователей
Поскольку такая карта создается для пользователей, она должна быть максимально проста и наглядна. Несмотря на это, необходимо качественно донести всю информацию о структуре используемого сайта.
HTML-карты в основном имеют привычную пользовательскую структуру, состоящую из разделов и подразделов, выделенных определенным образом, например, стилями CSS и графическими элементами.
Чтобы создать Sitemap для крупного интернет-проекта, как и в случае с XML-картой, здесь также рекомендуется разбивание. В этом случае оно осуществляется в виде отдельных вкладок, избавляющих карту от громоздкости.
Повысить функционал страницы позволит язык JavaScript, который в этой карте допускается использовать, так как она создается не для роботов-поисковиков, а для пользователей.
Порядок для файла карты сайта
Желательно, чтобы в созданном файле, содержащем Sitemap, всегда были чистота и порядок, особенно если у сайта имеется большое количество страниц. Поскольку роботы-поисковики просматривают карты сайта очень быстро, для просмотра всего файла крупного интернет-ресурса может просто не хватить времени.
Поэтому если привыкнуть добавлять страницы в карту сайта не внизу, а в верхней ее части, то, с одной стороны, можно не сомневаться, что поисковый робот успеет просмотреть адреса новых страниц, а с другой стороны, таким образом намного легче будет контролировать все страницы.
