Обычно средний срок индексации «Яндексом» составляет 1–2 недели.

Некоторые блоги индексируются гораздо быстрее. Посты, которые я публикую в своем блоге индексируются Яндексом в течение двух часов, или даже в течение двух минут. Но бывают исключения.

Так произошло с двумя страницами «Как писать тексты, чтобы выйти в топ? » (14.04.2011) и «iForum 2011. Что было в этом году » (18.04.2011). Что с ними? Почему они не в индексе? Уже прошло столько времени.

Я уже и перепостил в твиттер и разместил ссылки на двух других блогах и воспользовался формой добавления //webmaster.yandex.ru/site/add.xml.

Здравствуйте.

Подскажите, пожалуйста, в чем может быть причина.

С уважением, Илья.

В скором времени пришел ответ Платона:

Здравствуйте, Илья!

Указанная страница уже проиндексирована роботом и должна появиться в результатах поиска после следующего обновления поисковых баз. Пожалуйста, подождите еще несколько дней.

—
С уважением, Платон Щукин
Служба поддержки Яндекса
help.yandex.ru

Честно говоря, я был утешен этим ответом. Но после обновление поисковой выдачи Яндекса, которое произошло 29.04.2011 я стал опять обеспокоен. Эти страницы так и не появились в поисковой выдаче. Но почему? Что с ними не так? Продвижение неизбежно только с проиндексированными ссылками. Иначе они попросту не учитываются, хотя и размещены на странице.

Гугл, между прочим, проиндексировал оба документа.

Ну ладно, пока Яндекс обновляет свои базы поисковой выдачи, предлагаю вашему вниманию замечательный ролик о технологиях будущего, выполненных на стекле. В принципе, веб-сайты, думаю, тоже будут развиваться в этом направлении. В частности, интерфейсы и навигация уже частично выглядит так уже сейчас.

P.S. 30 апреля проверил - страницы уже в индексе Яндекса. 24.04.2011 была сохранена копия этих страниц. Ура!

С новыми сайтами дела не всегда выглядят хорошо. Яндекс их очень меддленно индексирует. В Яндекс.Вебмастере написано:

Ваш сайт не проиндексирован Яндексом. (Сайт успешно добавлен в очередь на индексирование)

Если сайт новый и ранее не был известен роботу, то после добавления его в сервис Яндекс.Вебмастер он начнёт индексироваться и затем появится в поиске. Обычно это происходит в течение двух недель с момента добавления сайта.

Яндекс.Вебмастер пишет, что сайт не проиндексирован, потому что новый, но в тоже время может проиндексировать 2 страницы. Вот почему, для проведения конкурсов «Продвижение неизбежно» соревнования проводятся в русском Гугле.

При добавлении нового сайта в Яндекс.Вебмастер, появляется сообщение, что сайт добавлен в очередь на индексацию. По истечение двух-трех дней уже есть сдвиги:

Сайт начал индексироваться. Страницы должны появиться в поиске через 1-2 обновления поисковой базы. В поиске могут присутствовать страницы проиндексированные быстрым роботом.

В связи с задержкой последних апов, Яндексу задают вопросы на которые он дает не менее познавательные ответы

Что касается статистики апов, она отображена в таблице.

Как ускорить индексацию сайта

Ну и наконец небольшой лайфхак, как поспособствовать ускорению индексации сайта. Просто-напросто нужно обзавестись парой-тройкой жирных внешних ссылок на нужную вам страницу (например, новую статью в вашем блоге). Важно, чтобы ссылки шли с трастовых сайтов и популярных (тематических) групп социальных сетей, куда

Яндекс Вебмастер позволяет:

• добавить Sitemap;
• обновить;
• удалить;
• анализировать.

Как добавить Sitemap в Яндекс Вебмастер

Чтобы добавить файл Sitemap в очередь на индексирование, вам нужно, как и всегда, зайти в сервис Вебмастера — webmaster.yandex.ru. Далее:

1. В разделе «Индексирование» вы найдете пункт «Файлы Sitemap».
2. Добавьте полный адрес файлы Sitemap, например, https://сайт/sitemap.xml.
3. Нажмите «Добавить».
4. Ждите, пока Яндекс Вебмастер проверит файл.

После добавления, файл попадает в очередь на обработку. Робот добавит его в течение двух недель. Каждый добавленный файл, в том числе вложенный в индекс Sitemap, обрабатывается роботом отдельно.

После загрузки напротив каждой карты сайта вы увидите в Яндекс Вебмастере один из статусов:

Обновить Sitemap

Когда в Sitemap происходят изменения, его не нужно удалять из Яндекс Вебмастера и добавлять заново. Поисковик время от времени сам проверяет его на изменения и ошибки.

Если ваш Sitemap не проиндексирован, то это можно ускорить. Нужно зайти в раздел «Индексирование», далее в пункт «Файлы Sitemap». Нажать на значок обновления напротив нужноq карты сайта. Яндекс загрузит данные в течение трех дней. Использовать функцию можно до 10 раз для одного хоста.

Когда вы израсходуете все попытки, следующая будет доступна через 30 дней после первой. Точная дата отображается в интерфейсе Вебмастера.

Удалить Sitemap из Вебмастера

В интерфейсе Яндекс.Вебмастера можно удалить те файлы, которые были добавлены на странице «Файлы Sitemap» :

Если для Sitemap была добавлена директива в файле robots.txt, удалите ее. После внесения изменений информация о Sitemap пропадет из базы робота и Яндекс.Вебмастера в течение нескольких недель.

Поддерживаемые Яндекс Вебмастером форматы

Яндекс принимает Sitemap в форматах:

XML-формат Sitemap

Предпочтительней передавать в формате XML, т.к. в нем можно передать дополнительные данные.

Яндекс поддерживает протокол Sitemap . Используйте этот формат, если хотите сообщить о:

• дате последнего обновления страницы (элемент lastmod);
• частоте изменения страницы (элемент changefreq);
• значимости страницы (элемент priority) - робот загружает страницы поочередно с учетом наличия и значения коэффициента от 0.0 до 1.0. Укажите коэффициент для тех URL, которые наиболее важны для сайта.

https://сайт/ssylki-v-yandex-webmaster/ 2018-06-06 monthly 0.8 ...

TXT-формат Sitemap

В данном формате можно передать только адреса страниц. И всё. Да, грусть и печаль, лучше используйте XML 🙂

Используйте этот формат, чтобы сообщить только об адресах страниц.

Https://сайт/ssylki-v-yandex-webmaster/ https://сайт/zerkala-sajta-v-yandex-webmaster/

Чтобы передавать информацию о видео, в Sitemap укажите ссылки на XML-фиды (см. подробно в Помощи сервиса Я.Видео).
Поиск не поддерживает передачу информации об изображениях, RSS и Atom-фидов с помощью файла Sitemap.

В каких случаях нужен файл Sitemap

Яндекс разрабатывает специальные алгоритмы, по которым индексирующий робот узнает о сайте. Например, с помощью внутренних и внешних ссылок - переходя с одной страницы на другую. Иногда робот может пропустить страницы. Используйте Sitemap, если на сайте:

• большое количество страниц;
• отдельные страницы без навигационных ссылок;
• глубокая вложенность.

Как создать файл

Добавить Sitemap.xml в Яндекс Вебмастер — видео

Добавление сайта на индексацию в Rambler.

"С 23 июня 2011 года «Рамблер-Поиск» использует поисковые технологии компании «Яндекс», дополняемые собственными сервисами. Добавить сайт в индекс поисковика можно через систему Яндекса ".

Не забудьте добавить свой сайт в Топ100.Rambler , лишним не будет.

Добавление сайта на индексацию в Mail.ru.

Добавить сайт очень просто, отправляете URL и ждете, не забудьте подать БЕСПЛАТНО заявку на попадания в каталог Mail.ru , если одобрят, это будет хорошо. Не закрывая страницу добавления сайта в поиск переходите по ссылке на добавление в каталог Mail.ru и заполняете форму (в этом случае появится возможность подать бесплатно заявку в каталог).

Добавление сайта на индексацию в каталог Aport.ru.

Для добавления сайта придется пройти 5 несложных шага. На первом добавить URL сайта. На первом этапе проверяется на ответ сайта и на наличии сайта в каталоге, если его нет, то появится второй шаг. На втором шаге заполняете данные о сайте, название, описание, ключевики и т.д. На третьем шаге выбираете раздел (разделы напомнили как в каталоге Майл.ру). Четвертый шаг добавляем регион сайта (тоже чем то напомнил Майл.ру). Пятый шаг, вводите капчу(заглавные учитываются) и проверяете введенные данные, если все правильно, жмем далее. Вас добавили, ждем модерации на почтовый ящик.

Добавление сайта на индексацию в GOGO.ru.

Насчет значимости данного ресурса и нахождение в нем я не могу сказать, но могу сказать одно, не помешает, а вдруг и с него зайдут (в практике такого не было, но все меняется). Что бы добавить в интернете есть ссылка http://gogo.ru/wmaster/add_site.html перейдя по ней, я понял что это уже поисковик Mail.ru, (ссылку оставил, на всякий случай).

Добавление сайта на индексацию в NIGMA.ru.

Следующая система nigma.ru. По ней пишут что она дает приток народу, я не заметил, но добавил , может будет толк. Тем более это быстро. Указываете URL, почтовый ящик и периодичность обновления, сохранить и все.

Добавление сайта на индексацию в TAGOO.

Поисковая система тагоо как видно специализируется медийном контенте, если у вас он есть или может быть появится, добавляем . На значимость данного поисковика не берусь судить, не знаю его, но добавил.

Добавление сайта на индексацию Turtle (Черепаха).

Система ориентирована на ресурсы Стран Содружества Независимых Государств СНГ на любом языке, а также русскоязычные ресурсы других стран. Добавить можно . Но в связи со смертью его основателя Дмитрия Крюкова, ресурс временно приостановил свою деятельность. Как написано на сайте ВРЕМЕННО, значит не убираем его со счетов.

Вот мы и дошли до зарубежных поисковых систем.

Добавление сайта на индексацию Yahoo (Яху) и Bing (Бинг).

Яху объеденила свою поисковую систему с Bing и перебрасывает на Bing старый URL для добавления был http://search.yahoo.com/info/submit.html. Добавляем в Bing . Добавляем и радуемся, можем также зарегистрироваться и получить панель вебмастера, я там не регистрировался, но это не показатель. Для наглядности попробуйте.

В этой инструкции мы рассмотрим вопрос добавления нашего нового сайта на индексацию к различным поисковым системам.

Я решил упомянуть как популярные поисковики, так и те, про которые вы возможно и не слышали.

Индексация сайта в Яндексе

Для добавления сайта на индексацию достаточно ввести url главной страницы и капчу. Капча — это несколько цифр, которые защищают от автоматических регистраций. После того как вы нажмете кнопку «добавить» возможно несколько вариантов развития событий.

1) Сообщение «ваш сайт добавлен» сигнализирует об успешном добавлении ресурса в очередь на индексацию в Яндекс.
2) Если появилась надпись «Ваш хостинг не отвечает» — значит, ваш сервер лежит в этот момент. Можно попробовать добавить сайт позже или найти более качественный хостинг.
3) А вот если появилось сообщение, что «указанный URL запрещен к индексации» то дела плохи. Это говорит о том, что на ваш ресурс наложены санкции в виде бана сайта. Вполне возможно, что на купленном вами домене уже когда-то был сайт, который и получил санкции. При помощи addurl вебмастера часто проверяют сайты на бан в Яндексе .

Индексация сайта в Google (Гугле)

Следующая по значимости для нашего сайта идет поисковая система Google (Гугл). Процесс добавления на индексацию сайта в Google точно такой-же как на Yandex. В Гугле тоже есть своя адурилка, которая расположена по адресу: https://www.google.com/webmasters/tools/submit-url .

Так же надо ввести капчу при добавлении. Но есть два отличия. Если в Яндексе можно просто добавить урл без лишних телодвижений, то в Google надо быть залогиненым в своем аккаунте. Иначе не получится. Соответственно если аккаунта у вас там еще нет, его придется завести. Второе отличие Google от Яндекса это скорость индексации. Google очень быстро индексирует сайты.

Индексация сайта в Рамблере (Rambler.ru)

Конечно, Рамблер уже не тот, что раньше, как скажут многие, и дает совсем немного трафика. И все равно, зачем им пренебрегать? Процесс индексации сайта в Rambler самый затяжной, среди других отечественных поисковых систем. Да и его адурилка уже давно не работает, она была по адресу: robot.rambler.ru/cgi-bin/addsite.cgi

Он уже давно использует поисковую базу Яндекса. Поэтому, что бы попасть в индекс Rambler.ru достаточно добавиться в Яндекс.

Индексация сайта в Mail.ru (Майл)

Поисковая система Mail.ru тоже имеет кабинет вебмастера. Добавление сайта на индексацию в Mail.ru происходит через форму addurl, которая расположена по адресу: go.mail.ru/addurl

Причем как и у гугла, что бы сделать заявку на индексирование, нужно завести свой аккаунт и войти в него. Иначе не выйдет. Майл в последнее время старается развивать свои собственные инструменты для вебмастеров.

Выше мы рассмотрели основные отечественные поисковики, в которых нам желательно проиндексировать свой сайт. Идущие далее ПС приведу скорее для вашей общей SEO-эрудиции, чем для конкретных действий.

Поисковая система Aport.ru (Апорт)

Aport.ru когда-то был поисковой системой, со своей индексной базой и адурилкой. Сейчас из него сделали товарный поисковик, в котором можно сравнивать цены на товары и услуги.

Поисковая система Nigma.ru (Нигма)

Nigma.ru это наша русская интеллектуальная поисковая машина. Суммарный объем ее трафика порядка трех миллионов запросов в сутки. Очевидно, что не надо пренебрегать трафиком из Нигмы. Добавить свой сайт на индексацию в Нигму можно на странице nigma.ru/index_menu.php?menu_element=add_site.

Медиа навигатор Tagoo.ru

Система Tagoo.ru представляет собой медийный поисковик, который ищет медиа данные. Это музыкальный контент, видеоролики и программы. Что бы ваш сайт был проиндексирован системой Tagoo, нужно воспользоваться формой добавления: tagoo.ru/ru/webmaster.php?mode=add_site.

Поисковая система Turtle.ru (Черепаха)

Международный поисковик Turtle (Черепаха) осуществляет поиск по странам СНГ на любом языке. Для индексации принимаются ресурсы расположенные на таких доменных зонах как: ru, su, ua, am, az, ge, by, kz, kg, uz, md. Что бы добавить сайт на индексацию в черепахе нужно воспользоваться адурилкой: http://www.turtle.ru/add.html . Желательно дождаться вывода сообщения о принятии вашего сайта. Может не добавить, а вы и знать не будете.

Зарубежные поисковые системы

Если выше были отечественные поисковые системы, то ниже будет список зарубежных поисковых систем.

Поисковая система Yahoo.com (Яху)

Поисковая система Bing.com (Бинг)

Поисковая система Bing принадлежит корпорации Microsoft и была создана на замену Live Search. Майкрософ надеется, что новое детище окажется намного популярнее предшественника. Если вы хотите индексации своего сайта ПС Bing.com, это это можно сделать на странице http://www.bing.com/toolbox/submit-site-url .

Украинские поисковые системы

И в заключении моего обзора приведу две популярных поисковых системы на Украине.

Украинская поисковая система Meta.ua (Мета)

Для удобства вебмастеров и поисковых систем был разработан специальный формат карты сайта - sitemap. Это список ссылок на внутренние страницы сайта, представляемый в формате XML. Этот формат поддерживает и Яндекс. В специальном разделе сервиса можно загрузить sitemap для вашего сайта. Это позволит влиять на приоритет обхода роботом некоторых страниц вашего сайта. Например, если какие-то страницы обновляются гораздо чаще, чем другие, следует указать эту информацию, чтобы робот Яндекса правильно планировал свою работу.

Яндекс индексирует основные типы документов, распространенных в Сети. Но существуют ограничения, от которых зависит, как будет проиндексирован документ, и будет ли проиндексирован вообще:

• Большое количество cgi-параметров в URL, большое количество повторяющихся вложенных директорий и слишком большая общая длина URL может привести к ухудшению индексирования документов.

  Для индексирования важен размер документа - документы больше 10Мб не индексируются.

  Индексирование flash:

  1. индексируются файлы *.swf, если на них есть прямая ссылка или они встроены в html тегами object или embed ;

     если flash содержит полезный контент, исходный html документ может быть найден по контенту, проиндексированному в swf файле .

В документах PDF индексируется только текстовое содержимое. Текст, представленный в виде картинок, не индексируется.

Яндекс корректно индексирует документы в формате Open Office XML и OpenDocument (в частности, документы Microsoft Office и Open Office). Но следует учитывать, что внедрение поддержки новых форматов может занимать некоторое время.

Допустимо использование тегов и , робот Яндекса индексирует контент, подгружаемый в них, и позволяет найти исходный документ по содержимому фреймов.

Если вы переопределили поведение сервера для несуществующих URL, убедитесь, что сервер возвращает код ошибки 404. Получив код ответа 404, поисковая система удалит данный документ из индекса. Следите, чтобы все нужные страницы сайта отдавали код 200 OK.