Индексация страниц и сайта в яндексе и google

Как проверить индексацию отдельной или всех страниц

Проверка отдельной странички нужна, когда необходимо убедиться, что новый  опубликованный контент успешно «замечен» поисковыми системами. Или когда вы приобрели на чужом ресурсе платную ссылку и теперь с нетерпением ждете ее индексации. Это можно сделать через:

• Ввод URL страницы в строку поиска Яндекс или Google. В случае если проблем с восприятием страницы поисковиками нет, она первой отобразится в результатах поиска.
• Уже упомянутый плагин RDS Bar.

Для проверки индексации всех страничек сайта понадобится список их адресов (URL). Для этого можно воспользоваться каким-либо генератором карт веб-ресурсов, к примеру, Sitemap Generator. Чтобы собрать только URL страниц, не забудьте внести маску ненужных адресов, например, на комментарии, в окне «Exclude Patterns». По окончании процесса следует перейти во вкладку Yahoo Map/Text, откуда скопировать сгенерированный перечень всех адресов.

Имея его на руках, индексацию всех страничек не составит труда проверить с помощью программы YCCY.ru. Просто добавьте данные в список исходных URL и выберите одну из предложенных поисковых систем: Google, Яндекс или Rambler. Нажмите кнопку «Начать Проверку» и получайте утешительные или не очень результаты.

Соберите качественные обратные ссылки

Чем больше качественных обратных ссылок у вашего веб-сайта, тем больше причин у поисковых роботов обратить на него внимание. Ведь если кто-то ссылается на ваши страницы, значит, они кому-то важны.   . Для индексации лучше всего работают ссылки из соцсетей и новостных порталов

Дело в том, что они популярны, часто обновляют контент и, тем самым, «стимулируют» поисковых роботов как можно чаще сканировать ресурс. Если ваша ссылка появилась на таком сайте, ее, скорее всего, быстро обнаружит поисковый робот ― шансы есть даже у nofollow-ссылок

Для индексации лучше всего работают ссылки из соцсетей и новостных порталов. Дело в том, что они популярны, часто обновляют контент и, тем самым, «стимулируют» поисковых роботов как можно чаще сканировать ресурс. Если ваша ссылка появилась на таком сайте, ее, скорее всего, быстро обнаружит поисковый робот ― шансы есть даже у nofollow-ссылок.

Кстати, в этом году Google изменил правила для nofollow-ссылок. С 1 марта 2020 атрибут nofollow становится рекомендательным. Это значит, есть вероятность, что поисковик будет переходить по nofollow-ссылкам и индексировать их. 

Как же получать качественные ссылки с других ресурсов? Начните с разработки стратегии по получению бэклинков. Несколько идей: разместите ссылку на ваш ресурс на тематических форумах, сервисах вопросов и ответов, сайтах-агрегаторах и т.д. Пробуйте все подходящие (и законные) способы. 

Если идеи по получению ссылок уже закончились, можно подсмотреть их у ваших конкурентов — собрать площадки для потенциального размещения бэклинков из ссылочного профиля сайта-конкурента. С этим поможет разобраться инструмент «Анализ обратных ссылок» от SE Ranking. 

Что нужно делать? Все просто — зарегистрируйте бесплатный пробный аккаунт, откройте «Анализ обратных ссылок» и введите в поисковое поле URL домена конкурента. 

Увидите список сайтов, которые ссылаются на вашего конкурента. Сможете оценить контекст, в котором дана ссылка, якорный текст и параметры ресурса. Все нужные данные в одной таблице — так отобрать доноров ссылок гораздо быстрее. 

Отдельно стоит сказать о соцсетях. Поисковые роботы активно «мониторят» соцсети, потому что новые материалы там появляются каждую секунду. Чтобы использовать эту особенность для своего сайта, нужно укрепить его присутствие на социальных площадках. 

Просто добавить ссылку на сайт в шапку профиля не достаточно. Чтобы поисковой робот заинтересовался страницей компании, она должны быть популярной — иметь подписчиков, лайки, комментарии и репосты. 

Еще ссылки на сайт и страницы можно размещать в постах, комментариях, описаниях к мультимедийным файлам, заметках, личных профилях (например, как место работы или партнерство), группах и сообществах (как ваших, так и чужих по вашей теме). Главное позаботиться о том, чтобы ссылки были к месту. 

На первом месте по скорости сканирования ссылок Twitter — он быстро индексируется и Google, и Яндекс. Также поисковики индексируют ссылки с активных страниц в Facebook

Тоже самое с Вконтакте — чем больше будет набираться подписчиков, которые лайкают и репостят записи, тем скорее вы привлечете внимание поисковых роботов. 

Для Яндекса хорошо работает постинг в связках соцсетей — это ВК + Twitter, также можно добавлять ссылки на новые страницы в LiveJournal, LiveInternet, Diary.Ru.

Общее правило индексации разных соцсетей поисковиками — чем больше социальной активности вы привлечете на свои публикации, тем больше у вас шансов «пригласить» краулеров соцсетей. А они ходят в гости парами, приглашая с собой на ваши страницы роботов поисковых систем.

Проблема при мониторинге индексации

Посмотреть проиндексированные страницы не составляет труда. Сделать это можно путем выгрузки отчетов в панелях для вебмастеров:

Яндекс.Вебмастер («Индексирование» / «Страницы в поиске» / «Все страницы» / «Скачать таблицу XLS / CSV»);

Google Search Console («Индекс» / «Покрытие» / «Страница без ошибок» / «Экспорт»).

В итоге у вас будет 2 XLS-файла со списком страниц, проиндексированных в Яндексе и Google. Проблема в том, чтобы сопоставить эти списки и определить, каких URL не хватает.

Если у вас, скажем, до 100 URL, то можно сделать это вручную, отсортировав URL по алфавиту и выявив расхождения. Займет это минут 15-20. Если же количество URL составляет 500, 1000 или десятки тысяч, то ручная работа потребует часов или даже дней. В этом случае нужна автоматизация.

Используйте операторы поисковых запросов

Поисковые операторы позволяют уточнять результаты поиска. Оператор «site:» выдает информацию о приблизительном количестве проиндексированных страниц. Для проверки в строке поиска Google или Яндекс введите «site:».

Например, сайт cubing.com.ua находится под фильтром АГС.

С помощью дополнительных инструментов поисковых систем можно узнать данные об индексации за определенный период времени. Так, за последний час в индексе Google появились 49 страниц русскоязычной Википедии:

Также можно проверить индексацию и вид в поиске одной отдельной страницы с помощью оператора site: или просто добавив нужный вам URL в поисковую строку:

Если поисковые платформы наложили на сайт или страницу санкции и фильтры, то ссылка может не отобразиться. Тогда надежнее будет использовать специальные операторы. Для Google это оператор inurl:. Запрос будет таким:

inurl:example.com/post/

Для Яндекса это оператор url:. Запрос будет выглядеть так:

url:example.com/post/

Если страница показывается в выдаче, значит она проиндексирована, а если поиск выдал пустой результат — страницы в индексе нет.

Индексация сайта в поиске

Теперь, когда мы рассказали, что такое индексация, почему она так важна и как её проверить, приступим к практике.

Как ускорить индексацию?

Мы писали выше, что управлять индексацией, что бы кто не говорил, вы не можете. Но повлиять на процесс или даже ускорить возможно. 

Советы по ускорению индексации

• Обязательно добавьте сайт во все сервисы Яндекса и Google, особенно в Яндекс Вебмастер и Google Search Console.
• Создайте sitemap.xml, поместите карту в корень сайта и постоянно обновляйте.
• Следите за robots.txt и исключайте ненужные страницы (об этом ниже).
• Выберите надёжный и быстрый хостинг, чтобы робот мог беспрепятственно индексировать содержимое сайта.
• Используйте инструменты Яндекс Вебмастера (Индексирование → Переобход страниц) и Google Search Console (Проверка URL → Запросить индексирование). Способ идеально подходит для работы с отдельными страницами. 
• Если ваша CMS любит создавать дубли (например, Битрикс), то используйте атрибут rel=canonical.
• Автоматизируйте создание новых ссылок со старых страниц. Как вариант, можно сделать блок на главной с новыми товарами или статьями.
• Ведите соцсети и анонсируйте новые товары, услуги, страницы. Замечено, что ссылки с соцсетей могут ускорить процесс.
• Создавайте качественный контент на каждой странице. Под качественным контентом мы понимаем актуальную, релевантную и уникальную информацию для пользователей.
• Работайте над структурой сайта и делайте её удобной и понятной пользователю. Помните о правиле 3 кликов: это оптимальное количество действий для пользователя.
• Проверяйте периодически сайт на вирусы и санкции поисковых систем. В Яндекс Вебмастере раздел Диагностика → Безопасность и нарушения, в Google Search Console — раздел Проблемы безопасности и меры, принятые вручную.
• Улучшайте свой ссылочный профиль и пишите анонсы на других сайтах (в рамках правил поисковых систем).
• Используйте родные браузеры (Chrome, Яндекс Браузер) и заходите на новые страницы с них.

Как запретить индексацию?

Выше мы рассмотрели основные способы, как ускорить индексацию, и рассказали, что такое краулинговый бюджет и почему он ограничен для каждого сайта. Поэтому чтобы его не тратить зря, советуем закрывать от индексации служебные и технические страницы, кабинеты пользователей и конфиденциальную информацию, а также страницы в разработке и дубли. 

3 основных способа запретить индексацию:

1. Директива Disallow в файле robots. Мы писали, что такой запрет может не сработать в отдельных случаях. Тем не менее это основной способ запрета индексации.
2. В коде страницы указать метатег robots с директивой noindex (для текста) и/или nofollow (для ссылок). Хорошо подходит для запрета индексации отдельных страниц.
3. Настроить HTTP-заголовок X-Robots-Tag с директивой noindex и/или nofollow. Лучше всего подходит для закрытия индексации не HTML-файлов (PDF, изображения, видео и другие).

Используйте все наши советы по улучшению индексации на полную мощь.
Максимальное внимание уделите улучшению структуры и навигации и обновлению карты сайта.
Структура сайта должна быть проста и понятна, охватывать весь спектр ключевых запросов, а каждая страница сайта в идеале должна быть доступна в 3–4 клика

Для этого используйте дополнительные блоки на главной странице и в разделах.
Хорошо работает облако тегов: с помощью него часто получается продвигать категории, улучшать навигацию и полно охватывать семантику.
Для многостраничных сайтов действительно важно постоянно обновлять sitemap.xml
Зачастую в таких случаях карту делят на несколько частей, чтобы охватить весь список страниц. 
Настройте маски (автоматические шаблоны) метатегов для новых страниц в категориях и каталогах. 
Скорее всего, вам не обойтись без команды профессионалов, которые смогут обеспечить техподдержку, производство контента и SEO-продвижение.

Особенности индексирования сайтов с разными технологиями

Ajax

Сегодня все чаще встречаются JS-сайты с динамическим контентом ― они быстро загружаются и удобны для пользователей. Одно из основных отличий таких сайтов на AJAX — все содержимое подгружается одним сплошным скриптом, без разделения на страницы с URL. Вместо этого ― страницы с хештегом #, которые не индексируются поисковиками. Как следствие — вместо URL типа https://mywebsite.ru/#example поисковый робот обращается к https://mywebsite.ru. И так для каждого найденного URL с #. 

В этом и кроется сложность для поисковых роботов, потому что они просто не могут «считать» весь контент сайта. Для поисковиков хороший сайт ― это текст, который они могут просканировать, а не интерактивное веб-приложение, которое игнорирует природу привычных нам веб-страниц с URL. 

Буквально пять лет назад сеошники могли только мечтать  о том, чтобы продвинуть такой сайт в поиске. Но все меняется. Уже сейчас в справочной информации и Google, и Яндекс есть данные о том, что нужно для индексации AJAX-сайтов и как избежать ошибок в этом процессе. 

Сайты на AJAX с 2019 года рендерятся Google напрямую — это значит, что поисковые роботы сканируют и обрабатывают #! URL как есть, имитируя поведение человека. Поэтому вебмастерам больше не нужно прописывать HTML-версию страницы. 

Но здесь важно проверить, не закрыты ли скрипты со стилями в вашем robots.txt. Если они закрыты, обязательно откройте их для индексирования поисковыми роботам

Для этого в robots.txt нужно добавить такие команды:

Поисковые роботы Яндекса тоже могут индексировать сайты на AJAX, но при одном условии ― если у каждой страницы сайта есть HTML-версия. В справочнике Яндекса можно узнать подробнее, как сообщить роботу об HTML-версии страницы.  

Флеш-контент

С помощью технологии Flash, которая принадлежит компании Adobe, на страницах сайта можно создавать интерактивный контент с анимацией и звуком. За 20 лет своего развития у технологии было выявлено массу недостатков, включая большую нагрузку на процессор, ошибки в работе флеш-плеера и ошибки в индексировании контента поисковиками.

В 2019 году Google перестал индексировать флеш-контент, ознаменовав тем самым конец целой эпохи. Поисковые роботы Яндекса индексируют только тот текст во Flash-документах, который размещен в таких блоках: DefineText; DefineText2; DefineEditText; Metadata.

Поэтому не удивительно, что поисковики предлагают не использовать Flash на ваших сайтах. Если же дизайн сайта выполнен с применением этой технологии, сделайте и текстовую версию сайта. Она будет полезна как пользователям, у которых не установлена совсем или установлена устаревшая программа отображения Flash, пользователям мобильных устройств (они не отображают flash-контент), так и поисковым роботам Яндекса. 

Фреймы 

Фрейм это HTML-документ, который не содержит собственного контента, а состоит из разных областей ― каждая с отдельной веб-страницей. Также у него отсутствует элемент BODY. 

Как результат, поисковым роботам просто негде искать полезный контент для сканирования. Страницы с фреймами индексируются очень медленно и с ошибками. 

Вот что известно от самих поисковиков: Яндекс индексирует контент внутри тегов <frameset> и <frame> и не индексирует документы, подгружаемые в тег <iframe>. А вот Google может индексировать контент внутри встроенного фрейма iframe. Именно iframe поддерживается современными технологиями, так как он позволяет встраивать фреймы на страницы без применения тега <iframe>.

А вот теги <frame>, <noframes>, <frameset> устарели и уже не поддерживаются в HTML5, поэтому и не рекомендуется использовать их на сайтах. Ведь даже если страницы с фреймами будут проиндексированы, то трудностей в их продвижении вам все равно не избежать. 

3 способа проверки ссылок на nofollow

Давайте начнем с самого простого, например, вами был оставлен комментарий в надежде, что в нике автора будет оставлена ссылка способная в будущем передать немного траста проекту.

Однако практически все сайты умышленно закрывают комментарии от индексации дабы не плодить множество исходящих линков на сайте.

Поэтому рекомендую воспользоваться несколькими способами, которые точно укажут на то, индексируется ли ссылка.

Исходный код страницы

Пожалуй, это самое элементарное, что можно сделать. Ведь заглянуть в исходный код страницы дело нескольких секунд, и если он не содержит атрибут rel со значением «nofollow», значит роботу ПС не запрещено переходить по такому линку.

Подробнее прочитать о значении данного атрибута в Яндекс и Гугл можно на официальных страницах:

• yandex.ru/support/webmaster
• support.google.com/webmasters

На практике это делается так, на той странице, где хотим сделать проверку жмете клавиши «Ctrl+U», после чего откроется исходный код.

Теперь делаем поиск по странице клавиши «Ctrl+F» вводим любое словосочетание, чтобы нас быстро перекинуло к проверяемой части текста и смотрим на присутствие атрибута rel=»nofollow».

Как видно в приведенном примере nofollow обнаружен, а значит ссылка не индексируется поисковыми системами.

Еще стоит добавить, что обратиться к исходному коду страницы можно немного проще. Кликаете по любому тексту правой кнопкой мыши и если у вас браузер Google Chrom в контекстном меню выбираете «Посмотреть код».

После чего рядышком откроется окно с исходным кодом именно в этом месте, где было нажатие.

Лично мне больше нравится второй способ.

Расширение для браузера

Чтобы каждый раз не лазить в исходный код страницы, мне больше всего нравится использовать специальное расширение RDS bar, которое предназначено для анализа всех seo показателей сайта и за одно имеет функцию подсветки на страницах.

Я настроил его так, чтобы все внешние ссылки обводились красной рамкой.

Теперь если я зайду на любой сайт и там будет внешняя ссылка, мне об этом будет визуально сообщено.

У меня данное расширение работает в браузере Хром, вот ссылка на установку RDS bar.

Сервисы

И третий способ, которым мне иногда приходится пользоваться, это проверка линков с помощью специальных сервисов, так как стараюсь сделать все, чтобы на компьютере было меньше программ.

Из-за того, что многие вебмастера стали в атрибуте rel использовать дополнительно external, то те сервисы, которые раньше прекрасно справлялись со своей работой показывают, что такие ссылки открыты для индексации, поэтому будьте бдительны.

Пока со своей задачей неплохо справляется сервис SeoLik, который без труда показал, что приведенная сегодня ссылка закрыта от индексации.

Для того чтобы было проще делать проверку, включайте чекбокс «показать только передающие вес ссылки», надеюсь среди них окажется и ваша. ))

Что делать с полученной информацией?

В идеале, количество страничек сайта должно совпадать с числом проиндексированных страниц. К сожалению, так бывает далеко не всегда. Гораздо чаще встречаются два варианта развития событий:

• Проиндексированное число элементов – меньше. Соответственно, вы сильно теряете в трафике, ведь по многим запросам пользователей ваш сайт остается недоступным для них.
• Количество проиндексированных страниц превышает реальное число таковых. Если у вас подобный вариант, радоваться не стоит. Вероятнее всего имеет место дублирование страничек, что размывает их вес, увеличивает число повторяющегося материала и мешает продвижению ресурса.

Обе проблемы необходимо максимально быстро решить.  Иначе вы рискуете получить неэффективную веб-площадку, заработать на которой можно только в мечтах. А для этого придется проверить индексацию всех страниц по отдельности, чтобы узнать, какие из них «стратили».

Отправьте страницы на индексацию в Google Search Console и Яндекс.Вебмастер

Чтобы страницы как можно быстрее попали под радар поисковиков, используйте сервисы самих поисковиков — Google Search Console и Яндекс.Вебмастер. Они помогают владельцам сайтов следить за состоянием индексации, изучать ошибки во время сканирования и оптимизировать сайты. 

Google Search Console

Первые шаги в работе с Google Search Console — добавить туда свой ресурс и подтвердить право собственности. Начать можно здесь, используя подсказки. Первые данные о вашем сайте можно будет увидеть в консоли уже через пару дней.

Чтобы проверить статус индексации новой страницы, выберите на левой панели «Проверка URL» или введите нужный URL-адрес в поисковое поле сверху. Вот так просто. 

После отправки URL на проверку вы увидите, проиндексирована ли эта страница, а также ошибки, связанные с AMP, разметкой и индексацией.

Если страница не проиндексирована, вы можете запросить визит робота Googlebot и отслеживать статус индексирования. 

Инструмент «Проверка URL» подходит для индексации как новых страниц, так и тех, которые вы обновили.  

Яндекс.Вебмастер

Начало работы с вебмастерской Яндекса такое же, как в Google: добавляете туда свой сайт и подтверждаете права. После этого сайт автоматически попадает в очередь на индексирование. Обычно это занимает до 2 недель.

Как только данные по вашему сайту появятся в Яндекс.Вебмастере, вы сможете отправить нужные страницы на переиндексацию. 

Для этого на левом меню откройте вкладку «Индексирование» → инструмент «Переобход страниц». Вставьте нужные вам URL в поле и отправьте список на переиндексацию. 

Дневной лимит на добавление URL индивидуальный для каждого сайта и определяется автоматически — Яндекс не рассказывает, как его рассчитывает.

Установите сервисы для проверки индексации

Это маленькие помощники SEO-специалистов. Их множество. Например, связка Netpeak Spider и Netpeak Checker.

Netpeak Spider позволяет просканировать весь сайт. Плюс в том, что вы получаете список страниц и много дополнительных данных: каноникал, код ответа, название, заголовки, метаописания, мета роботс, robots.txt, редиректы, внутренние и внешние ссылки. Также программа предупреждает об ошибках в этих данных.

Как только список всех URL сайта был получен, его можно загрузить в Netpeak Checker и уже проверить непосредственно на факт индексации поисковыми системами.

Существует огромное количество бесплатных сервисов для проверки индексации. На мой взгляд, самые удобные и популярные:

• raskruty.ru/tools/index/ — до 10 отдельных URL или сразу весь домен;
• serphunt.ru/indexing/ — до 100 URL за раз;
• xseo.in/indexed — можно проверить количество проиндексированных страниц домена в Google, Яндекс, Bing.

Также похожий инструмент существует в сервисах и SeRanking, но при использовании платного тарифного плана. 

Как ускорить индексацию сайта

Поисковый робот обходит ограниченное количество страниц за раз, в зависимости от размера краулингового бюджета. Но всем хочется, чтобы новые статьи, товары и категории как можно скорее попали в поисковую выдачу и начали приводить посетителей на сайт. 

Страницы можно отправить на индексацию принудительно, но есть еще несколько методов для ускорения индексации сайта. 

Автоматическое обновление sitemap.

Все новые страницы должны автоматически попадать в карту сайта (sitemap). Благодаря этому файлу роботы лучше понимают структуру сайта и видят все страницы, которые необходимо посетить. Кроме того, в карте сайта можно указать приоритетность и частоту посещения страницы роботом. 

Удаление дублей страниц и неуникального контента.

Дубли страниц и неуникальный контент — враги индексации, так как они расходуют на себя краулинговый бюджет, и робот просто не доходит до нужных вам страниц. Необходимо следить, чтобы таких страниц на сайте не было. 

Контроль количества битых ссылок и внутренних редиректов.

Большое количество битых страниц, и внутренних редиректов также расходуют краулинговый бюджет. Робот попадает на нерабочие страницы или посещает те, на которых уже был из-за редиректа и не успевает просканировать новые, нужные страницы. Необходимо контролировать, чтобы битых ссылок и ссылок на страницы с внутренними редиректами было как можно меньше, или не было вообще. 

Корректная настройка robots.txt.

Несмотря на то, что файл robots.txt является только рекомендацией, а не четкой инструкцией для роботов, пренебрегать им не надо. Новые страницы должны быть открыты для сканирования и доступны для роботов. 

Оптимизация скорости загрузки сайта.

Скорость загрузки страницы — весомый показатель качества сайта. Время ответа сервера не должно превышать 200 мс, а скорость загрузки страницы — 3-5 секунд. Для проверки скорости загрузки страницы используйте PageSpeed Insights и выполняйте предложенные там рекомендации по оптимизации скорости. 

Оптимизация перелинковки.

Качественная перелинковка не только распределяет внутренний вес со страниц и увеличивает время пребывания посетителя на сайте. По ссылкам в тексте (или блоках «Новинки», «Популярное») переходит и робот, таким образом быстрее добавляя страницы в индекс и обновляя их. 

Вывод превью новых статей и товаров на главную страницу.

Для этого же необходимо добавлять ссылку на новый материал, товар или категорию на главную страницу сайта: так их быстрее заметят и пользователи, и поисковые «пауки». 

Размещение ссылки на новую страницу в соцсетях.

Влияние соцсетей на продвижение — спорный вопрос, но благодаря внешней ссылке на новую страницу начнут переходить пользователи, и это послужит для робота сигналом к индексации.

Частота обновления сайта.

Важно, как часто вы добавляете на сайт новые товары, материалы и категории. Поисковые системы любят «живые» сайты

Поддерживайте актуальность сайта, публикуйте новый контент не реже раза в неделю; добавляйте ссылки на новые материалы в старых статьях; обновляйте информацию на сайте; настройте заголовки Last-Modified и If-Modified-Since или Etag и If-None-Match.

Как подготовить сайт к индексации?

Сделать это можно путем его внутренней и внешней оптимизации. В частности, необходимо сделать следующее:

Выбрать правильное имя для домена. Лучше всего, если в его название будет входить главное ключевое слово. Желательная длина – до 12 символов.
Выбрать надежный хостинг. Он должен быть быстрым и понятным, работать без перебоев и не мешать индексации. Один из лучших – beget.ru.
Использовать адаптивный дизайн. Если вы используете шаблон, смотрите, чтобы он хорошо отображался на планшетах, мобильниках и компьютерах. В нем также не должно быть никаких скрытых ссылок.
Создать Robots.txt. Этот файл показывает роботам, какие страницы можно, а какие нельзя индексировать. Настройка сложная, поэтому лучше доверить ее специалистам.
Создать карту сайта. Даже две: первая должна быть в формате .xml (для поисковых ботов), вторая — в .html (для людей). Сделать их легче. Для составления карт даже придуманы специальные плагины. Например, на WordPress это WP Sitemap Page и небезызвестный опытным веб-мастерам Google XML Sitemaps от Arne Brachhold.
Составить семантическое ядро (СЯ) – это такой список из поисковых фраз, по которым в дальнейшем ваш сайт будут находить пользователи. В принципе, эту работу нужно проделать до регистрации домена и хостинга. И, естественно, еще до проверки индексации сайта в поисковиках.
Написать тексты с учетом слов из СЯ и оптимизировать картинки. Статьи следует писать оптимизированные, не забывая про новый алгоритм от «Яндекса» «Королев». Изображения до загрузки на ресурс желательно сжимать без потери качества. Сделать это можно с помощью специальных сервисов.
Прописать все важные мета-теги. В частности, Title (название статьи, длина – до 80 символов) и Description (краткое описание, длина – до 200 символов)

В дескрипшен важно включить самое главное ключевое слово в разбавленном виде.
Оставить ссылки на авторитетных ресурсах (внешняя оптимизация!). Тут только 2 правила: сайт-донор должен быть действительно тематическим, а ссылка — вечной.
Создать группу для сайта в соц.сетях и размещать ссылки на новые посты там.
Подтвердить права на свой ресурс и поставить его в очередь на индексирование

Сделать это можно через панель веб-мастера Yandex или «Гугла».

Еще перед тем, как проверить индексацию сайта «Яндексом», нужно ускорить загрузку ресурса. Все рекомендации по тому, что для этого можно сделать, стоит смотреть на developers.google.com/speed/ или ином аналогичном ресурсе.

Используйте плагины и букмарклеты

Плагины и букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки. В этом случае не надо открывать поисковик отдельно и вводить что-либо в поиск.

Это делают плагины и скрипты:

На скриншоте — плагин RDS bar для Google Chrome. Возможности RDS bar для Mozilla Firefox еще круче. С помощью плагина можно проверить индексацию текущей страницы и общий индекс всего сайта. Но в бесплатных вариантах капча не даст спокойно работать.

Плагин Seo Magic также показывает количество страниц в индексе Яндекса и Google, при нажатии на интересующую цифру — откроет выдачу поисковой системы. Кроме этого, плагин показывает и другую полезную информацию:

Букмарклет «Проверка индексации». Перетащите ссылку из открытого файла на панель закладок. Дальше просто откройте нужный сайт и нажмите на эту закладку. Откроется новая вкладка с Google или Яндекс и нужными данными в выдаче.

Как узнать какие страницы дают трафик, а какие пользователи игнорируют?

Подробный отчет обо всех страницах входа на сайт из поисковой выдачи можно найти в Яндекс.Метрике. Раздел «Отчёты» — «Стандартные отчёты» — «Содержание» — «Страницы входа».

По каждой странице отображается информация о количестве визитов, посетителях, проценте отказов, глубине просмотра и общем времени по выбранной странице. Анализ проведенного времени на сайте и количества отказов станет отличным помощником в улучшении юзабилити сайта. Процент отказов больше 25% говорит нам о том, что со страницей точно не все в порядке, и каждый 4 посетитель уходит с сайта.

Информацию о показах и кликах по каждой странице можно найти в Яндекс.Вебмастере. Раздел «Поисковые запросы» — «Статистика страниц».

Используйте информацию для улучшения сниппета сайта. Большое количество показов без кликов говорит о том, что сниппет страницы не привлекает пользователей, и все клики достаются конкурентам.

Как поисковые роботы узнают о вашем сайте

Если это новый ресурс, который до этого не индексировался, нужно «представить» его поисковикам. Получив приглашение от вашего ресурса, поисковые системы отправят на сайт своих краулеров для сбора данных.

Вы можете пригласить поисковых ботов на сайт, если разместите на него ссылку на стороннем интернет-ресурсе. Но учтите: чтобы поисковики обнаружили ваш сайт, они должны просканировать страницу, на которой размещена эта ссылка. Этот способ работает для обоих поисковиков.

Для Яндекс 

• , укажите на него ссылку в robots.txt или в разделе «Файлы Sitemap Яндекс.Вебмастера».
• Добавьте свой сайт в .
• Установите на свой сайт.

Для Google

• Создайте файл Sitemap, добавьте на него ссылку в robots.txt и отправьте файл Sitemap в Google.
• Отправьте запрос на индексацию страницы с изменениями в Search Console. 

Каждый сеошник мечтает, чтобы его сайт быстрее проиндексировали, охватив как можно больше страниц. Но повлиять на это не в силах никто, даже лучший друг, который работает в Google. 

Скорость сканирования и индексации зависит от многих факторов, включая количество страниц на сайте, скорость работы самого сайта, настройки в веб-мастере и краулинговый бюджет. Если кратко, краулинговый бюджет — это количество URL вашего сайта, которые поисковый робот хочет и может просканировать.