Некачественный контент. Думаю, что не надо объяснять, что такое некачественный контент. Каждый из нас знает, какую он статью написал — для людей или для поисковых роботов…

Сайт является зеркалом другого сайта. Здесь имеется в виду ситуация, когда существует сайт с абсолютно уникальным контентом, но по смыслу и структуре он полностью или частично копирует другой сайт. Такие сайты также могут попасть под фильтр поисковых систем. По крайней мере, Яндекс такие сайты не очень любит и, если замечает, «склеивает» их с «главным зеркалом» всех сайтов.

Индексация сайта запрещена в файле robots.txt. Бывает так, что веб мастер случайно может запретить индексацию сайта в файле robots.txt. Так что в первую очередь проверяйте именно этот файл. Если Вы не знаете, что такое robots.txt, то в разделе «Использование robots.txt» от сервиса «Яндекс.Вебмастер», всё очень хорошо расписано.

Индексация сайта запрещена в мета тегах. Проверьте обязательно HTML-код страницы сайта. Если в коде присутствует код , то это означает, что поисковым роботам запрещено индексировать страницу, о чём говорит команда noindex, и переходить по ссылкам на странице (команда nofollow). Существует аналогичный мета тег . Данный мета тег также запрещает индексировать текст и переходить по ссылкам на странице.

Продажа ссылок с сайта. Яндекс не против того, чтобы владелец сайта немного (или много) подзаработал на продаже ссылок со своего сайта. Но, если Вы продаёте слишком много ссылок (а сколько, это «слишком много», известно только Яндексу), то это может повлечь за собой массовое выпадение страниц из индекса. Также Вы должны понимать, что если Вы хотите зарабатывать на сайте за счёт продажи ссылок, то этот сайт должен быть действительно полезным для пользователей Интернета (ну или хотя бы немного полезным), ну и, конечно же, сайт должен иметь уникальные статьи. На счёт Гугла такое сказать не могу. Вообще поисковая система Google старается индексировать всё что можно и что нельзя — этакий монстр индексирования (бывает, что Google индексирует даже те страницы, которые запрещены для индексации в файле robots.txt, если на них стоят ссылки), но не все страницы он хорошо ранжирует (учитывает). Также есть мнение, что вес страницы теряется, если на ней слишком много внешних ссылок — это ещё один повод для того чтобы НЕ превращать сайт в линк помойку.

Ссылочный взрыв. Если в один прекрасный день на неизвестный сайт начнут ссылаться сразу тысячи ресурсов, то это может повлечь за собой жёсткие санкции со стороны поисковых систем, как по отношению к сайту, на который ссылаются, так и к ссылающимся сайтам. В общем, пострадают все!

Хостинг блокирует роботов поисковых систем. К сожалению, бывает и такое. Так что, пользуйтесь услугами проверенных хостингов, которые имеют хорошую репутацию.

Домен, который Вы купили, был ранее забанен (заблокирован) поисковыми системами. Если есть возможность изучить историю покупаемого домена, то обязательно изучите её.

Сайт по ошибке попал под фильтр ПС. Такое бывает не так часто, но бывает (примерно в 1−2% случаев). Если Вы уверены, что Ваш сайт соответствует всем требованиям стандарта качества поисковых систем, то можно написать им письмо, и через некоторое время (возможно после долгой переписки) Ваш сайт проиндексируется.

Многие другие причины, которых так много, что в одну статью всё просто не поместится. Включайте логику, анализируйте сайт, и Вы сами сможете выявить причины, которые препятствуют индексации сайта в ПС.

Если Вы уверены, что Ваш сайт не нарушает правила игры (назовём это так), но он всё равно не индексируется довольно долгое время, то возможно поисковые роботы просто-напросто не могут найти Ваш сайт. Ну не могут они и всё тут! В этом случае Вам нужно помочь поисковой системе найти страницы Вашего сайта, о чём мы и поговорим далее.

Итак, как ускорить индексацию сайта в поисковых системах Яндекс и Гугл:

Шаг 3-й: Укажите в файле Sitemap все страницы, которые нужно проиндексировать. Многие web мастера пренебрегают этим файлом, считая его не столь значительным в процессе индексации сайта, а зря. Подчас именно файл Sitemap может поспособствовать тому, чтобы сайт проиндексировался. И в этом я совсем недавно убедился, когда мне дали в работу 3 сайта, у которых была одна общая проблема — в течение 6-ти месяцев у каждого сайта проиндексировалось всего лишь по 2−3 страницы в поисковой системе Гугл. Причём все эти сайты давно были добавлены в «Центр веб-мастеров Google» и «Яндекс.Вебмастер», а также на многие страницы с разных сайтов уже были проставлены ссылки. Как ни странно, данные сайты уже давно успешно индексировались в ПС Яндекс, но Гугл, по каким-то причинам обходил их стороной. Тогда я решил добавить файлы Sitemap на все сайты. И что Вы думаете — буквально через 2−3 недели все 3 сайта начали индексироваться в Гугле. Также я заметил, что если добавить сайт в панель вебмастера и там же указать путь к файлу Sitemap, то сайт нередко индексируется буквально за 1 день! Если Вы не знаете, что такое файл Sitemap, то Вы можете почитать о нём . Практически у каждого движка есть свои плагины, которые генерируют файл Sitemap, но если у Вашего движка нет такой возможности, то Вы можете сгенерироваться файл Sitemap с помощью специального сервиса, такого как XML Sitemaps Generator . Просто введите адрес сайта и нажмите Start, после чего скачайте этот файл и загрузите его по ftp в коневую папку Вашего сайта. Затем укажите путь к файлу Sitemap в панели вебмастера.

Шаг 5-й (необязательно): Ускорить индексацию сайта внешними ссылками. Самый эффективный способ проиндексировать сайт с помощью внешних ссылок — это сделать так, чтобы на самые значимые страницы Вашего сайта ссылались различные (желательно тематические) блоги, поскольку именно они индексируются быстрее всего (если блог популярный и часто обновляемый, то он может индексироваться каждые 2 часа!). Получить вечные ссылки с блогов на сайт (достаточно по 2−3 ссылки на каждую страницу) Вы можете с помощью сервиса Blogun или любых других сервисов.

Если все эти советы не помогли, и Ваш сайт так и не проиндексировался спустя ещё один месяц, то тут остаётся только одно — написать работникам поисковых систем:

• Написать Яндексу . Практика показывает, что в большинстве случаев отвечают следующее: «улучшайте качество своего сайта…». Но не стоит отчаиваться, если Вам дали шаблонный ответ — это означает, скорее всего, одно, что времени на рассмотрение сайта совсем не было. Если надо будет, вступите в долгую переписку с Яндексом и отстаивайте свои права. Дайте понять, что Вам не безразличен Ваш сайт. Если Вы абсолютно уверены в том, что Ваш сайт качественный, то рано или поздно с него снимут фильтр.
• Написать Гуглу . Задать вопрос Гуглу можно на русском языке, но ответят Вам на английском и чаще всего стандартным ответом. 1-й ответ будет примерно таким: «Мы приняли Вашу заявку на пересмотр сайта… и т.д. и т.п.». 2-ой ответ, если с Вашим сайтом всё в порядке, будет примерно таким: «Мы рассмотрели Ваш сайт и не нашли присутствия спама. Ждите, когда сайт проиндексируется.»

Напоследок мне хотелось бы дать Вам последний совет. Не давайте адрес Вашего сайта на различных форумах, блогах и других ресурсах, и не говорите никому, что Ваш сайт ещё не проиндексировался. Нечестные люди могут этим воспользоваться, украв полностью контент с Вашего сайта. Также не стоит регистрировать непроиндексированный сайт в каталогах, т.к. владельцы каталогов могут проверить Ваш сайт на наличие страниц в поиске и также своровать страницы сайта.

Желаю Вам успешной индексации!

Популярность заметки: 34%

Если Вам понравились материалы сайта , и Вы хотите отблагодарить автора данного ресурса, то скопируйте код баннера, который представлен ниже, и вставьте его на любой странице Вашего сайта.

34 комментария к заметке «Почему сайт не индексируется, или, о чём нужно было позаботиться заранее»

Здравствуйте я на счёт пункта 3 у меня сайт на ucoz но почему то в яндексе проиндексировалось всего 2 страницы а хотя там присутствуют файлы

Вообще, сайты, сделанные на ucoz, достаточно хорошо индексируются в поисковых системах из-за большого траста к ucoz. Порой достаточно просто добавить сайт в Яндекс.Вебмастер и Центр веб-мастеров Google и сайт через 2−4 недели индексируется без всяких проблем, если он, конечно, имеет уникальный контент. Попробуйте добавить файл XML Sitemap с ссылками на страницы сайта — возможно это поможет. Правда, не знаю, есть ли такая возможность у сайтов на ucoz.

Как давно сайт не может проиндексироваться?

Здравствуйте. Статья очень хорошая спасибо! Но у меня до сих пор есть вопрос на который не может ответить ни одна статья (нигде об этом не написано). Мой сайт на uCoz домен бесплатный и тематика ВАРЕЗ. Добавляю новости только уникальные, пишу сам, ошибки только в именах главных героев фильмов или игр, то есть поисковик не знает эти имена или фразы. Роботы яндекса часто пропускают некоторые новости, добавлю 10 уникальных фильмов и 2 пропустит! Просто пропускает и в выдаче нету. Бывает через несколько месяцев замечает эти страницы, а бывает нет. Также ждать его приходится от недели до 2 месяцев, чтобы просканировал новые новости. Конечно я изза этого добавляю их РЕДКО собственно вопрос: Если я буду каждый день добавлять по 1 и больше новых уникальных новостей исправиться ли эта проблема? На сайте стоит снизу 2 карты sitemap xml самого юкоза и собственно ручная карта, в ней есть ссылки на все страницы, которые нужно индексировать (только поставил её через 3 месяца создания сайта. А сейчас сайту уже 7 месяцев)

ошибки только в именах главных героев фильмов или игр, то есть поисковик не знает эти имена или фразы

Вы делаете эти ошибки специально? Лучше, чтобы все имена были правильные. Поисковые системы всё равно знают наибольшую часть имён и названий, и если название неправильно набрано в поиске, то ПС автоматически исправляет его. Если на сайте очень много неправильных названий и ошибок, то это может неблагоприятно повлиять на индексацию сайта.

Если я буду каждый день добавлять по 1 и больше новых уникальных новостей исправиться ли эта проблема?

Проблема не в этом. Поисковику просто нужно время для того, чтобы найти все страницы сайта. Причин того, что сайт не индексирует какие-либо страницы долгое время, может быть много. Трудно сказать, в чём проблема, когда не знаешь даже адреса сайта. Но, судя по Вашему сообщению, Ваш сайт нормально индексируется, только не так быстро, как Вы хотели бы. Рано или поздно все страницы Вашего сайта проиндексируются — нужно только подождать

Спасибо за понятное изложение информации!

Но вот хотел бы задать вам вопрос: что делать если поисковик частично индексирует сайт? Точнее почему то дальше 3 уровня в адресе не уходит почему то, хотя весь уникальный контент расположен именно на 3−4 ярусе...

что делать если поисковик частично индексирует сайт? Точнее почему то дальше 3 уровня в адресе не уходит почему то, хотя весь уникальный контент расположен именно на 3−4 ярусе...

Остаётся только одно — сделать всё, чтобы ускорить индексацию, используя те методы, которые представлены в данной статье, после чего ждать, когда страницы проиндексируются. Если в течение 1−2 месяцев страницы так и не попадут в индекс, то значит что-то не так — возможно, что-то препятствует индексации сайта. Проверьте в первую очередь файл robots.txt — очень часто именно неправильно настроенный файл robots.txt является препятствием индексации страниц сайт. Например, если страница 3-его уровня имеет название /indeksaciya-sajta/pochemu-sajt-ne-indeksiruetsya.html, а в файле robots.txt прописано Disallow: /indeksaciya-sajta, то данная страница вряд ли когда-либо проиндексируется.

Еще раз здравствуйте хотел бы спросить скрипт, который блокирует правую кнопку на странице, копирование и перетаскивание изображений вот он:

document.ondragstart = test;

//запрет на перетаскивание

document.onselectstart = test;

//запрет на выделение элементов страницы

document.oncontextmenu = test;

//запрет на выведение контекстного меню

function test() {

Только скрипт почему то не полностью вставился!

Не вставился, потому что при добавлении комментарий автоматически удаляются коды, где присутствуют команды, заключённые в скобки < >. Если бы код вставился, как он есть, то на данной странице, тогда бы заработал данный скрипт. Я подправил, как нужно.

Я его себе установил и закрыл ноу индексем, он не повредит сайт? Роботы будут с ним нормально индексировать страницу? Установил его, чтобы хоть быть на 80% уверенным, что не украдут уник обычные копипастеры, которые зарабатывают на файлообменнике.

Ноуиндексом этот код бесполезно закрывать, т.к. он размещается между тегами и .noindex лучше убрать. JavaScript легко можно отключить в браузере и скопировать контент не составит тогда особого труда. Единственный способ защитить контент — заверять его в нотариусе и отслеживать, чтобы его не воровали на других сайтах. Роботы должны нормально индексировать такие страницы.

Ваш сайт не был проиндексирован из-за запрета в файле robots.txt.?

подскажите что сделать??плиииззз

Объясните по порядку, что случилось???

Евгений, у вас значит сайт на uCoze, нужно в ПУ зайти в «платные услуги» и там купить за 3$ пакет платных услуг на месяц и файл Robots.txt разрешит индексацию страниц.

добрый день! сайт был выложен неделю назад. индексации нет. сайт зарегистрирован через веб-мастер на яндексе. но всё равно не индексируется. уточнение — домен был куплен год назад, могло ли это повлиять на данную ситуацию?

добрый день! сайт был выложен неделю назад. индексации нет. сайт зарегистрирован через веб-мастер на яндексе. но всё равно не индексируется. уточнение - домен был куплен год назад, могло ли это повлиять на данную ситуацию?

То, что домен был куплен когда-то давным-давно, никоим образом не должно влиять на индексацию сайта. Вот если у сайта в течение года и более была всего одна страница, и он был проиндексирован, то индексация может быть затянута, т.к. поисковые роботы в этом случае редко заходят на сайт, потому что знают — на сайте только одна страница и нет смысла заходить на него часто. Если же сайт не был до этого проиндексирован, то волноваться не о чем — через 2−3 недели, если Вы всё сделали правильно, сайт должен проиндексироваться. Прошла всего одна неделя — в большинстве случаев сайты индексируются в Яндексе не раньше, чем через 2 недели.

сайт ikanta.com

два месяца сайту и до сих пор не проиндексировал яндекс. не понятно по какой причине. отправил три письмо Платону. ответили только на последнее — пишут -извините, что мол долго не отвечали, спасибо за сигнал, мы обязательно разберемся, что же не так и почему нет индексации. и все:) шикарный ответ. индексация так и не произошла(

сайт ikanta.com

два месяца сайту и до сих пор не проиндексировал яндекс. не понятно по какой причине. отправил три письмо Платону. ответили только на последнее - пишут -извините, что мол долго не отвечали, спасибо за сигнал, мы обязательно разберемся, что же не так и почему нет индексации. и все:) шикарный ответ. индексация так и не произошла(

Через 1−2 недели Яндекс Вам ответит, почему сайт не индексируется. То письмо, которое Вы получили, присылается всем, кто отправил письмо Платону — оно автоматическое.

Ваш сайт состоит из одних пустых страничек. Такие сайты Яндекс не любит. Я бы на Вашем сайте сделал бы хотя бы 10 информационных страничек. Ещё дал бы ответы на вопросы, чтобы страницы не состояли из одних вопросов без ответов. В таком случае у Вашего сайта будет больше шансов проиндексироваться.

Через 1−2 недели Яндекс Вам ответит, почему сайт не индексируется. То письмо, которое Вы получили, присылается всем, кто отправил письмо Платону - оно автоматическое.

Спасибо за ответ. Простите, а что Вы имеете ввиду — сайт состоит из пустых страничек? На сайте в данный момент 260 вопросов и 160 ответов. Разве 160 ответов — это не информационные странички? Если нет, тогда что вы имеете ввиду. Спасибо за ответ

Спасибо за ответ. Простите, а что Вы имеете ввиду - сайт состоит из пустых страничек? На сайте в данный момент 260 вопросов и 160 ответов. Разве 160 ответов - это не информационные странички? Если нет, тогда что вы имеете ввиду. Спасибо за ответ

Я имел в виду странички, где есть только вопросы. Получается, что на Вашем сайте из 260-ти — 100 страниц пустых. Я думал у Вас меньше ответов. Тогда получает, что на Вашем сайте 160 страниц по 200−700 символов и 100 пустых страниц без ответов. В принципе 160 ответов — это нормальное количество для индексации, пусть, даже если они имеют короткие ответы. Но хотя бы 7−10 страниц по 2000—3000 символов желательно иметь на сайте. Причём эти страницы не должны быть, где то в архиве ответов, а нужно сделать статичные странички, ссылки на которые нужно поставить где-нибудь в меню, чтобы это были страницы 2-ого уровня. Страницы 2-ого уровня — это те, на которые ссылаются с главной страницы. Страницы 3-ого уровня — это те, на которые ссылаются со страниц 2-ого уровня. Это, чтобы было понятно, о чём я говорю. Какие можно сделать странички? Ну, например:

Какими вопросами люди чаще всего задаются?

Как правильно задать вопрос?

Что делать, если не можешь найти ответа на вопрос?

Самые интересные вопросы и ответы на них

Часто задаваемые вопросы маленьких детей

На какие вопросы до сих пор нет ответов

Даже семи таких страничек будет достаточно.

Это я так, что первое пришло в голову, накидал для примера.

Вот эти пункты меню можно в правую колонку запихнуть или левую колонку создать. В разделе «Статьи» также можно добавлять разные интересные статьи обо всём на свете. В общем, задача такая — сделать так, чтобы на сайте помимо страничек с коротким текстом, были информационные страницы по 2000—3000 символов. Необязательно, чтобы их было много, но минимальное количество таких страниц должно быть. Это хорошо с точки зрения оптимизации сайта. Ну и в принципе такие странички не помешают.

Вот эти пункты меню можно в правую колонку запихнуть или левую колонку создать. В разделе «Статьи» также можно добавлять разные интересные статьи обо всём на свете. В общем, задача такая - сделать так, чтобы на сайте помимо страничек с коротким текстом, были информационные страницы по 2000-3000 символов. Необязательно, чтобы их было много, но минимальное количество таких страниц должно быть. Это хорошо с точки зрения оптимизации сайта. Ну и в принципе такие странички не помешают.

Спасибо огромное за помощь! Фронт работы наметил, приступаю к работе. Если интересно, по результатам смогу отписаться здесь — что вышло после проделанной работы.

Спасибо огромное за помощь! Фронт работы наметил, приступаю к работе. Если интересно, по результатам смогу отписаться здесь - что вышло после проделанной работы.

Буду рад, если Вы расскажете о результатах своей работы в данном посте. Буду ждать от Вас вестей о Вашем сайте.)

У Вас также на сайте я заметил, что адреса страниц состоят из русских символов — кириллицы, например: ikanta.com/453/олимпийские-игры-откуда-пошло. Это тоже нежелательно. Лучше всем страницам давать название латинскими буквами, т.е. так: ikanta.com/453/olimpiiskie-igri-otkud-poshlo.

Из-за того, что у Вашего сайта названия страниц состоят из кириллицы. Это также затрудняет индексацию страниц.

Если Платон ответит, что их алгоритмы решили не принимать Ваш сайт в поиск, то сначала модернизируйте сайт, а потом пишите Платону снова. Скажите, что Вы выявили все ошибки сайта, и теперь он соответствует требованиям поисковой системы Яндекс. Если опять Ваш сайт не пройдёт модерацию, то исправляете ещё ошибки и снова пишите Платону. И так до тех пор, пока Ваш сайт не попадёт в индекс.

Добрый день!

Проблема в том, что раньше он индексировался нормально в яндексе. Со сменой домена старый сайт был удален из вебмастера, новый добавлен. Прошел месяц, но «Загруженные страницы» так и показывает «1».

В гугле, как я понимаю, сайт проиндексировался. А вот в яндексе, видимо, не хочет...

Можете подсказать, в чем дело? Заранее спасибо!

• Добрый день!

  Впервые занялась наполнением собственного сайта, до этого работала копирайтером, то есть писала для других. Сначала сайт располагался на домене 3 ур, а месяц назад его перенесли на нормальный домен. Адрес сайта cool2.ru

Пока поисковая система не проиндексирует страницу сайта , та не будет участвовать в её результатах выдачи. Узнать о сайте поисковик может двумя способами:

На данном блоге я столкнулась с такой ситуацией, что без проблем Яндекс проиндексировал только Главную страницу, а вот внутренние не участвовали в поиске. У Google похожего невнимания не наблюдалось. Там практически молниеносно можно было заметить свою статью в выдаче.

Обновление базы данных - апдейт (ап) выдачи - происходит в среднем раз в неделю. Если все вышеуказанные действия не помогли, чего у меня ни разу не было, то следует написать в службу поддержки письмо , где рассказать что было сделано, немного о сайте, о том, что он регулярно наполняется, что людям он интересен, дать пару ссылок на самые лучшие статьи в качестве примера. Если ресурс имеет низкую посещаемость по причине узкотематичности, нужно проговорить это. Например, сказать, что проект не планирует большую посещаемость, так как создан для общества лепидоптерологов, которые изучают бабочек семейства чешуекрылых. Если сайт коммерческий, то сообщите, что за ним стоит реальная организация.

Если есть проблемы с индексацией — в первую очередь надо проверить robots.txt и sitemap.xml.

Любая поисковая система имеет объемную базу данных, куда вносит все сайты и новые страницы. Эта база называется «индекс». Пока робот не обойдет html-документ, не проанализирует его и не внесет в индекс, он не появится в поисковой выдаче. Попасть на него можно будет только по ссылке.

Лучше, чем спец Яндекса по индексации, вам об этом не расскажет никто:

Индексация — это процесс, в ходе которого страницы сайта обходит поисковый робот и включает (либо же не включает) эти страницы в индекс поисковой системы. Поисковый бот сканирует весь контент, проводит семантический анализ текстового содержимого, качество ссылок, аудио- и видеофайлов. На основе всего этого поисковик делает выводы и вносит сайт в ранжирование.

Пока сайт вне индекса, о нем никто не узнает, кроме тех, кому вы можете раздать прямые ссылки. То есть ресурс доступен для просмотра, но в поисковой системе его нет.

Сайт должен попасть в видимость, чтобы продвигаться, расти и развиваться. Веб-ресурс, который не появляется ни в одной ПС, бесполезен и не несет пользы ни пользователям, ни его владельцу.

Вообще, вот полное видео со школы вебмастеров Яндекса, если посмотрите его полностью — станете практически спецом в вопросе индексации:

Основные пункты, от которых зависит, насколько быстро ваш сайт может попасть в область внимания поисковых роботов:

• Возраст домена (чем старше доменное имя, тем более к нему благосклонны боты).
• Хостинг (ПС совершенно не любят и часто игнорируют бесплатные хостинги).
• CMS, чистота и валидность кода.
• Скорость обновления страниц.

У каждого сайта есть краулинговый бюджет — то есть количество страниц, больше которого в индекс попасть не может. Если КБ сайта — 1000 страниц, то даже если у вас их десять тысяч, в индексе будет лишь тысяча. Размер этого бюджета зависит от того, насколько ваш сайт авторитетный и полезный. И если у вас проблема такого характера, что страницы не попадают в индекс, то как вариант, вам нужно, как бы это банально ни звучало, улучшать сайт!

Создавая новый сайт, нужно правильно заполнить файл robots.txt, который указывает поисковикам, можно ли индексировать ресурс, какие страницы просканировать, а какие не трогать.

Файл создается в формате txt и помещается в корневой папке сайта. Правильный роботс — это отдельная тема. От этого файла в первую очередь зависит, что и как будут анализировать боты на вашем сайте.

Обычно, на оценку нового сайта и внесение его в базу данных поисковикам требуется от пары недель до пары месяцев.

Пауки тщательно сканируют каждый разрешенный html-документ, определяя соответствующую тематику для нового молодого ресурса. Осуществляется это действие не за один день. При каждом новом обходе ПС будут вносить все большее и большее число html-документов в свою базу. Причем время от времени контент будет подвергаться переоценке, вследствие которой могут меняться места страниц в поисковой выдаче.

Также управлять индексацией помогают мета-тег robots и отчасти canonical. При проверке структуры и решении проблем с индексацией надо всегда смотреть на их наличие.

Google сначала индексирует страницы верхнего уровня. Когда следует проиндексировать новый сайт с определенной структурой, первой в индекс попадает главная страница. После этого, не зная структуры сайта, поисковик будет индексировать то, что находится ближе к слешу. Позже индексируются каталоги с двумя слешами. Это значит, что, даже если ссылки в контенте расположены высоко, они не обязательно будут проиндексированы первыми. Важно оптимально составить структуру, чтобы важные разделы не находились за большим количеством слешей, иначе Google решит, что это страница низкого уровня.

Когда Яндекс и Гугл уже познакомились с сайтом и «приняли» его в свою поисковую базу, боты будут возвращаться на ресурс, чтобы сканировать новые, добавляющиеся материалы. Чем чаще и регулярнее будет обновляться контент, тем более пристально будут следить за этим пауки.

Говорят, что для индексации помогает плагин ПДС пингер для поиска Яндекса — https://site.yandex.ru/cms-plugins/ . Для этого нужно сначала установить поиск Яндекса на свой сайт. Но я особой пользы от него не ощутил.

Когда ресурс хорошо проиндексировался, выводить в поиск отдельные, новые страницы уже гораздо проще. Но тем не менее далеко не всегда анализ происходит равномерно и с одинаковой скоростью для всех, одновременно обновленных html-документов. Всегда выигрывают наиболее посещаемые и раскрученные категории ресурса.

Когда-то давно я привлекал быстроробота на конкурента, не продлившего домен, чтобы его понизили в выдаче – это не дало никакого результата.

Проверка видимости документов html осуществляется по-разному для Google и Яндекс. Но в целом не представляет собой ничего сложного. Сделать это сможет даже новичок.

Система предлагает три основных оператора, позволяющих проверить, сколько html-документов находится в индексе.

Оператор «site:» – показывает абсолютно все страницы ресурса, которые уже попали в базу данных.

Вводится в строку поиска следующим образом: site:сайт

Оператор «host:» – позволяет увидеть проиндексированные страницы с доменов и поддоменов в рамках хостинга.

Вводится в строку поиска следующим образом: host:сайт

Оператор «url:» – показывает конкретную запрашиваемую страницу.

Вводится в строку поиска следующим образом: url:сайт/obo-mne

Проверка индексации этими командами всегда дает точные результаты и является самым простым способом анализа видимости ресурса.

ПС Гугл позволяет проверить видимость сайта только по одной команде вида site:сайт.

Но у Google есть одна особенность: он по-разному обрабатывает команду с введенными www и без. Яндекс же такого различия не делает и дает абсолютно одинаковые результаты, что с прописанными www, что без них.

Проверка операторами — это самый «дедовский» способ, но я для этих целей пользуюсь плагином для браузера RDS Bar.

В сервисах Google Webmaster и Yandex Webmaster также можно посмотреть, сколько страниц находится в базе данных ПС. Для этого нужно быть зарегистрированным в этих системах и внести в них свой сайт. Попасть в них можно по ссылкам:

Суть такая — просто вбиваете адреса страниц, и сервис вам выдаёт результаты:

Проверяет не очень быстро — там надо будет подождать минуты 3, но к бесплатному инструменту и претензий немного. Просто в фоновом окне ставьте и занимайтесь своими делами, через несколько минут результаты будут готовы.

Повлиять на скорость загрузки html-документов поисковыми роботами можно. Для этого следует придерживаться следующих рекомендаций:

• Повышать количество соцсигналов, побуждая пользователей делиться линками в своих профилях. А можно брать твиты с живых аккаунтов в Prospero (klout 50+). Если составите свой вайт-лист твиттеров, считайте, что получили мощное оружие для ускорения индексации;
• Почаще добавлять новые материалы;
• Можно по самым дешевым запросам в своей тематике директ начать крутить;
• Вносить адрес новой страницы в аддурилки сразу же после ее публикации.

Высокие поведенческие факторы на сайте также положительно влияют на скорость обновления страниц в поиске. Поэтому не стоит забывать о качестве и полезности контента для людей. Сайт, который очень нравится пользователям, обязательно понравится и поисковым роботам.

В Google вообще все очень легко — добавить страницу в индекс в течение нескольких минут можно сканированием в панели для веб-мастеров (пункт сканирование/посмотреть как Googlebot/добавить в индекс). Таким же образом можно быстро переиндексировать необходимые страницы.

Я слышал еще истории о чуваках, которые отсылали урлы почтой Яндекса, чтобы они быстрее попали в индекс. На мой взгляд, это бред.

Если проблема прям есть, и все предыдущие советы не помогли, остается переходить к тяжелой артиллерии.

• Настраиваем заголовки Last-modified (чтобы робот проверял на обновление только документы, которые действительно изменились с последнего его захода);
• Удаляем мусор из индекса поисковых систем (этот мусор можно найти с помощью Comparser);
• Скрываем от робота все ненужные/мусорные документы;
• Делаем дополнительные файлы Sitemap.xml. Обычно роботы читают до 50 000 страниц из этого файла, если у вас страниц больше — надо делать больше сайтмапов;
• Настраиваем работу сервера.

Всем привет друзья!
Многие сеошники на различных форумах часто спрашивают, почему Яндекс не индексирует сайт. В данной статье я постараюсь подробно ответить на этот вопрос и напишу возможные причины, почему все-таки Яндексу так сильно не понравился ваш ресурс, что он не хочет его индексировать:smile:.

Итак, давайте перейдем сразу к делу.

1. Сайт очень молодой.
Если вы недавно и начали писать статьи, то можете не переживать, все с вашим проектом нормально. Яндекс очень долго индексирует молодые ресурсы, иногда приходиться ждать несколько месяцем, да-да, и такое бывает.

Если ваш сайт очень молодой, то вполне возможно, что Яндекс его еще не нашел в интернете. Но вы можете помочь ему это сделать. Сейчас есть очень много способов, которые позволяют ускорить индексацию блога. О них вы можете прочитать . Если проделаете все то, что там написано, то через неделю ваш сайт точно проиндексируется в Яндексе, а возможно и быстрее.

2. Санкции от поисковых систем.
Если сайт уже не молодой, и он был в индексе, но потом внезапно вылетел, то, скорее всего, Яндексу что-то не понравилось, и он наложил на него санкции. Этих санкций есть очень много, но самая популярная, это фильтр АГС. Некоторые спрашивают: «Почему Яндекс не индексирует сайт кроме главной страницы ?». Если в индексе только главная страница, то, скорее всего, сайт находиться под АГС. О том, как проверить блог на АГС и как вывести его оттуда, я писал .

Кроме АГС сайт также мог попасть в Бан — это когда с индекса вылетают все страницы.

3. Случайный запрет индексации.
Многие новички по ошибке могут запретить индексировать сайт. Для примера в файле robots.txt за запрет индексации отвечает такая сточка:

User-agent: *
Disallow: /

Если вы хотите, чтобы ваш ресурс нормально индексировался в поисковых системах, то этой строчки не должно быть в robots.txt.

Кроме этого есть и другие способы, с помощью которых можно случайно . Если у вас ресурс сделан на движке wordpress, то перейдите в «Панель управление» - «Настройки» - «Чтение» и проверьте, чтобы возле надписи «Рекомендовать поисковым машинам не индексировать сайт» не было чекбокса.

4. Ошибка сервера.
Иногда может быть такое, что поисковый робот заходит на сайт, а ему выдается 505 ошибка. Конечно он сразу же покинет этот сайт, и думаю, еще не скоро на него вернется:smile:.

Если вы заходите на свой блог и часто видите 505 ошибку, то это очень плохо, советую сменить хостинг. Есть также и много других ошибок (500, 302) и т. д. Но думаю, вам не стоит забывать этим голову. Просто, проверьте, ответ сервера, он должен быть 200 ок . Проверить можно на этой странице :

5. Плохая история домена.
Если вы зарегистрировали новый домен и не проверили его историю, то это очень плохо. Может быть такое, что на этом домене был когда-то давно гавносайт и поисковые системы его забанили. Даже если вы теперь создали другой белый и пушистый ресурс, поисковики знаю историю, и поэтому могут его не индексировать. Я недавно писал статью о том, . Можете воспользоваться этой инструкцией.

6. Неуникальный контент.
Если на молодой сайт начать опубликовывать неуникальные статьи, то это очень плохо, поисковые системы могут перестать его индексировать или индексировать хуже.

Некоторые вебмастера считаю, что ничего страшного не произойдет, если статьи на других сайтах, главное чтобы посетителям нравилось. Но я думаю, что это так считаю только те люди, которым лень писать. Ведь, так намного проще, нашел, скопировал, вставил:smile:. За день можно опубликовать 100 статей, а через несколько лет уже будет целая википедия.

В общем, не слушайте никого, кто говорит, что можно копировать чужие статьи. Если вы хотите до большой посещаемости и зарабатывать потом на сайте деньги, то нужно писать статьи самостоятельно или заказывать у , но обязательно .