Часто у вебмастеров возникают вопросы, почему страницы на которые нет ссылок внутри сайта попадают в индекс поисковых систем. У меня большой опыт в этом, поэтому расскажу подробней.

Не так давно в рунете прогремели скандалы с утечкой смс пользователей Мегафона и деанонимизации персональных данных покупателей сексшопа. В обоих случаях страницы были доступны в сети по прямой ссылки, но эта ссылка не была нигде указана в открытом доступе. Так как же поисковики получают информацию об этом?

Все очень просто.

Чтобы собирать данные у Google есть браузер Chrome (которым серфят 30% пользователей мира, пруф) и разнообразные бары начиная от Google Bar’а, заканчивая всеми барами которым определяют Page Rank страницы или ее индексацию. У Яндекса соответственно есть свой браузер Яндекс.Интернет (надо сказать не такой уж малопопулярный — 1,3% рунета, пруф), а также Яндекс.Бар (довольно популярный) + все бары которые определяют индексацию страницы.

Также у обоих поисковиков есть системы статистики Google Analytics и Яндекс.Метрика, которые конечно же передают данные выше.

Если взглянуть правде в глаза, то практически невозможно создать страницу на сайте так, чтобы поисковик про нее не узнал.

Фактически единственная цель разработки браузеров, систем статистики и баров для поисковиков — это получение данных о поведении пользователей и посещенных страницах, чтобы эту информацию использовать для улучшения качества поиска. Ну правда браузеры еще и позволяют привязать к собственному поиску.

Кто сомневается — задумайтесь, почему такие сложные и дорогие в разработке и поддержке продукты как Google Analytics и Яндекс.Метрика является бесплатными? Только потому что поисковики собирают с них данные. Это даже прописано в лицензионных соглашениях, с которыми все соглашаются перед началом использования, но никто не читает )

Хорошо это или плохо? Определенно хорошо, это помогает избавляться от поискового спама (на основании поведенческих факторов) и лучше индексировать интернет. С другой стороны конфиденциальную информацию нужно всегда запароливать и то, что поисковики проиндексировали какую-то конфиденциальную, но дефакто расположенную в открытом доступе информацию — это не проблема поисковика, это фейл программистов и проектировщиков.

Рассмотрим к примеру эту статью http://www.the-village.ru/village/city/infrastructure/112681-lektsiya-enrike-penyalosa.

Первая крутая вещь — вкрапления в абзацы похожих по смыслу этому абзацу статей:

Второй хороший момент — блок «Интересные посты» под статьей:

Визуально у такого блока кликабельность будет намного выше, чем у простого списка с названиями стратей, потому что присутствуют иллюстрации (самый важный момент), оформлено таблицой, структура: картинга + раздел + заголовок + инфа, а в инфе автор, дата и активность. Отличное решение.

Ну и в целом сайт the-village.ru оформлен очень красиво и читать его одно удовольствие.

Посмотрел видео с Круглого стола Яндекс и SEO. Моменты которые показались мне интересными:

Яндекс и вебмастера — единая экосистема

Персонализация поиска — по запросам которые пользователь задавал до этого и кликам по этим результатам. Персонализированная выдача больше нравится пользователям.

медленные тренды персонализации:
если человек не знает английский, то нет смысла ему показывать документы на английском
если нет ворда на компе — нет смысла показывать .док документы

для видео — приоритет имеет более скоросной и качесветнный контент, даже если он не лицензионный (Яндекс не определяет лицензионность)

персонализация — подмешивание

правила яндекса продиктованы здравым смыслом

«параметрический поиск»

ежедневные обновления — два слоя: свежие документы (чтобы пользователи находили инфу сразу), второй слой — задержка на 7 дней, связана с регламентными работами

страницы с плохими статическими факторами, не попадают в индексе, если их не покажут по запросу даже на 100-1000 месте (т.е. трафик с сайта не уменьшится)

Яндекс уже поддерживает AJAX

Яндексом в сайтмапсе учитывается приоритетность страниц

главные параметры ссылок:
насколько ссылка была поставленна естественно
насколько ссылка полезна для поиска

пример неестественной, но полезной для поиска ссылка — «продвижение сайта сделано фирмой …»

есть примеры сайтов, которые в топе конкурентной тематики без промышленных ссылок:
роснано — автострахование
магнитики на холодильник — азон.оу

ссылки это сигнал. если они начинают генериться в промышленном масштабе, то это уже шум (когда обо одном и том же говорят одними словами — это шум)

чем больше ссылок в тематике — тем меньше их влияние

естественная ссылка — определяется почему она поставленна (по любви, а не по расчету)

любые массовые способы классифицируются как неестественные

нет топов которые формируются вручную

ассесоры маркируют документ 3 оценками:
1) пользователь навлятле закажет там что-то
2) средний
3) помогает пользователю, решают потребность пользователя

важно релевантна ли страница запросу

микроразметка влияет на вероятность индексации

чтобы получить санкции — нужно чтобы яндекс доказал что это сделал сам автор сайта (за внешние ссылки)

в саппорт яндекса приходит 20-30к тикетов в месяц

шутка от Садовского: выводы сделаныые на основании неполной выборки, дельфины толкают людей к берегу, но вы просто не слышали показания людей которых дельфины толкали от берега

еще одна шутка: «если очень долго сидеть в бане, то можно потерять вес»

у каждого ассесора есть параментр — точность оценки

асесоры просто дают обучающую выборку, на основании которых будут работать алгоритмы. но оценки асессоров не применяются напрямую.

одна из оценок асессора — витальный сайт

асесору показывают запрос + документ. он оценивает насколько документ соотвествует этому запросу.

большенство сайтов не имеют асессорской оценке овообще.

она используется только для обучения алгоритма, для выявления закономерностей. смысл обучения — найти документы которые похожи на документы которые хорошо оценили ассесоры

даже если ассесор оценил сайт, то напрямую он в выдаче сразу не повышается

если ассесор ошибся в оценке, то это не сильно повлияет на ранжирование этого сайта, это может чуть-чуть повлияеть на ранжирвоание большого кол-ва похожих сайтов. но вы не почувсвтуете конкретного влияния

яндекс учитывает 500 сигналов

если вам накручивуют поведенческие — нужно писать в саппорт

можно и нужно естественно накручивать — рекламные акции и т.д.

планируется хранить историю ссылочной массы в Я.В
планируется добавить ко многим трендам историю

социальный поиск:

тематики активные в соцсетях — политика, айти (из-за проникновения аудитории), развлечения, иногда спорт

плохо представлены в соцсетях коммерческие тематики
если я покупаю кофемолку, то в отзывах на Я.маркете я найду больше инфы, чем в соц сетях

ЖЖ — 30% всех публикаций = спам, яндекс это фильтрует в соц поиске
мы можем фильтровать авторов по авторитетности людей которые дружат с ним

социальные факторы которые влияют на выдачу:
соц сети влияют на все поисковики (как пример ссылка из ЖЖ которая индексировалась еще 5 лет назад)
недавно запущена вертикаль обсуждения в твиттере (но есть ограничение по тематикам)

сниппеты из ЯКа не влияют на трафик — по статистике траф не уменьшается после замены сниппета на ЯКовский

Яндекс не заинтересован в том чтобы зажимать трафик для сайтов
снипеты и выдача это продукт который поставляет Яндекс, по этому они хотят отвечать за его качество

Яндекс будет ориентироваться на schema.org

задача поисковика — понять как можно больше про пользователей и про сайты — и свести их вместе

будущие тренды Яндекса:

1) узнавать про реальный мир (оффлайн)

2) узнавать больше про запросы пользователя

Я для себя выбрал курс Building a Search Engine на платформе udacity, но в целом там много курсов начиная от анатомии, заканчивая искусственным интеллектом.

http://youtu.be/BQHMLD9bwq4

Почему я решил взяться за это обучение:

• попробовать на себе как происходит обучение в американском универе высокого уровня
• подтянуть свой английский
• мне это будет полезно для понимания как работают поисковые системы изнутри
• разминка для мозгов
• этот класс в ролике выше посоветовал сам Сергей Брин ( co-founder, Google)

Обучение проходит по схеме: короткий блок теории на видео (до 10 минут) + quiz для закрепления темы (это может быть как тест или вопрос, так и написание кода) + видео с решением quiz’a.

99% времени на видео мы видим только доску, на которой профессор рисует и попутно рассказывает. Вот пример:

В целом сам доход к обучению и качество мне очень нравится, по сравнению с университетом в котором я учился — это небо и земля.

Сейчас я заканчиваю 3 unit. Если кто-то захочет присоединиться — пишите в скайп, будем общаться по теме.

Я взял его потому что он занимает первое место в рейтинге seorate.ru в рубрике Доставка цветов.

В целом этот сайт — хороший пример как фишек, которые хороши как для пользователей, так и для поисковиков.

Возьмем для примера станицу Букет «Визит» и увидим там кроме описания и картинки еще и следующие блоки перелинковки:

1) Товар который пригодиться к букету — вазы (важно что для каждого букета предлагаются соответствующие по размеру вазы):

2) Похожие товары (хитрая фильтрация как я понял по цене + цветам которые содержит букет):

3) Ну и товары из той же рубрики со скроллингом:

В целом очень простые блоки, но на этом сайте они сделаны очень качественно.

В целом для рунета существует только два общих каталога куда нужно стремиться попасть — dmoz и яндекс каталог. В ЯК берут только за деньги, в DMOZ попадают только бесплатно и хорошие по мнению редакторов сайты.

Жаль только что мою фамилию непросклоняли (если кто-то из редакторов прочитает — поправьте вместо «Бурак» -> «Бурака»), но все равно новость приятная :)

Update: фамилию исправили, спасибо редактору.

Я взял 26 страниц тегов на которые нашел intext ссылки в последних статьях на сайте, вот список:

• http://rus.delfi.lv/temi/aleksandr-gaponenko
• http://rus.delfi.lv/temi/aleksandr-veshnyakov
• http://rus.delfi.lv/temi/andrej-klementev
• http://rus.delfi.lv/temi/arnis-cimdars-0
• http://rus.delfi.lv/temi/edgar-rinkevich
• http://rus.delfi.lv/temi/edmund-sprudzhs
• http://rus.delfi.lv/temi/espch
• http://rus.delfi.lv/temi/evgenij-osipov
• http://rus.delfi.lv/temi/gajdis-berzinsh
• http://rus.delfi.lv/temi/gunar-kutris
• http://rus.delfi.lv/temi/ilze-vinkele-1
• http://rus.delfi.lv/temi/inara-murniece-0
• http://rus.delfi.lv/temi/nil-ushakov
• http://rus.delfi.lv/temi/peteris-apinis-0
• http://rus.delfi.lv/temi/prezident-andris-berzinsh
• http://rus.delfi.lv/temi/rajvis-dzintars
• http://rus.delfi.lv/temi/robert-kilis
• http://rus.delfi.lv/temi/sarmite-elerte-0
• http://rus.delfi.lv/temi/stanislav-shkesters
• http://rus.delfi.lv/temi/valdis-dombrovskis-0
• http://rus.delfi.lv/temi/valeriya-novodvorskaya
• http://rus.delfi.lv/temi/vladimir-linderman
• http://rus.delfi.lv/temi/yanis-rejniks
• http://rus.delfi.lv/temi/yuris-rozenvalds
• http://rus.delfi.lv/temi/yuris-yansons
• http://rus.delfi.lv/temi/zbignev-stankevich

Я не мог брать просто рандомные теги из списка тегов, потому что судя по всему такой вид перелинковки на делфи введен недавно и не во всех статьях помеченных каким-то тегом есть ссылка на страницу этого тега в статье. Т.е. я взял те теги, на которые точно есть как минимум одна ссылка.

Дальше я спарсил тайтлы этих 27 страниц и отбросив постфикс «- DELFI» получил список ключевых слов. Для страницы http://rus.delfi.lv/temi/prezident-andris-berzinsh я так же отпросил префикс «президент», чтобы ключевик не был совсем НЧ.

Ну и дальше я снял позиции по всем 27 ключевикам в 4 поисковых системах — Google.ru, Yandex.ru (регион Москва), Google.lv hl=ru и Google.lv hl=lv. Вот какой результат получился (голубым подсвечена позиция сайта по которой страница в выдаче отличается от страницы тега):

Детальный анализ.

Google.ru:

• в топ3 = 3
• в топ10 = 17
• в топ10, но другая страница = 4
• средняя позиция в топ10 = 5,1

Yandex.ru (регион Москва):

• в топ3 = 11
• в топ10 = 18
• в топ10, но другая страница = 1
• средняя позиция в топ10 = 3,7

Google.lv hl=ru:

• в топ3 = 10
• в топ10 = 23
• в топ10, но другая страница = 7
• средняя позиция в топ10 = 4,2

Google.lv hl=lv:

• в топ3 = 13
• в топ10 = 19
• в топ10, но другая страница = 2
• средняя позиция в топ10 = 2,8

Выводы.

Хорошие результаты в Google.lv hl=lv и в Яндексе. Приличные в Google.lv hl=ru и в Google.ru.

И главный вывод в том, что такая перелинковка хорошо работает в Яндексе.

Сайт rbc.ru использует похожую перелинковку как на делфи и как на ленте:

Скрин с этой новости - http://top.rbc.ru/story/619682.shtml, ссылка по фразе «Виктора Януковича» ведет на страницу - http://www.rbc.ru/persons/yanukovich.shtml (профайл с биографией).

Хочу отметить, что ссылки тут оформлены не так агресивно как на ленте, и не так незаметно как на делфи. Мне кажется что это как раз золотая середина. Хотя нужно отметить что тут ссылки ведут на профайлы, а на делфи на страницы тегов. Так что возможно для тегов лучше вариант делфи.

Что интересно, не на всех новостях ключевое слово «Виктор Янукович» становится ссылкой, вот пример - http://top.rbc.ru/politics/18/02/2012/638381.shtml, а иногда ключевик с тексте становится ссылкой дважды - http://top.rbc.ru/incidents/07/01/2012/632688.shtml. Но это скорей всего human factor ошибка, из чего можно сделать вывод, что делают они такую перелинковку вручную.

По ключевому слову «Виктор Янукович» сайт rbc.ru на 6 месте в Яндексе и на 9 в Google.ru.

К примеру:

(скрин со страницы - http://lenta.ru/news/2012/02/23/minister/, ссылка «Виктор Янукович» ведет на страницу http://lenta.ru/lib/14159876/).

В целом система похожа на то, как делают delfi.lv, только там ссылки выделены более умеренно (без подчеркивания и цветом близком к тексту, в том время как тут ссылка сильно бросается в глаза) и ведут на профильную страницу, а не на страницу тегов. Лично мне кажется вариант форматирования таких ссылок на делфи более элегантным.

Кстати, по ключевым словам «Виктор Янукович» лента на 8 месте в Яндексе и на втором Google.ru (после википедии).

В дополнение хочу сказать, что из открытой статистики видно, что лента.ру получает 150к трафика в день с поисковых систем (75к google, 50к яндекс). Это чуть меньше 20% всего трафика сайта. Учитывая что они третий по посещаемости новостной сайт рунета, а значит очень многие заходят по прямой ссылке и из закладок, это очень хорошая цифра.