JavaScript и SEO: разница между сканированием и индексированием

1. Три поисковых процесса
2. Googlebot или кофеин?
3. Сканирование, индексирование и рейтинг
4. JavaScript = неэффективность
5. Хорошее SEO - Эффективность

Поскольку сеть продолжает развиваться, растет спрос на сайты, которые становятся все более продвинутыми и интерактивными. В результате многие разработчики предпочитают создавать веб-сайты с использованием таких фреймворков, как React и Angular. Это порождает вопрос о том, как оптимизировать такие сайты для SEO. По сути, вопрос, который задают разработчики и оптимизаторы, - могут ли поисковые системы, такие как Google, сканировать JavaScript?

И это неправильный вопрос .

Чтобы уточнить, если вы используете JavaScript-фреймворки с рендерингом на стороне сервера, вы уже решили проблему еще до ее возникновения. Эта статья посвящена реализациям инфраструктуры JavaScript, которые предоставляют код JS пользователям и роботу Google, полагаясь на визуализацию на стороне клиента. И это вызывает все виды проблем.

Прежде чем я смогу объяснить почему, важно, чтобы у нас было общее представление о том, как на самом деле работают поисковые системы. Я написал о моем Три столпа SEO подход, который основан на упрощенной модели поисковых систем, таких как Google. Я суммирую основные моменты здесь:

Три поисковых процесса

Короче говоря, большинство информационно-поисковых систем имеют три основных процесса:

1. Гусеничный трактор
2. Индексатор
3. Query Engine

Когда речь идет о JavaScript и SEO, мы хотим сосредоточиться на первых двух процессах. В Google сканер известен как Googlebot , а его инфраструктура индексирования называется Caffeine . Они выполняют совершенно разные функции, и важно, чтобы мы понимали их, чтобы избежать путаницы.

Сканер - это все о поиске. В сущности, его цель проста: найти все URL-адреса и сканировать их. На самом деле это довольно сложная система, с подпроцессами, связанными с (не говоря уже о нескольких) начальными наборами, очередями и расписаниями сканирования, важностью URL-адресов и временем отклика сервера.

У сканера также есть модуль синтаксического анализа, который просматривает исходный код HTML того, что сканируется, и извлекает все найденные ссылки. Синтаксический анализатор не отображает страницы, он просто анализирует исходный код и извлекает любые URL-адреса, найденные в <a href=veloper……> фрагментах.

Когда сканер видит новые или измененные URL-адреса с момента последнего посещения, он отправляет их индексатору. Затем индексатор пытается разобраться в URL, анализируя его содержание и релевантность. Здесь у нас также есть много подпроцессов, рассматривающих такие вещи, как макет страницы, канонизация и оценка графа ссылок, чтобы определить PageRank URL-адреса (потому что, да, Google все еще использует этот показатель для определения важности URL-адреса).

Индексатор также выполняет рендеринг веб-страниц и выполнение JavaScript. Фактически, Google недавно опубликовал на своем сайте разработчиков набор документов, в которых объясняется, как работает их служба веб-рендеринга (WRS): https://developers.google.com/search/docs/guides/rendering

Это WRS внутри индексатора, который выполняет JavaScript. Функция Fetch & Render в консоли поиска позволяет вам точно увидеть, как Google WRS видит вашу страницу.

Сканер и индексатор работают близко друг к другу; сканер отправляет найденные данные индексатору, а индексатор передает новые URL-адреса (обнаруженные, например, с помощью JavaScript) сканеру. Индексатор также помогает определять приоритеты URL-адресов для сканера, уделяя больше внимания URL-адресам с высоким значением, которые индексатор хочет, чтобы сканер регулярно посещал их.

Googlebot или кофеин?

Путаница начинается тогда, когда люди - будь то SEO, разработчики или даже сами пользователи Google - говорят «робот Google» (сканер), но на самом деле означают «кофеин» (индексатор). Эта путаница вполне понятна, потому что номенклатура используется взаимозаменяемо даже в собственной документации Google:

Когда эти документы WRS были опубликованы, мне пришлось задать этот вопрос Гари Иллиесу, потому что использование «Googlebot» там смутило меня. Сканер ничего не отображает - у него есть базовый анализатор для извлечения URL-адресов из исходного кода, но он не выполняет JavaScript. Индексатор делает это, поэтому WRS является частью инфраструктуры Caffeine. Правильно?

Правильно. Но противоречивый текст в документации WRS остаётся, поэтому SEO вполне может смешивать два процесса и называть их «роботом Google». Это происходит постоянно даже самыми опытными и знающими SEO-специалистами в отрасли.

И это проблема.

Сканирование, индексирование и рейтинг

Когда разработчики и оптимизаторы задают вопрос, может ли робот Google сканировать JavaScript, мы склонны думать, что ответ «да». Потому что Google на самом деле отображает JavaScript, извлекает из него ссылки и ранжирует эти страницы. Так действительно ли важно, что не сканер обрабатывает JavaScript, а индексатор? Нужно ли нам знать, что разные процессы обрабатывают разные вещи, если в результате Google ранжирует страницы JavaScript?

Да собственно Нам нужно это знать.

Несмотря на невероятную изощренность роботов Googlebot и Caffeine, содержание JavaScript на самом деле делает весь процесс сканирования и индексации чрезвычайно неэффективным. Встраивая контент и ссылки в JavaScript, мы просим - нет, требуя - чтобы Google приложил усилия для рендеринга всех наших страниц.

Что, к его чести, Google на самом деле сделает. Но это требует времени и большого взаимодействия между сканером и индексатором.

И, как известно, у Google нет бесконечного терпения. Концепция «бюджета сканирования» - объединение различных концепций, касающихся приоритетов сканирования и важности URL ( Рассвет андерсон является экспертом в этом, и убедитесь, что вы также прочитайте мою статью об URL здесь ) - говорит нам, что Google не будет пытаться бесконечно сканировать все страницы вашего сайта. Мы должны немного помочь и обеспечить, чтобы страницы, которые мы хотим сканировать и индексировать, были легко найдены и надлежащим образом канонизированы.

JavaScript = неэффективность

То, что делают JavaScript-фреймворки, - это введение уровня сложности в это уравнение.

То, что должно быть относительно простым процессом, когда сканер находит страницы вашего сайта, а индексатор затем оценивает их, становится громоздким делом. На сайтах JavaScript, где большинство или все внутренние ссылки не являются частью исходного кода HTML, в первом случае сканер находит только ограниченный набор URL-адресов. Затем он должен ждать, пока индексатор отобразит эти страницы и извлечет новые URL-адреса, которые сканер затем просматривает и отправляет индексатору. И так далее.

С такими сайтами на основе JavaScript сканирование и индексация становятся медленными и неэффективными.

Это также означает, что оценка графа внутренних ссылок сайта должна происходить снова и снова, поскольку новые URL извлекаются из JavaScript. С каждым новым набором страниц индексатору удается извлечь из кода JavaScript сайта, необходимо пересмотреть внутреннюю структуру сайта и изменить относительную важность страницы.

Это может привести ко всем видам неэффективности, когда ключевые страницы считаются неважными из-за отсутствия внутреннего значения ссылки, или относительно неважные страницы рассматриваются как большое значение, потому что существуют простые HTML-ссылки, указывающие на него, которые не требуют рендеринга JavaScript для просмотра. ,

И поскольку страницы сканируются и отображаются в соответствии с их предполагаемой важностью, вы можете увидеть, как Google тратит много времени на сканирование и рендеринг неправильных страниц и тратит очень мало времени на страницы, которые вы действительно хотите ранжировать.

Хорошее SEO - Эффективность

За прошедшие годы я узнал, что хороший SEO - это в значительной степени облегчение жизни поисковых систем. Когда мы делаем наш контент простым в обнаружении, легко усваиваемом и легко оцениваемом, мы получаем лучшую оценку в результатах поисковой выдачи.

JavaScript затрудняет жизнь поисковых систем. Мы просим Google работать усерднее, чтобы находить, переваривать и оценивать наш контент. И часто это приводит к снижению рейтинга.

Да, контент JavaScript индексируется и ранжируется. Но это делается почти неохотно. Если вы серьезно относитесь к достижению успеха в органическом поиске, стоит сделать все как можно проще. А это означает, что контент и ссылки в обычном HTML-формате предоставляются поисковым системам, чтобы они могли быть максимально эффективными при сканировании, индексации и ранжировании ваших веб-страниц.

Фактически точный ответ на вопрос « Google сканирует JavaScript? Нет .

Ответ « индексирует ли Google JavaScript? Это да .

Ответ на вопрос « должен ли я использовать JavaScript? Это зависит .

Если вы заботитесь о SEO, меньше JavaScript означает большую эффективность. А большая эффективность означает более высокий рейтинг. Место вашего акцента будет определять путь, по которому вы должны идти. Удачи.

Обязательно прочитайте и добавьте в закладки наш JavaScript & SEO полный список ресурсов ,

Похожие

Комментарии