Все, что вам нужно знать о Robots.txt: полное руководство

Вы имеете больше контроля над поисковыми системами, чем вы думаете

Вы имеете больше контроля над поисковыми системами, чем вы думаете.

Это правда; Вы можете манипулировать тем, кто сканирует и индексирует ваш сайт, даже на отдельных страницах. Чтобы это контролировать, вам нужно использовать файл robots.txt. Robots.txt - это простой текстовый файл, который находится в корневом каталоге вашего сайта. Он сообщает роботам, которые отправляются поисковыми системами, какие страницы сканировать, а какие пропустить.

Несмотря на то, что это не совсем то, что вам нужно, вы, наверное, поняли, что это довольно мощный инструмент, который позволит вам представить свой веб-сайт в Google так, как вы хотите, чтобы они его видели. Поисковые системы являются суровыми ценителями характера, поэтому очень важно произвести отличное впечатление. Robots.txt, при правильном использовании может улучшить частоту сканирования, что может повлиять на ваши усилия по SEO.

Итак, как вы создаете один? Как вы используете его? Чего вам следует избегать? Проверьте этот пост, чтобы найти ответы на все эти вопросы.

Что такое файл Robots.txt?

Когда Интернет был всего лишь ребенком с детским лицом, способным совершать великие дела, разработчики разработали способ сканирования и индексирования свежих страниц в Интернете. Они называли этих «роботов» или «пауков».

Иногда эти маленькие парни попадают на веб-сайты, которые не предназначены для сканирования и индексации, такие как сайты, находящиеся на обслуживании. Создатель первой в мире поисковой системы Aliweb порекомендовал решение - своего рода дорожную карту, которой должен следовать каждый робот.

Эта дорожная карта была доработана в июне 1994 года группой опытных техников, Протокол исключения роботов ».

Файл robots.txt является исполнением этого протокола. Протокол определяет правила, которым должен следовать каждый настоящий робот. Включая Google ботов. Некоторые незаконные роботы, такие как вредоносные программы, шпионское ПО и т. П., По определению, действуют вне этих правил.

Вы можете заглянуть за кулисы любого веб-сайта, введя любой URL-адрес и добавив: /robots.txt в конце.

Например, вот версия POD Digital:

Как вы можете видеть, нет необходимости иметь все пение, все танцевальные файлы, так как мы являемся относительно небольшим веб-сайтом.

Где найти файл Robots.txt

Ваш файл robots.txt будет храниться в корневом каталоге вашего сайта. Чтобы найти его, откройте свой FTP cPanel, и вы сможете найти файл в вашем каталоге public_html.

В этих файлах нет ничего, чтобы они не были здоровенными - вероятно, всего несколько сотен байтов, если это так.

Как только вы откроете файл в текстовом редакторе, вы увидите что-то похожее на это:

Если вы не можете найти файл во внутренней работе вашего сайта, то вам придется создать свой собственный.

Как собрать файл Robots.txt

Robots.txt - это супер базовый текстовый файл, поэтому его легко создать. Все, что вам нужно, это простой текстовый редактор, такой как Блокнот. Откройте лист и сохраните пустую страницу как robots.txt.

Теперь войдите в свою cPanel и найдите папку public_html для доступа к корневому каталогу сайта. Как только это будет открыто, перетащите ваш файл в него.

Наконец, вы должны убедиться, что вы установили правильные разрешения для файла. Как владелец, вам нужно будет написать, прочитать и отредактировать файл, но никакие другие стороны не должны делать этого.

Файл должен отображать код разрешения «0644».

Файл должен отображать код разрешения «0644»

Если нет, вам нужно изменить это, поэтому нажмите на файл и выберите «разрешение на файл».

Вуаля! У вас есть файл Robots.txt.

Robots.txt Синтаксис

Файл robots.txt состоит из нескольких разделов «директив», каждый из которых начинается с указанного пользовательского агента. Пользовательский агент - это имя конкретного робота сканирования, с которым взаимодействует код.

Доступны два варианта:

а) Вы можете использовать подстановочные обратиться ко всем поисковым системам одновременно.

б) Вы можете обратиться к конкретным поисковым системам индивидуально.

Когда бот развертывается для сканирования веб-сайта, он обращается к блокам, которые к ним обращаются.

Вот пример:

Директива User-Agent

Первые несколько строк в каждом блоке - это «пользовательский агент», который определяет конкретного бота. Пользовательский агент будет соответствовать определенному имени бота, например:

Поэтому, если вы хотите сообщить роботу Google, что делать, например, начните с:

Пользователь-агент: Googlebot

Поисковые системы всегда пытаются определить конкретные директивы, которые наиболее тесно связаны с ними. Так, например, если у вас есть две директивы, одна для Googlebot-Video и одна для Bingbot. Бот, который поставляется вместе с пользовательским агентом «Bingbot», будет следовать инструкциям, тогда как бот «Googlebot-Video» пройдет через это и отправится на поиски более конкретной директивы.

Большинство поисковых систем имеют несколько разных ботов, здесь мы список самых распространенных ,

Принимающая Директива

На данный момент директива host поддерживается только Яндексом, хотя существуют предположения, что Google поддерживает или поддерживает ее. Эта директива позволяет пользователю решать, показывать ли www. перед URL, использующим этот блок:

Ведущий: poddigital.co.uk

Поскольку Яндекс является единственным подтвержденным сторонником директивы, не стоит полагаться на нее. Вместо этого 301 перенаправляет нежелательные имена хостов на те, которые вы делаете.

Запретить Директиву

Мы рассмотрим это в более конкретных обстоятельствах чуть позже.

Вторая строка в блоке директив - Disallow. Вы можете использовать это, чтобы указать, какие разделы сайта не должны быть доступны для ботов. Пустой запрет означает, что это бесплатно для всех, и боты могут порадовать себя тем, что они делают и не посещают.

Директива о файлах сайта (XML Sitemaps)

Использование директивы sitemap говорит поисковым системам, где найти ваш XML карта сайта ,

Однако, вероятно, наиболее полезная вещь - это представить каждый из них специальным инструментам веб-мастеров для поисковых систем. Это потому, что вы можете узнать много ценной информации от каждого о вашем сайте.

Однако, если у вас мало времени, директива sitemap является жизнеспособной альтернативой.

Директива по сканированию и задержке

Yahoo, Bing и Yandex могут быть немного счастливы, когда дело доходит до сканирования, но они реагируют на директиву crawl-delay, которая удерживает их на некоторое время.

Применение этой строки к вашему блоку:

Задержка сканирования: 10

означает, что вы можете заставить поисковые системы подождать десять секунд, прежде чем сканировать сайт, или десять секунд, прежде чем они снова получат доступ к сайту после сканирования - в основном это то же самое, но немного отличается в зависимости от поисковой системы.

Зачем использовать Robots.txt

Теперь вы знаете об основах и о том, как использовать несколько директив, вы можете собрать свой файл. Тем не менее, этот следующий шаг будет сводиться к виду контента на вашем сайте.

Robots.txt не является обязательным элементом успешного веб-сайта, на самом деле, ваш сайт все еще может функционировать правильно и иметь хороший рейтинг без такового.

Тем не менее, есть несколько ключевых преимуществ, о которых вы должны знать, прежде чем отклонить их:

Укажите ботов вдали от личных папок . Если боты не проверят ваши личные папки, их будет намного сложнее найти и проиндексировать.
Держите ресурсы под контролем. Каждый раз, когда бот сканирует ваш сайт, он высасывает пропускную способность и другие ресурсы сервера. Например, для сайтов с тоннами контента и большим количеством страниц сайты электронной коммерции могут иметь тысячи страниц, и эти ресурсы могут быть использованы очень быстро. Вы можете использовать robots.txt, чтобы затруднить доступ ботов к отдельным скриптам и изображениям; это сохранит ценные ресурсы для реальных посетителей.

Вы, естественно, захотите, чтобы поисковые системы находили наиболее важные страницы вашего сайта. Вежливо оцепив определенные страницы, вы можете контролировать, какие страницы будут размещены перед поисковиками (однако, никогда не блокируйте поисковые системы от просмотра определенных страниц).

Например, если мы посмотрим назад на файл цифровых роботов POD, мы увидим, что этот URL:

poddigital.co.uk/wp-admin был запрещен.

Поскольку эта страница предназначена только для того, чтобы мы могли войти в панель управления, нет смысла позволять ботам тратить свое время и энергию на ее обход.

Noindex

Итак, мы говорили о запретительной директиве, как будто она является ответом на все наши проблемы. Однако это не всегда препятствует индексации страницы.

Вы могли бы потенциально запретить страницу, и она все равно может оказаться где-то в SERPS; это его где NOINDEX приходит команда. Она работает в тандеме с командой disallow, чтобы гарантировать, что боты не заходят на определенные страницы и не индексируют их.

Вот пример того, как вы это сделаете:

После того, как вы укажете эти инструкции, выбранная страница не окажется в результатах поиска ... или, как мы думали.

Есть некоторые споры относительно является ли это эффективным инструментом , В некоторых случаях некоторые поисковые системы поддерживают это, а другие нет. Согласно исследованию, выполненному Каменный Храм Google немного не согласен с этой позицией.

В исследовании с 13 веб-сайтами они обнаружили, что некоторые страницы были удалены без сканирования, а другие остались в поисковой выдаче, несмотря на многократное сканирование. Кроме того, если целевая страница уже ранжируется, может потребоваться несколько обходов в течение нескольких недель, прежде чем страницы действительно выпадут.

В исследовании делается вывод о том, что директива имеет 80% успеха, но поскольку Google больше не поддерживает такую функцию, вы должны решить, стоит ли этот подход вашего времени и усилий, учитывая, что он может не поддерживаться где-либо в ближайшем будущем. будущее.

Что следует избегать

Мы немного поговорили о том, что вы можете сделать, и о том, как вы можете управлять своим robots.txt, но мы собираемся углубиться в каждую точку этого раздела и объяснить, как каждый из них может превратиться в катастрофу SEO, если не используется должным образом.

Чрезмерное время задержки сканирования

Мы уже объяснили, что делает директива crawl-delay, но вам следует избегать ее использования слишком часто, поскольку вы ограничиваете страницы, сканируемые роботами, что идеально подходит для некоторых веб-сайтов, но если у вас огромный веб-сайт, вы можете стреляя себе в ногу и мешая хорошему ранжированию и солидному движению.

Использование Robots.txt для предотвращения индексации содержимого

Мы уже немного об этом рассказали, как мы уже говорили, запрещение страницы - лучший способ попытаться предотвратить боты, сканирующие ее напрямую.

Но это не сработает при следующих обстоятельствах:

Если страница была связана с внешним источником, боты все равно будут проходить и индексировать страницу.
Нелегитимные боты все равно будут сканировать и индексировать содержимое.

Использование Robots.txt для защиты частного контента

txt для защиты частного контента

Некоторый частный контент, такой как PDF-файлы или страницы с благодарностями, индексируются, даже если вы укажете на них ботов. Один из лучших способов следовать директиве disallow - это размещать весь ваш личный контент за логином.

Конечно, это означает, что это добавляет еще один шаг для ваших посетителей, но ваш контент останется в безопасности.

Использование Robots.txt для скрытия вредоносного дублированного контента

Дублированный контент иногда является необходимым злом - например, страницы для печати.

Однако Google и другие поисковые системы достаточно умны, чтобы знать, когда вы пытаетесь что-то скрыть. На самом деле, выполнение этого может привлечь больше внимания, и это потому, что Google осознает разницу между страницей, удобной для печати, и тем, кто пытается натянуть шерсть на глаза:

На самом деле, выполнение этого может привлечь больше внимания, и это потому, что Google осознает разницу между страницей, удобной для печати, и тем, кто пытается натянуть шерсть на глаза:

Есть шанс, что его все равно найдут.

Вот три способа борьбы с такого рода контентом:

Перепишите контент - Создание интересного и полезного контента будет стимулировать поисковые системы рассматривать ваш сайт как надежный источник. Это предложение особенно актуально, если контент представляет собой задание на копирование и вставку.
301 Redirect - 301 перенаправляет информацию поисковым системам, что страница перенесена в другое место. Добавьте 301 на страницу с дублированным контентом и перенаправьте посетителей на оригинальный контент на сайте.
Отн = «канонический - это тег, который информирует Google об исходном местоположении дублированного контента ; Это особенно важно для веб-сайта электронной коммерции, где CMS часто генерирует дублированные версии одного и того же URL.

Момент истины: тестирование файла Robots.txt

Теперь настало время протестировать ваш файл, чтобы убедиться, что все работает так, как вы хотите.

У Инструментов Google для веб-мастеров есть тестовый раздел robots.txt.

txt

Поэтому сначала войдите в систему и найдите свой веб-сайт в разделе меню сканирования.

Там вы найдете инструмент robots.txt Tester:

Удалите все, что в данный момент находится в коробке, замените его новым файлом robots.txt и нажмите, протестируйте:

Если «Тест» меняется на «Разрешено», то вы получаете себя полностью работоспособным robots.txt ,

Правильное создание файла robots.txt означает, что вы улучшаете свой SEO и пользовательский опыт ваших посетителей.

Позволяя ботам проводить свои дни в поисках нужных вещей, они смогут упорядочивать и отображать ваш контент так, как вы хотите, чтобы он отображался в поисковой выдаче.

Вы владелец электронной коммерции и у вас есть SEO агентство , Вы постоянно спрашиваете себя, насколько хорошо они на самом деле справляются, и как вы должны судить и оценивать их успех?
Это простая вещь, но стоит упомянуть. Многие крупные провайдеры тем WordPress предлагают возможность легко добавлять Google Analytics или другой код отслеживания через панель настроек темы. Идея проистекает из желания продать тему со всем необходимым

Тем не менее, что вы будете делать дальше, если только несколько человек посетят ваши веб-страницы?
Тем не менее, что вы будете делать дальше, если только несколько человек посетят ваши веб-страницы? Одним из основных источников трафика веб-страниц являются поисковые системы и платформы социальных сетей, такие как Twitter, Facebook и т. Д. Каждый, кто имеет веб-страницу по определенной теме, борется за места на странице результатов поисковой системы (SERP) - и только те, кто На первых трех страницах есть больше шансов получить клик от потенциальных клиентов - никто не хочет остаться позади! Это

Если вы не знаете о многих методах, как вы можете ожидать, что контент вашего сайта будет занимать высокое место на страницах результатов?
Если вы не знаете о многих методах, как вы можете ожидать, что контент вашего сайта будет занимать высокое место на страницах результатов? Это трудно мастер SEO , Конечно, вы можете понять суть основ SEO, но практика очень техническая и конкретная, когда вы действительно погрузитесь. Владельцам бизнеса может не хватить времени погрузиться. Их время может быть лучше проведено в других областях бизнеса. SEO-эксперт

Речь шла о важных вопросах для операторов веб-сайтов: что вы должны учитывать с точки зрения SEO во время повторного запуска и что идет не так на практике?
Речь шла о важных вопросах для операторов веб-сайтов: что вы должны учитывать с точки зрения SEO во время повторного запуска и что идет не так на практике? Не полностью SEO-иностранная аудитория в коворкинг-пространстве на Josephsplatz внимательно слушала. Структурированный продолжить Самое главное для перезапуска - это структура, подчеркивает Цайтхамль. Если тогда взаимодействие контента и технологий сработает, вряд ли что-то может пойти не так. Причины, по которым

Это не означает, что вы никогда не должны делиться личными данными, но это означает оценку всего потенциального контента через призму «подходит ли это моим клиентам и коллегам?
Это не означает, что вы никогда не должны делиться личными данными, но это означает оценку всего потенциального контента через призму «подходит ли это моим клиентам и коллегам?» Создавайте социальные сигналы, делая контент простым для обмена: есть ли на каждой странице вашего сайта кнопки, которые облегчают обмен вашим контентом? Как насчет каждого сообщения в вашем блоге? Потратьте время, чтобы установить программу, такую как Поделись этим

У вас есть стратегия ведения блога, но делаете ли вы все, что нужно для SEO?
У вас есть стратегия ведения блога, но делаете ли вы все, что нужно для SEO? SEO не просто «случается». Да, это правда, что наличие стратегии контент-маркетинга уже ставит вас в лучшую позицию, чтобы получить рейтинг по ключевым словам, относящимся к вашей отрасли, если вы остаетесь последовательными в своей стратегии публикации. Тем не менее, вы не могу просто написать «любой» тип контента и бросить

Вы и я (если вы являетесь SEO, и если вы читаете это, то, скорее всего, знаете), оба знают, что это не так, но так ли это?
Вы и я (если вы являетесь SEO, и если вы читаете это, то, скорее всего, знаете), оба знают, что это не так, но так ли это? И даже если вы скажете им, они поймут? Возвращаясь к мой пост на прошлой неделе , если бы я остановился и сдался в середине 2016 года, я был бы здесь:

Но как только вы подготовите свою страницу (или если она уже опубликована), как вы узнаете, сколько раз вы фактически использовали ключевое слово на странице?
Но как только вы подготовите свою страницу (или если она уже опубликована), как вы узнаете, сколько раз вы фактически использовали ключевое слово на странице? Есть два простых способа проверить это. 1. (Это лучше всего работает на рабочем столе). Выберите нужную страницу на экране, затем, удерживая нажатой кнопку ctrl на клавиатуре, нажмите клавишу F. Маленькая коробка появится. В этом поле введите ключевое слово, которое вы ищете, нажмите ввод, и он не только покажет вам,

После того, как вы настроили свой веб-сайт на успех в поисковых системах, как вы можете определить, достигли ли вы результатов?
После того, как вы настроили свой веб-сайт на успех в поисковых системах, как вы можете определить, достигли ли вы результатов? Маркетологи должны знать, как отслеживать рейтинг своих сайтов и прогресс SEO, чтобы они могли продолжать делать то, что работает, и корректировать то, что не работает. Цели вашего сайта уникальны для вашего бизнеса. Тем не менее, есть некоторые показатели, на которые почти все сайты должны обратить внимание. На этом уроке по SEO вы научитесь

Будете ли вы гоняться за этим 1% от уникального контента, если я скажу вам, что вы можете заработать 1% успеха от других факторов, которые дешевле, быстрее и эффективнее?
Будете ли вы гоняться за этим 1% от уникального контента, если я скажу вам, что вы можете заработать 1% успеха от других факторов, которые дешевле, быстрее и эффективнее? Уникальные описания продуктов против лучших методов Вы когда-нибудь подсчитывали, сколько человеко-часов вы тратите на написание и обновление уникального описания продукта? Без сомнения, вы сделали. Предположим, что лучшие из ваших результатов были чем-то около 30 минут на один продукт (если

Тем не менее, что вы делаете, когда ваш бизнес работает в нескольких местах?
Тем не менее, что вы делаете, когда ваш бизнес работает в нескольких местах? Если вы изо всех сил пытаетесь создать уникальный, привлекательный контент для каждого местоположения, продолжайте читать для некоторых полезных советов. Почему местный SEO важен? Местное SEO помогает

Txt?
Итак, как вы создаете один?
Как вы используете его?
Чего вам следует избегать?
Txt?
Что такое индекс SemRush?
Также на TechWyse: Сколько времени занимает сайт, чтобы получить рейтинг в Google?
Что такое хороший показатель отказов аналитики?
Что такое показатель отказов?
Тем не менее, что вы будете делать дальше, если только несколько человек посетят ваши веб-страницы?