Googlebot — поисковый робот компании Google, используемый для сканирования мировой сети и пополнения поискового индекса системы Google. Робот начинает сканирование каждого отдельного сайта с получения списка URL-адресов веб-страниц, созданного по результатам предыдущих сеансов, и пополняет его данными из файлов Sitemap; просматривая страницы, робот ищет ссылки (SRC и HREF) и добавляет их в список страниц, подлежащих сканированию.
Веб-мастера могут управлять роботом с помощью команды в файле robots.txt или мета-тега <meta name="Googlebot" content="nofollow" />; Google в списке своих инструментов для веб-мастеров даёт возможность проверить «видение» сайта роботом. IP-адреса бота время от времени меняются.
При сканировании Googlebot указывает user-agent:
Googlebot/2.1 (+http://www.googlebot.com/bot.html)Googlebot/2.1 (+http://www.google.com/bot.html)Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)Googlebot-Image/1.0(паук, сканирующий изображения)
Энциклопедичный YouTube
-
1/4Просмотров:2 0886 31143410 601
-
What is GoogleBot?
-
Googlebot Can’t Access Your Site Robots.txt File Fetch Error
-
O Googlebot não consegue aceder a ficheiros CSS e JS - Fábio Pessoa
-
How does Google search work
Субтитры
Ссылки
| |
| Реклама |
|
| Коммуникации | |
| ПО | |
| Платформы | |
| Инструменты разработки |
|
| Публикация | |
| Поиск (PageRank) | |
| Тематические проекты | |
| Закрытые проекты | |
| См. также |
|
Эта страница в последний раз была отредактирована 18 марта 2021 в 18:17.
Обычно почти сразу, изредка в течении часа.