Робот ElecBot

ElecBot — служебный робот интернет-портала Elec.ru. Если вы нашли эту страницу по ссылке из журнала своего веб-сервера, здесь написано, кто мы, как нас узнать и как ограничить обход.

Зачем мы обращаемся к вашему сайту

В каталоге компаний, профилях пользователей и объявлениях портала опубликованы адреса сайтов организаций — их указывают сами владельцы. Робот обходит эти адреса, чтобы портал показывал рядом со ссылкой достоверные сведения: работает ли сайт, действует ли сертификат, куда ведёт переадресация, каковы заголовок, краткое описание и значок сайта.

Обход ограничен главной страницей. По внутренним ссылкам и картам сайта робот не ходит, формы не заполняет, ничего не публикует и не собирает персональные данные. Один адрес проверяется, как правило, не чаще раза в месяц, к одному домену робот обращается не чаще одного раза в секунду — или с тем интервалом, который назван в вашем robots.txt.

Как узнать наш робот

Все запросы робот делает с одним и тем же значением заголовка User-Agent:

Mozilla/5.0 (compatible; ElecBot/1.0; +https://www.elec.ru/help/bot/)

Токен для правил robots.txt — ElecBot. Другими именами наш робот не представляется, поэтому запрос с иным User-Agent, ссылающимся на Elec.ru, порталу не принадлежит.

Как ограничить или запретить обход

Перед обращением к сайту робот читает robots.txt и выполняет его правила. Файл перечитывается раз в сутки, поэтому изменения вступают в силу в течение этого срока. Если правил для ElecBot в файле нет, робот выполняет правила группы User-agent: *.

Полностью закрыть сайт от нашего робота:

User-agent: ElecBot
Disallow: /

Оставить обход, но задать интервал между обращениями в секундах:

User-agent: ElecBot
Crawl-delay: 10

Обратная связь

Если робот мешает работе сайта, обращается к нему чаще, чем вы ожидали, или вы хотите убрать адрес сайта с портала — напишите нам на info@elec.ru или через форму службы поддержки. Укажите в письме адрес сайта: так разбор займёт меньше времени.