Сервис для
сео - оптимизаторов

Найди ошибки на сайте
Ошибки мешают продвижению сайта
Исправь ошибки на сайте
Сайт без ошибок продвигать легче
Получи новых клиентов
Новые клиенты принесут больше прибыль

Отчет о трафике ботов 2016

  1. Большинство посетителей сайта - боты
  2. Имитатор: Учебник Bad Bot
  3. 1. Олицетворение легко и полезно
  4. 2. Имитаторы идеально подходят для DDoS-атак
  5. Feed Fetchers: хорошие боты становятся мобильными
  6. 94,2 процента сайтов, подвергшихся атаке ботов
  7. методология

Ежегодный отчет о трафике ботов в Imperva Incapsula, который уже пятый год, является постоянным статистическим исследованием ландшафта ботов. В нашем последнем отчете мы рассмотрели 16,7 миллиардов посещений 100 000 случайно выбранных доменов в сети Incapsula для решения следующих вопросов:

  • Сколько трафика сайта генерируют боты?
  • Как плохие боты используются в кибератаках?
  • Что стимулирует хорошие посещения ботов различными сайтами и сервисами?
  • Какие самые активные плохие и хорошие боты?

Ответы на эти вопросы находятся в инфографике ниже. В прилагаемом комментарии мы более подробно рассмотрим некоторые макроэкономические тренды, которые отражены в активности наиболее активных бот-архетипов.

нажмите, чтобы увеличить

нажмите, чтобы увеличить

Большинство посетителей сайта - боты

В 2015 году мы зафиксировали снижение активности ботов в нашей сети, что привело к падению ниже уровня 50 процентов впервые за многие годы. В 2016 году мы стали свидетелями коррекции этой тенденции: трафик ботов сократился до 51,8 процента - лишь немного выше, чем в 2012 году.

Как видно из приведенного выше графика, это изменение связано с увеличением активности ботов. В 2016 году мы отслеживали 504 уникальных хороших бота, 278 из которых были достаточно активными, чтобы генерировать по крайней мере 1000 посещений нашей сети в день. Из них 57,2 процента показали увеличение активности, в то время как только 29,4 процента отметили снижение своей активности в годовом исчислении.

Это привело бы к еще большему росту, но за тот факт, что большинство (66,7 процента) изменений были в диапазоне от -0,01 до 0,01 процента. Последнее демонстрирует предсказуемость трафика ботов, особенно учитывая различный характер сравниваемых выборок.

Это также неизменно подтверждается количеством плохих ботов, их активность продолжает колебаться около 30-процентной отметки - так же, как и в течение последних пяти лет.

Здесь следует отметить, что относительное количество посещений плохих ботов (и посещений ботов в целом) выше по сравнению с менее посещаемыми сайтами. Например, в доменах с наименьшим количеством трафика, которые посещают десять человек-посетителей в день или меньше, на плохих ботов приходилось 47,7 процента посещений, тогда как общий трафик ботов составлял 93,3 процента.

Эти непропорционально высокие цифры являются результатом неизбирательной активности хороших и плохих ботов, описанных в наших предыдущие отчеты , который будет дополнительно рассмотрен в заключительном разделе этого поста. Проще говоря, хорошие боты будут сканировать ваш сайт, а плохие боты будут пытаться взломать его, независимо от того, насколько он популярен среди людей. Они даже будут продолжать посещать домен при отсутствии всего трафика.

Имитатор: Учебник Bad Bot

В категории плохих ботов - пятый год подряд боты-подражатели продолжают оставаться самыми активными преступниками
В категории плохих ботов - пятый год подряд боты-подражатели продолжают оставаться самыми активными преступниками. В 2016 году они отвечали за 24,3 процента всего трафика в нашей сети и 84 процента от всех вредоносных атак ботов на домены, защищенные инкапсулами.

Эта постоянно доминирующая позиция является результатом следующих двух факторов:

1. Олицетворение легко и полезно

Имитаторы - это атакующие боты, маскирующие себя как законных посетителей, чтобы обойти решения безопасности. Очевидно, что такие возможности обхода дополняют все вредоносные действия, и это делает подражателей «оружием выбора» для большинства автоматических атак. Более того, потому что элементарный уровень запутывания относительно легко достичь.

Таким образом, более примитивные имитаторы - это просто боты, которые прячутся за фальшивым «агентом пользователя» - заголовком HTTP / S, который объявляет личность посетителей приложения. Изменяя содержимое этого заголовка, эти злоумышленники объявляют себя либо хорошими ботами, либо людьми, надеясь, что этого будет достаточно для получения доступа.

Более опытные правонарушители делают еще один шаг вперед, тщательно изменяя свои сигнатуры HTTP / S, чтобы имитировать поведение, подобное браузеру, включая возможность захвата файлов cookie и анализа JavaScript. Во многих случаях они делают оба одновременно.

Показательный пример: билетные боты

В декабре прошлого года общенациональный закон под названием « Акт о продаже билетов онлайн (BOTS) от 2016 года «Запретил кому-либо использовать ботов для покупки билетов на популярные мероприятия таким образом, чтобы обойти справедливые правила покупки.

Билетные роботы, рассматриваемые в законодательстве, являются классическим примером ботов-имитаторов: люди, не являющиеся людьми, запрограммированы на то, чтобы имитировать законных посетителей и автоматизировать человеческие задачи. Как и боты DDoS, упомянутые ниже, их действия становятся злонамеренными только из-за области их использования.

2. Имитаторы идеально подходят для DDoS-атак

Методы запутывания имитатора идеально подходят для того, что DDoS правонарушители пытаются достичь - перенести сервер с большим количеством, казалось бы, законных запросов. Например: попросить загрузить домашнюю страницу 50000 раз в секунду.

Здесь кроется другая причина огромного количества действий подражателей. Если для успешной атаки другого типа достаточно одного посещения (сеанса) бота, злоумышленник DDoS должен отправить много тысяч ботов, чтобы уничтожить цель.

Самые активные плохие боты - все имитаторы, используемые для DDoS-атак. Одним из них является вредоносная программа Nitol, единственный наиболее распространенный вредоносный бот, ответственный за 0,12 процента всего трафика сайта. В 2016 году большинство атак Nitol было начато с помощью ботов-имитаторов, которые просматривали старые версии Internet Explorer.

Mozilla / 4.0 (совместимый; MSIE 7.0; Windows NT 5.1; SV1) Mozilla / 4.0 (совместимый; MSIE 8.0; Windows NT 6.1; Trident / 4.0; .NET CLR 1.1.4322; .NET4.0C; .NET4.0E;. NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)

Пример пользовательских агентов IE, используемых ботами Nitol DDoS

Cyclone, второй по распространенности плохой бот, часто использовался для имитации поисковых роботов поисковых систем - преимущественно хороших ботов Google и Baidu.

Mozilla / 5.0 (совместимо; Googlebot / 2.1; + http: //www.google.com/bot.html) Mozilla / 5.0 (совместимо; Baiduspider / 2.0; + http: //www.baidu.com/search/spider. HTML)

Пример поисковых агентов, используемых ботами Cyclone DDoS

Другой пример - вредоносная программа Mirai, которая недавно использовалась для запуска одного из самые разрушительные DDoS-атаки на свидание. При использовании в HTTP-атаках по наводнениям Mirai также использует тактику олицетворения, такую ​​как маскировка под браузеры Chrome или Safari.

Mozilla / 5.0 (Windows NT 10.0; WOW64) AppleWebKit / 537.36 (KHTML, как Gecko) Chrome / 51.0.2704.103 Safari / 537.36 Mozilla / 5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit / 601.7.7 (KHTML, как Gecko) Версия / 9.1.2 Safari / 601.7.7

Пример пользовательских агентов Chrome и Safari, используемых ботами Mirai DDoS

Следует отметить, что идентификаторы, используемые ботами имитатора, очень изменчивы. Например, при сборе данных для этого отчета мы регистрировали подражателей Nitol, используя более 14 000 различных вариантов пользовательских агентов и 17 различных идентификаторов.

Feed Fetchers: хорошие боты становятся мобильными

Есть множество способов, которыми хорошие боты поддерживают различные деловые и операционные цели своих владельцев - от личных пользователей до крупных транснациональных корпораций.

Однако на более широком уровне их можно разделить на следующие четыре группы:

  • Фид-сборщик - боты, которые пересылают содержимое веб-сайта в мобильные и веб-приложения, которые затем отображают пользователям.
  • Боты поисковых систем - боты, которые собирают информацию для алгоритмов поисковых систем, которая затем используется для принятия решений о ранжировании.
  • Коммерческие сканеры - пауки, используемые для авторизованного извлечения данных, обычно от имени инструментов цифрового маркетинга.
  • Мониторинг ботов - боты, которые отслеживают доступность веб-сайта и правильное функционирование различных онлайн-функций.

Мониторинг ботов - боты, которые отслеживают доступность веб-сайта и правильное функционирование различных онлайн-функций

На 45 самых активных хороших ботов приходится 84,2 процента всего хорошего бота.

Боты из поисковых систем, вероятно, более известны среднему пользователю Интернета. Однако они не так активны, как сборщики фидов, на долю которых приходится 12,2 процента всего трафика 2016 года.

Самым активным сборщиком каналов - и самым активным ботом в целом - был связан с мобильным приложением Facebook. Он получает информацию о веб-сайте, чтобы ее можно было просмотреть в браузере приложения. В целом на его долю приходится 4,4 процента всего трафика веб-сайта в сети Incapsula. Это отражает темпы роста мобильной базы пользователей Facebook, которая по сообщениям вырос на 19 процентов по сравнению с аналогичным периодом прошлого года и достиг более 1,6 миллиарда активных ежемесячных пользователей в третьем квартале 2016 года.

Это отражает темпы роста мобильной базы пользователей Facebook, которая   по сообщениям   вырос на 19 процентов по сравнению с аналогичным периодом прошлого года и достиг более 1,6 миллиарда активных ежемесячных пользователей в третьем квартале 2016 года

Люди, идущие впереди, боты после костюма

Повышенная активность мобильных ботов - результат более широкой тенденции - сдвиг в поведении человека все больше движется в сторону мобильного просмотра. По данным StatCounter, впервые его объем таков, что в ноябре 2016 года мобильный трафик перерос настольный трафик, достигнув 50,31 процента в следующем месяце.

Наш собственный трафик отражает этот сдвиг. В 2016 году мы зафиксировали увеличение трафика веб-сайтов мобильных пользователей на 10,6% в сочетании с уменьшением числа посещений пользователей настольных компьютеров на 16%. Тем не менее, наша выборка показывает, что пользователи настольных компьютеров сохранили большинство, что составляет 55,39 процента всех посещений людей.

Платформа Android, второй по активности сборщик каналов, аналогично связана с мобильным использованием, являясь агентом Dalvik а также Android Runtime процессы. Так это CFNetwork бот, третий по популярности бот для поиска каналов, используемый в мобильных приложениях для iPhone.

В целом, боты, связанные с мобильными приложениями и службами, составляют более 69 процентов всего трафика сборщиков каналов, что служит иллюстрацией влияния мобильной революции на ландшафт трафика ботов.

94,2 процента сайтов, подвергшихся атаке ботов

Самая тревожная статистика в этом отчете также является наиболее устойчивой тенденцией, которую он наблюдает: в течение последних пяти лет каждый третий посетитель веб-сайта был атакующим ботом.

Последствия этой тенденции ощущаются многими владельцами цифрового бизнеса, большинство из которых регулярно сталкиваются с нападениями, не связанными с людьми. В частности, из 100 000 доменов, включенных в этот опрос, 94,2% испытали по крайней мере одну атаку ботов за 90-дневный период.

Часто эти нападения являются результатом киберпреступников, создавших широкую сеть с автоматическими атаками, нацеленными одновременно на тысячи доменов.

Хотя эти неизбирательные нападения не так опасны, как целевые атаки, они все же могут поставить под угрозу многочисленные незащищенные веб-сайты. По иронии судьбы, владельцы этих веб-сайтов чаще всего игнорируют опасность ботов, ошибочно полагая, что их веб-сайт слишком «маленький», чтобы на него можно было атаковать.

Именно этот страусиный менталитет помогает атакам ботов побеждать, мотивируя киберпреступников продолжать проводить более масштабные и сложные автоматизированные атаки.

методология

Представленные здесь данные основаны на выборке из более чем 16,7 млрд посещений ботов и людей, собранных с 9 августа 2016 года по 6 ноября 2016 года. Данные о трафике поступили из 100 000 случайно выбранных доменов в Инкапсула CDN ,

Сравнение по сравнению с прошлым годом основывается на данных, собранных для предыдущего отчета о трафике ботов, состоящего из выборки из более чем 19 миллиардов посещений людей и ботов за 90-дневный период с 24 июля 2015 года по 21 октября 2015 года. было получено с 35 000 сайтов, защищенных инкапсулами, с минимальным ежедневным трафиком не менее 10 человек.

С географической точки зрения наблюдаемый трафик включает все 249 стран мира, территорий или районов, представляющих географический интерес (согласно кодам, предусмотренным стандартом ISO 3166-1).

Для анализа использовался механизм классификации клиентов Incapsula - запатентованная технология, основанная на перекрестной проверке таких факторов, как отпечатки пальцев HTTP, происхождение IP-адреса и поведенческие шаблоны, для идентификации и классификации входящего веб-трафика.

Узнайте больше о ботах

Как плохие боты используются в кибератаках?
Что стимулирует хорошие посещения ботов различными сайтами и сервисами?
Какие самые активные плохие и хорошие боты?