Компания Cloudflare, известная своими решениями по защите веб-ресурсов, представила инновационный бесплатный инструмент, направленный на противодействие несанкционированному сбору данных ботами для обучения систем искусственного интеллекта. Об этом сообщает издание TechCrunch.
Сервис защиты сайтов Cloudflare запустил инструмент для борьбы с ботами.
Google, OpenAI и Apple позволяют блокировать ботов через специальный файл, но не все компании соблюдают эти правила: многие намеренно обходят их, меняют свои алгоритмы, чтобы избежать обнаружения.
Чтобы решить эту проблему, в Cloudflare проанализировали трафик краулеров и разработали автоматические модели их обнаружения, которые учитывают различные факторы, в том числе включая попытки ботов имитировать действия человека, использующего веб-браузер.
Кроме того, специалисты сервиса создали специальную форму, позволяющую сообщать о подозрительных ботах и сканерах. На основе полученных данных Cloudflare будет вручную заносить ботов ИИ в черный список.
