Масштабный сбой в работе Cloudflare, который парализовал значительную часть глобального трафика и затронул множество сервисов, компания объяснила внутренней ошибкой в конфигурации системы Bot Management.

Инцидент произошёл из-за неправильной настройки запроса к базе данных ClickHouse, которая формирует файл конфигураций для модели машинного обучения в Bot Management. Такое изменение вызвало дублирование большого объёма данных. Конфигурационный файл стремительно увеличился и превысил допустимые объёмы памяти, сообщает Cloudflare.

"Проблема возникла из-за изменения поведения запроса, что вызвало резкий рост конфигурационного файла и его выход за установленные лимиты", - объяснили в компании.

Сбой затронул основную прокси-систему, которая отвечает за обработку клиентского трафика, связанного с модулем ботов. Те клиенты, которые использовали сформированный системой показатель ботов в своих правилах, начали блокировать реальные запросы. Другие, кто не применял эту функцию, продолжали работать без перебоев.

"Это не было связано с DNS, атакой или внедрением новых решений на основе генеративного ИИ. Ошибка произошла во внутренней логике обновления конфигурации Bot Management", - уточнила компания.

После инцидента Cloudflare объявила о четырёх шагах для усиления защиты. Среди них - усиленная валидация конфигурационных файлов, увеличенное количество глобальных переключателей аварийного отключения функций, защита от ситуаций, когда core dump может перегрузить систему, а также пересмотр всех режимов отказа в ключевых прокси-модулях.

По оценкам Cloudflare, через её инфраструктуру проходит около 20% мирового интернет-трафика. Это означает, что любые сбои в центральных компонентах компании могут иметь глобальный эффект.

Подготовила: Нина Петрович