При смене модели, правке промпта или обновлении фреймворка агент может внешне отвечать как прежде, но незаметно перестать вызывать нужный инструмент или изменить аргументы вызова. Текстовый diff такие поломки не видит. Whatbroke записывает лог трассировки работы агента в формате JSONL и показывает информацию о том, какие вызовы инструментов исчезли, какие аргументы изменились, как сдвинулись стоимость и задержки, какие итоговые ответы поменялись.
Есть прокси-режим, не требующий изменения кода: достаточно направить OPENAI_BASE_URL или ANTHROPIC_BASE_URL на локальный прокси.
Поскольку агенты недетерминированы, каждый сценарий можно записать несколько раз — для каждого отличия выводится частота повторения, а шум, присутствовавший ещё в базовых запусках, автоматически понижается до информационного уровня.
В версии 0.3.0 добавлена команда «import» для конвертации готовых логов OpenTelemetry (GenAI semantic conventions), Langfuse и LangSmith, а также флаг «—fail-on» для интеграции в CI (код возврата 1 при ломающих изменениях). Инструмент детерминирован и работает полностью локально, без API-ключей, логи не покидают машину пользователя.
Источник: http://www.opennet.ru/opennews/art.shtml?num=65972