Выпуск whatbroke 0.3.0, инструмента для сравнения поведения AI-агента между двумя запусками
Опубликован выпуск whatbroke 0.3.0, инструмента командной строки для сравнения поведения AI-агента между двумя запусками. Код написан на языке TypeScript и распространяется под лицензией MIT. При смене модели, правке промпта или обновлении фреймворка агент может внешне отвечать как прежде, но незаметно перестать вызывать нужный инструмент или изменить аргументы вызова. Текстовый diff такие поломки не видит. Whatbroke записывает лог трассировки работы агента в формате JSONL и показывает информацию о том, какие вызовы инструментов исчезли, какие аргументы изменились, как сдвинулись стоимость и задержки, какие итоговые ответы поменялись. Есть прокси-режим, не требующий изменения кода: достаточно направить OPENAI_BASE_URL или ANTHROPIC_BASE_URL на локальный прокси. Поскольку агенты … Читать далее Выпуск whatbroke 0.3.0, инструмента для сравнения поведения AI-агента между двумя запусками
