Suparagent и Devin

Оцените инженерный процесс

При оценке агента для программирования изучите, как он получает контекст репозитория, работает с ветками и командами сборки, показывает различия и сообщает результаты тестов. Devin стоит оценить, если основная работа — реализация. Организация агентов в Suparagent помогает поддерживать постоянные роли, но функции в исходном коде не подтверждают наличие равноценного процесса программирования или соответствующую проверку.

Пример: исправить регрессию

Поручите Devin исправить ограниченную по объему ошибку с инструкциями по воспроизведению, найти причину, подготовить патч и указать запущенные тесты. Проверьте измененные файлы и самостоятельно повторно запустите набор тестов. Чтобы проверить Suparagent для сопутствующей работы, создайте в комнате роли сортировки и реализации, добавьте правила проекта в редактируемую память и оцените ясность передачи задачи.

Учетная запись и проверка

Используйте Devin, если его текущий процесс работы с репозиториями подходит вашей команде. Для Suparagent каждый пользователь предоставляет ключ песочницы Boat и учетную запись ИИ; регистрация открыта. Проверка длительных задач еще не завершена, поэтому не считайте сценарии или команды в исходном коде доказательством надежного автономного программирования.

В тестировании агента-программиста должен быть один известный падающий тест и чистая ветка. Это поможет отличить реальное исправление от ситуации, когда агент сообщает об успехе после запуска несвязанных проверок.