Три убедительных AI-результата, которые пришлось отклонить

Правдоподобный AI-отчёт может выглядеть убедительнее проверенного. В самостоятельном аудите завершённого Android-продукта я трижды получил такой результат — и трижды его отклонил.

Что проверялось

• около 300 задач и связанных артефактов, 2,5 тыс.+ файлов.
• Требования, код, тестирование, трассируемость, security baseline, CI/CD и готовность к выпуску.
• Цель — получить проверяемые выводы о качестве инженерной системы, а не просто пересказ файлов.

Три отклонённые итерации

1. 1Первая смешала разные типы задач: разработку, баги и сопровождение свели в одну категорию.
2. 2Вторая распространила вывод по небольшой выборке на весь массив без достаточного основания.
3. 3Третья заменила подтверждённые связи вероятностной интерпретацией.

Почему они выглядели убедительно

У всех трёх итераций были правильная структура, уверенный тон и аккуратные цепочки рассуждений. Ошибка обнаруживалась только при возврате к первоисточнику: конкретной задаче, файлу, тесту или запросу на слияние.

Как проверяли

• Evidence-first: каждый вывод связан с конкретным первичным артефактом.
• Машинная валидация: связи и полнота проверяются инструментально, где это возможно.
• Независимое ревью: итоговый вывод перепроверяется отдельно от процесса, который его породил.

Что осталось в итоге

около 20

подтверждённых инженерных находок

250+

артефактов интерактивного отчёта

около 80 модульных и около 80 E2E-проверок

методологии

AI-вывод существует только тогда, когда его можно проследить до первичного артефакта и независимо воспроизвести. В итоге метод стал скромнее по обещаниям, но пригоднее для повторного применения.

Вывод

AI полезен там, где результат можно проверить. Там, где проверка невозможна или слишком дорога, уверенный ответ опаснее отсутствия ответа. Границы AI в QA разобраны в заметке о ревью требований и тест-кейсов, а полный контекст — в кейсе инженерного аудита.