AI · Качество · Инженерные процессы
AI-ассистированный инженерный аудит цифрового продукта
Самостоятельно провёл ретроспективный аудит завершённого Android-продукта: от требований и ревью кода до тестирования, безопасности, CI/CD и готовности к выпуску.
AI использовался для исследования и анализа, но в итоговый отчёт попадали только проверяемые выводы.
Масштаб
Масштаб аудита
около 300
задач и связанных артефактов
Полный фактический перечень и выборочная проверка смысла.
2,5 тыс.+
файлов кодовой базы
Статический анализ и разбор критичных потоков.
около 20
запросов на слияние кода
История изменений и доказательства ревью кода.
около 40
ручных тест-кейсов
Тестовая база, предусловия и тестовые данные.
несколько
критичных пользовательских потоков
Аутентификация, платежи, сессии и сеть.
около 20
подтверждённых инженерных находок
Качество, безопасность и инженерный процесс.
Контекст
Проверить инженерную систему, а не отдельных людей
Разработка мобильного продукта была завершена. Требовалось восстановить фактическую картину инженерного процесса: постановку задач, ревью кода, тестирование, трассируемость, безопасность и подготовку к выпуску.
Результат должен был быть не разовым отчётом, а воспроизводимой моделью инженерного аудита с использованием AI для следующих проектов.
Моя роль
Самостоятельный полный цикл аудита
Самостоятельно спроектировал и провёл весь рабочий цикл аудита, используя AI как инструмент исследования, разработки, анализа и проверки.
Методология
01Критерии качества, модель доказательности, правила выборки и готовности к выпуску.
Инженерный аудит
02Требования, задачи, код, ревью изменений, тестирование и критичные потоки.
AI и проверка
03Сбор фактов, анализ больших объёмов, гипотезы, машинная валидация и независимое ревью.
Переиспользуемый результат
04Веб-отчёт, библиотека промптов, стандарты, контроли и шаблоны следующих аудитов.
Сквозной аудит
Что проверялось
01
Требования и постановка задач
Полнота описаний, критерии приёмки, тестируемость, связь с дизайном и негативные сценарии.
Большинство задач содержали описание, но единообразие критериев приёмки и трассируемости было недостаточным.
02
Ревью кода и процесс изменений
История запросов на слияние кода сопоставлялась с заявленным процессом ревью и инженерными артефактами.
Формального наличия процесса оказалось недостаточно: для части изменений не хватало доказательств воспроизводимого контроля перед интеграцией.
03
Код и критичные пользовательские потоки
Статический анализ более 2,5 тыс. файлов и разбор аутентификации, платежей, сессий и сетевого взаимодействия.
Рискованные сценарии рассматривались вместе с кодом и доступной тестовой моделью.
04
Безопасность
Подтверждённые риски в работе с секретами, сетевым логированием, сессионными данными и отдельными платёжными сценариями.
Для каждой находки фиксировались критичность, доказательность и способ дополнительной проверки.
05
Тестирование и трассируемость
Ручная тестовая база существовала и была структурирована, но предусловия, тестовые данные и связь «требование → тест» требовали усиления.
Тестовые артефакты существовали отдельно от части продуктового контекста.
06
Готовность к выпуску
Проверялись тестирование, трассируемость, примечания к выпуску, план отката, ревью кода и критичные риски.
По современной модели контроля готовности такой выпуск потребовал бы дополнительной подготовки и закрытия ключевых инженерных рисков.
Эксперимент
Когда AI выглядит убедительно, но ошибается
В рамках аудита я попробовал автоматически оценить качество всей базы задач по смысловым критериям. Результат выглядел правдоподобно, но независимое ревью показало, что модель подменяет семантический анализ шаблонными объяснениями.
01
Первая итерация
Ошибки в данных, ссылках и правилах оценки.
02
Вторая итерация
Массовая повторяемость обоснований.
03
Третья итерация
Более сложная версия также оказалась псевдосемантической.
Все три версии были отклонены.
В финальный отчёт вошли только проверяемые факты и ограниченные семантические выборки с независимым подтверждением. AI нельзя считать источником истины там, где результат нельзя независимо проверить.
AI governance
AI под контролем инженерных правил
01
Только чтение по умолчанию
Минимальные права доступа и только операции чтения.
02
Сначала доказательства
Каждый вывод связан с источником и статусом доказательности.
03
Машинная валидация
Скрипты проверяют согласованность данных, отчёта и веб-версии.
04
Независимое ревью
AI не может самостоятельно присвоить своему результату статус принятого.
Инструмент
От аудита к работающему инструменту
Результаты собрал не только в документ, но и в интерактивный веб-отчёт: от выводов к находкам, критичным потокам, проверенным артефактам и библиотеке доказательств. Веб-интерфейс разработан самостоятельно с использованием AI в рабочем процессе.
- 15+разделов
- 250+артефактов
- около 80модульных проверок
- около 80E2E-проверок
Переиспользуемый результат
Из разового аудита в методологию
Работа закончилась не отчётом. Подход был упакован в библиотеку мастер-промптов, правила классификации доказательств, шаблоны отчётов и основу следующего проекта.
Критерии приёмки
Обязательная часть постановки задачи.
Контроль перед интеграцией
Ревью и тестирование до интеграции.
Трассируемость
Требование → тест → результат.
Безопасность
Секреты и критичные настройки проверяются до релиза.
Аудит сам проходил такие же контроли: тесты, валидаторы, проверку секретов, согласованности, независимую приёмку и историю отклонённых результатов.
Трансформация
Было → стало
Было
Разрозненные инженерные артефакты
Стало
Связанная доказательная база
Было
Экспертные впечатления
Стало
Проверяемые факты и статусы доказательности
Было
AI генерирует ответ
Стало
AI → проверка → независимое ревью → публикация
Было
Разовый аудит
Стало
Переиспользуемая методология
Результаты
Ключевые результаты
3
версии AI-оценки отклонены
Правдоподобный результат не прошёл независимую валидацию и не был опубликован.
около 20
подтверждённых инженерных находок
Качество, безопасность, тестирование и инженерный процесс.
Библиотека
промптов и контролей
Методология оформлена как повторяемый набор промптов, критериев и проверок, а не как разовый отчёт.
около 20
переиспользуемых инженерных контролей
Методология перенесена в шаблон следующего проекта.
Главный результат: получился не просто отчёт о проблемах завершённого продукта, а проверяемая методология AI-ассистированного инженерного аудита, которую можно повторно применять в других проектах.
Контекст
Инструменты и практики
- GitLab
- TestIT
- Figma
- Astro
- TypeScript
- Tailwind
- LLM / AI
- CI/CD