Все кейсы
Профессиональный кейсЗавершено

AI · Качество · Инженерные процессы

AI-ассистированный инженерный аудит цифрового продукта

Самостоятельно провёл ретроспективный аудит завершённого Android-продукта: от требований и ревью кода до тестирования, безопасности, CI/CD и готовности к выпуску.

AI использовался для исследования и анализа, но в итоговый отчёт попадали только проверяемые выводы.

Масштаб

Масштаб аудита

  • около 300

    задач и связанных артефактов

    Полный фактический перечень и выборочная проверка смысла.

  • 2,5 тыс.+

    файлов кодовой базы

    Статический анализ и разбор критичных потоков.

  • около 20

    запросов на слияние кода

    История изменений и доказательства ревью кода.

  • около 40

    ручных тест-кейсов

    Тестовая база, предусловия и тестовые данные.

  • несколько

    критичных пользовательских потоков

    Аутентификация, платежи, сессии и сеть.

  • около 20

    подтверждённых инженерных находок

    Качество, безопасность и инженерный процесс.

Контекст

Проверить инженерную систему, а не отдельных людей

Разработка мобильного продукта была завершена. Требовалось восстановить фактическую картину инженерного процесса: постановку задач, ревью кода, тестирование, трассируемость, безопасность и подготовку к выпуску.

Результат должен был быть не разовым отчётом, а воспроизводимой моделью инженерного аудита с использованием AI для следующих проектов.

Моя роль

Самостоятельный полный цикл аудита

Самостоятельно спроектировал и провёл весь рабочий цикл аудита, используя AI как инструмент исследования, разработки, анализа и проверки.

  1. Методология

    01

    Критерии качества, модель доказательности, правила выборки и готовности к выпуску.

  2. Инженерный аудит

    02

    Требования, задачи, код, ревью изменений, тестирование и критичные потоки.

  3. AI и проверка

    03

    Сбор фактов, анализ больших объёмов, гипотезы, машинная валидация и независимое ревью.

  4. Переиспользуемый результат

    04

    Веб-отчёт, библиотека промптов, стандарты, контроли и шаблоны следующих аудитов.

Сквозной аудит

Что проверялось

  1. 01

    Требования и постановка задач

    Полнота описаний, критерии приёмки, тестируемость, связь с дизайном и негативные сценарии.

    Большинство задач содержали описание, но единообразие критериев приёмки и трассируемости было недостаточным.

  2. 02

    Ревью кода и процесс изменений

    История запросов на слияние кода сопоставлялась с заявленным процессом ревью и инженерными артефактами.

    Формального наличия процесса оказалось недостаточно: для части изменений не хватало доказательств воспроизводимого контроля перед интеграцией.

  3. 03

    Код и критичные пользовательские потоки

    Статический анализ более 2,5 тыс. файлов и разбор аутентификации, платежей, сессий и сетевого взаимодействия.

    Рискованные сценарии рассматривались вместе с кодом и доступной тестовой моделью.

  4. 04

    Безопасность

    Подтверждённые риски в работе с секретами, сетевым логированием, сессионными данными и отдельными платёжными сценариями.

    Для каждой находки фиксировались критичность, доказательность и способ дополнительной проверки.

  5. 05

    Тестирование и трассируемость

    Ручная тестовая база существовала и была структурирована, но предусловия, тестовые данные и связь «требование → тест» требовали усиления.

    Тестовые артефакты существовали отдельно от части продуктового контекста.

  6. 06

    Готовность к выпуску

    Проверялись тестирование, трассируемость, примечания к выпуску, план отката, ревью кода и критичные риски.

    По современной модели контроля готовности такой выпуск потребовал бы дополнительной подготовки и закрытия ключевых инженерных рисков.

Эксперимент

Когда AI выглядит убедительно, но ошибается

В рамках аудита я попробовал автоматически оценить качество всей базы задач по смысловым критериям. Результат выглядел правдоподобно, но независимое ревью показало, что модель подменяет семантический анализ шаблонными объяснениями.

  1. 01

    Первая итерация

    Ошибки в данных, ссылках и правилах оценки.

  2. 02

    Вторая итерация

    Массовая повторяемость обоснований.

  3. 03

    Третья итерация

    Более сложная версия также оказалась псевдосемантической.

Все три версии были отклонены.

В финальный отчёт вошли только проверяемые факты и ограниченные семантические выборки с независимым подтверждением. AI нельзя считать источником истины там, где результат нельзя независимо проверить.

AI governance

AI под контролем инженерных правил

  1. 01

    Только чтение по умолчанию

    Минимальные права доступа и только операции чтения.

  2. 02

    Сначала доказательства

    Каждый вывод связан с источником и статусом доказательности.

  3. 03

    Машинная валидация

    Скрипты проверяют согласованность данных, отчёта и веб-версии.

  4. 04

    Независимое ревью

    AI не может самостоятельно присвоить своему результату статус принятого.

Инструмент

От аудита к работающему инструменту

Результаты собрал не только в документ, но и в интерактивный веб-отчёт: от выводов к находкам, критичным потокам, проверенным артефактам и библиотеке доказательств. Веб-интерфейс разработан самостоятельно с использованием AI в рабочем процессе.

  • 15+разделов
  • 250+артефактов
  • около 80модульных проверок
  • около 80E2E-проверок

Переиспользуемый результат

Из разового аудита в методологию

Работа закончилась не отчётом. Подход был упакован в библиотеку мастер-промптов, правила классификации доказательств, шаблоны отчётов и основу следующего проекта.

  1. Критерии приёмки

    Обязательная часть постановки задачи.

  2. Контроль перед интеграцией

    Ревью и тестирование до интеграции.

  3. Трассируемость

    Требование → тест → результат.

  4. Безопасность

    Секреты и критичные настройки проверяются до релиза.

Аудит сам проходил такие же контроли: тесты, валидаторы, проверку секретов, согласованности, независимую приёмку и историю отклонённых результатов.

Трансформация

Было → стало

  1. Было

    Разрозненные инженерные артефакты

    Стало

    Связанная доказательная база

  2. Было

    Экспертные впечатления

    Стало

    Проверяемые факты и статусы доказательности

  3. Было

    AI генерирует ответ

    Стало

    AI → проверка → независимое ревью → публикация

  4. Было

    Разовый аудит

    Стало

    Переиспользуемая методология

Результаты

Ключевые результаты

  • 3

    версии AI-оценки отклонены

    Правдоподобный результат не прошёл независимую валидацию и не был опубликован.

  • около 20

    подтверждённых инженерных находок

    Качество, безопасность, тестирование и инженерный процесс.

  • Библиотека

    промптов и контролей

    Методология оформлена как повторяемый набор промптов, критериев и проверок, а не как разовый отчёт.

  • около 20

    переиспользуемых инженерных контролей

    Методология перенесена в шаблон следующего проекта.

Главный результат: получился не просто отчёт о проблемах завершённого продукта, а проверяемая методология AI-ассистированного инженерного аудита, которую можно повторно применять в других проектах.

Контекст

Инструменты и практики

  • GitLab
  • TestIT
  • Figma
  • Astro
  • TypeScript
  • Tailwind
  • LLM / AI
  • CI/CD
Следующий кейсПерестройка регресса цифрового банка