Я добавил в схему выдуманную базу данных. Валидатор всё равно сказал PASS
Я взял настоящий open-source проект, построил для него интерактивную схему и получил идеальный результат проверки: девять тестов из девяти, ноль ошибок и ноль предупреждений.
Потом я добавил в схему базу PostgreSQL, которой в проекте нет. Соединил её с настоящим компонентом выдуманной связью. Чтобы подделка выглядела убедительнее, прикрепил к ней ссылки на реальные, но совершенно посторонние строки кода.
Валидатор снова ответил: `PASS`.
Ниже — как я это проверил и какой простой чек-лист теперь использую, прежде чем назвать AI-проект рабочим.
Что я вообще запускал
Archify — open-source инструмент для интерактивных карт архитектуры. Он превращает подготовленное описание проекта в схему: компоненты, связи между ними и ссылки на исходный код.
Для теста я взял не игрушечный пример из документации, а реальный репозиторий `firecrawl/pdf-inspector`. Зафиксировал версию исходников, описал путь PDF-файла через загрузку, извлечение текста, восстановление структуры и дополнительное распознавание сложных страниц.
Получилась карта из 10 блоков, 11 связей и 20 ссылок на конкретные места в коде. Встроенная проверка Archify показала `9/9 PASS`. Я собрал её второй раз — файлы совпали побайтно. То есть результат действительно воспроизводился.
На этом месте очень легко написать: «инструмент проверил архитектуру». Но он пока доказал только другое — что умеет стабильно собрать корректно оформленную карту.
Подкладываю выдуманную базу
В следующую версию я намеренно внёс три изменения:
добавил PostgreSQL, которого нет в репозитории;
нарисовал несуществующую связь с обработкой PDF;
сослался на настоящие строки кода, которые не подтверждают ни базу, ни связь.
Это не опечатка и не сломанный файл. Схема была технически аккуратной, но рассказывала неправду о проекте.
Результат проверки не изменился: те же девять успешных тестов, ноль ошибок и ноль предупреждений.
Почему? Валидатор проверяет, что блоки и связи оформлены правильно, ссылки существуют и данные можно отрисовать. Он не читает весь проект как независимый аудитор и не устанавливает, действительно ли PostgreSQL участвует в работе программы.
`PASS` здесь означает «схема технически валидна», а не «схема говорит правду».
Ещё одна проверка, которую прошёл компьютер, но не экран телефона
Я открыл честную карту на размере 390 × 844 пикселя. Интерфейс загрузился, однако сама схема осталась шире экрана: чтобы разобраться в ней, приходится двигать карту в стороны и постоянно терять общий контекст.
Ни одна техническая галочка не сообщает, удобно ли человеку пользоваться результатом. Это уже отдельная проверка.
Где обычно начинается самообман
После нескольких таких запусков я разделил доказательства на четыре уровня.
1. Изучил. Прочитал README, документацию, код или список изменений. После этого я могу пересказать обещание автора, но не могу говорить, что продукт работает.
2. Посмотрел официальный сценарий. Открыл демо, интерфейс или ролик автора. Это подтверждает существование демонстрации, но не независимую работу на моих данных.
3. Воспроизвёл основной сценарий. Сам установил проект или выполнил ключевое действие и записал цепочку «что было → что сделал → что получилось».
4. Попытался сломать вывод. Повторил результат, подал неудобные или ложные данные, убрал подсказку, проверил пограничный случай. Именно на этом уровне Archify пропустил выдуманную базу.
Разница важна. Например, в браузерной игре Turbo Kart Rush я сам проехал заезд: игра загрузилась, отсчёт сработал, машина управлялась, соперники ехали. Это доказывает, что публичное демо играбельно. Но репозиторий я не собирал, поэтому ничего не утверждаю о локальной сборке и качестве кода.
В DogLM я запустил один опубликованный HTML-пример: подошёл к собаке, нажал `F`, увидел `Woof!`, сердечко и реакцию персонажа. Конкретная сцена работает. Но это не означает, что я повторил все 850 генераций из исследования автора.
У MeeLang и Keeplea я видел официальные интерфейсы, но не проводил собственный многоязычный звонок и не загружал свою коллекцию фотографий. Поэтому для них мой уровень — «изучил и посмотрел», а не «протестировал продукт».
Мой чек-лист перед запуском
До запуска
Какое одно конкретное обещание я проверяю?
Какую реальную проблему должен решить проект?
Какую версию, commit и первичный источник я зафиксировал?
Что придётся отдать проекту: данные, ключи, доступы, деньги и время?
Во время проверки
Устанавливается ли проект по опубликованной инструкции?
Работает ли основной сценарий, а не только стартовый экран?
Можно ли использовать свой пример вместо подготовленного демо?
Что изменилось в цепочке «до → действие → после»?
Сколько времени и ресурсов занял результат?
Проверка на прочность
Повторяется ли результат второй раз?
Что случится с ошибочными, неполными или намеренно ложными данными?
Где заканчивается доказательство и что осталось непроверенным?
Этот список не заменяет аудит безопасности и не превращает вечерний тест в научное исследование. Он решает более бытовую задачу: не даёт перепутать чтение описания, красивое демо и собственный воспроизводимый результат.
Короткий шаблон честного вывода
После проверки я заполняю пять строк:
Я проверил версию или commit: ...
Сделал сам: ...
Наблюдал результат: ...
Это подтверждает: ...
Это не подтверждает: ...
Если последнюю строку заполнить нечем, вывод почти наверняка получился шире доказательств. Для себя я собрал полный чек-лист в PDF: его можно сохранить и открыть перед следующим запуском. А в «Фактосборке» публикую такие проверки целиком — с исходниками, неудачами и границами результата:



















