16 инвариантов и 10 дней атак: как skillmem 0.12 тестировали на прочность две модели

В версии 0.11 мы сорок раз прогоняли код через ИИ-ревьюеров и находили много багов, но каждый ревьюер трактовал «правильность» по-своему. Поэтому в 0.12 начали с другого подхода: сформулировали 16 инвариантов — формальных обещаний нашей MCP-памяти, и дали двум моделям из разных лабораторий десять дней на поиск контрпримеров. Засчитывалось только то, что удалось воспроизвести.

Модели нашли несколько нарушений: например, Windows посчитала NUL терминалом. Рассказано, во что обошлись эти атаки и какие из найденных проблем сознательно оставлены в Known issues. Статья — подробный отчёт об испытаниях на прочность.