ИИ-поиск на один и тот же вопрос выдаёт совершенно разные списки компаний — проверка на трёх запросах

Автор задал ИИ-поиску один и тот же вопрос про мастера на дом трижды, ничего не меняя в формулировке. Первый раз нейросеть назвала 9 компаний, второй — 12, третий — 7. Из 15 уникальных сайтов, появившихся хотя бы в одном ответе, общими для всех трёх попыток оказались только пять. Более того, между первым и третьим запросом не было ни одного совпадения.

Такая нестабильность делает бессмысленными отчёты вроде «вас упоминают в 20% ответов», основанные на единичном замере. Рост с 20% до 25% через месяц может быть просто статистическим шумом. Автор признаётся, что сам попался на эту ловушку в прошлой статье и теперь отзывает свою цифру.

Что измерять надёжно? Автор предлагает проверять охват иными методами: например, задавать три разных запроса, смотреть пересечение, а не полагаться на один прогон. В статье также есть практические советы подрядчикам и методика самостоятельной верификации за десять минут без затрат.