Jev 1.14 на практике: поиск объектов, проверка документов и кошка среди 96 фотографий

14 октября TypeSafe анонсировала Jev 1.14, добавив экспериментальную поддержку изображений, новый тип вопроса box и расширенный контекст. Ранее модель тестировали только на текстовых задачах.

Автор провёл серию быстрых экспериментов: поиск объектов по описанию, классификацию пород кошек и собак, вопросы по картинке, извлечение банковских реквизитов из документов и запросы с десятками фотографий. Все вычисления обошлись примерно в $2,6.

Самый показательный результат — задача «найти кошку среди собак». При 32 и 96 фотографиях модель ни разу не выбрала правильную фотографию из середины массива. Однако после изменения структуры запроса (те же картинки, тот же порядок) она ответила правильно во всех проверенных случаях. В статье объясняется, почему первый результат легко было истолковать неверно.