100 миллиардов токенов спустя: разработчик из Кембриджа рассказал о теневой стороне бесплатного LLM-инференса

Разработчик из Кембриджского университета запустил llm7.io почти полтора года назад как личный эксперимент: хотел проверить инженерные навыки и поиграться с инфраструктурой. Сервис изначально был полностью бесплатным инференсом для больших языковых моделей, и за это время через него прошло более 100 миллиардов токенов.

Но популярность обернулась постоянной войной с abuse: спам, массовые регистрации, попытки обойти ограничения и очень специфические пользовательские запросы. По словам автора, это лишь верхушка айсберга. Подробности и, видимо, разбор граблей — в полной версии истории.