100 000 постов Hacker News: как LLM помог найти тренды IT-сообщества за два года

Hacker News — главный пульс мирового техносообщества, но из-за огромного потока постов сложно увидеть системные тренды: качественные статьи тонут в шуме, а нужные темы перемешиваются с неинтересными. Автор решил это исправить и написал программу на Python, которая через официальный API парсит посты, строит эмбеддинги вместе с комментариями, кластеризует их и отдаёт LLM для суммаризации.

Таким образом он обработал 100 000 постов Hacker News за последние 693 дня. На выходе получилось более 1000 кластеров, более 10 миллионов апвоутов, более 27 тысяч авторов и всего 0,1% выбросов. В статье автор разбирает, какие тренды были активны в мировом IT-сообществе за два года — от отношения к Rust и AI до Open Source.