Карта AI safety: 323 события, 129 участников и сдвиг от филантропии к государству

В открытом доступе появилась карта генеалогии AI safety, охватывающая 323 задокументированных события, 129 участников и 18 направлений за период с 2005 по июнь 2026 года. Анализ показал несколько неочевидных закономерностей: деньги и внимание к направлениям практически не совпадают по времени.

Например, к направлению интерпретируемости интерес примерно в 37 раз выше, чем можно было бы ожидать при его скромном финансировании около $1 млн. С governance ситуация обратная — финансирование шло впереди публикаций. К 2023 году государственные деньги обошли филантропию: если раньше поле держалось на одном доноре, то теперь полдюжины национальных институтов (UK AISI, ARIA, Канада, Австралия, NSF, ЕС) сделали его международным. Параллельно появились венчурные инвестиции в safety-стартапы — около $268 млн, которые ждут возврата, а не гранта.

2024 год стал рекордным по числу новых организаций — их появилось 24, в основном небольшие команды по 1–5 человек, работающие над интерпретируемостью, AI security, мониторингом chain-of-thought. При этом слово «Safety» постепенно уходит из названий: UK AI Safety Institute стал AI Security Institute, US AI Safety Institute — CAISI, а Open Philanthropy сменила имя на Coefficient Giving.

Интересно, что направления не столько умирают, сколько трансформируются: reward modeling с 2017 года не имело собственных событий, но под именем RLHF дожило до 2025-го. Чаще всего направление растворяется в чём-то большем или уходит на второй план.