Сокращённый текст выступления
Раздел 1
Время в заголовках относится к смонтированной видеозаписи. В начале — 31-секундный тизер. Текст сокращён и отредактирован по записи. Реплики участников переданы без имён.
00:31 · Во сколько раз ИИ ускорил вашу работу?
Я начал встречу с этого вопроса. В чате появились «в два раза», «в пять» и даже «в тысячу». Мой собственный ответ тоже зависит от того, что считать. Есть задачи, на которых я вижу ускорение в пять–десять раз. Если посмотреть на всю мою работу, я бы оценил эффект примерно в полтора раза.
Представьте, что похожий вопрос задали сотрудникам ИИ-лаборатории. Из того, что отдельный исследователь за час пишет код, на который раньше тратил день, ещё предстоит понять, когда появится следующее поколение модели. Эксперимент нужно выбрать, провести и проверить. Даже если код готов утром, исследователь может получить ответ только через неделю. Поможет ли новая модель провести следующий цикл исследований быстрее предыдущего? Именно этот переход меня интересует, когда я говорю о рекурсивном самоулучшении, или RSI.
05:32 · Что было видно на графике до математического прорыва?
Мы открыли график математических способностей моделей и попробовали определить, выдавал ли он приближение результата, о котором OpenAI сообщила в сентябре. Компания представила доказательство и его формализацию для варианта задачи Навье–Стокса с внешней силой. На показанном ряду прогресс выглядел достаточно ровным. Отсюда у меня вопрос к аналогии между математикой и исследованиями ИИ. В математике можно проверить предложенное доказательство. Для каких исследовательских задач мы умеем столь же хорошо проверить результат? На каких человек по-прежнему должен сам сформулировать задачу, выбрать критерий успеха и понять, стоил ли эксперимент затраченных ресурсов?
Представьте, что правый край графика закрыт. По точкам, которые у нас уже есть, вы бы предсказали именно такой результат? Это хороший вопрос и к прогнозу о сингулярности. Когда вы уже знаете, что произошло, последнее наблюдение легко превращается в очевидный знак. Гораздо интереснее записать заранее, какого именно изменения вы ждёте.
15:10 · Почему сотрудники видят 12×, а на графике 1,9×?
Мы разобрали две цифры из оценки METR для Anthropic. Около 12× — средняя субъективная оценка ускорения у сотрудников, ответивших на октябрьский опрос в Slack о самой мощной на тот момент внутренней модели. METR подчёркивает, что такой быстрый опрос даёт лишь приблизительный ориентир. 1,9× получилось из другого наблюдения. На сводном индексе способностей моделей темп прироста сменился примерно с 15 до 29 пунктов в год. Один год при новом темпе даёт почти столько пунктов, сколько давали два при прежнем. Для основного расчёта METR приводит 95%-й доверительный интервал от 1,5× до 2,8×. Индекс охватывает задачи с достаточно чёткими условиями и проверяемыми результатами.
29:46 · С какой лабораторией мы сравниваем сегодняшнюю?
Я попросил участников выбрать базу сравнения. Можно сопоставить лабораторию сегодня с ней же год назад. А какой темп показала бы та же лаборатория сегодня, при нынешних ресурсах, если бы исследователям пришлось работать без помощи ИИ? Чтобы разобраться во вкладе ИИ в создание следующего ИИ, мне ближе второй вопрос. Ответить на него труднее, поскольку такой лаборатории рядом с настоящей у нас нет. На слайдах я показал, как меняется ответ, если принять для неё условные 18 пунктов в год. Деление 29 на 18 даёт примерно 1,6. Эти 18 пунктов я использовал для иллюстрации.
Проблема появляется, когда мы хотим привязать к числу решение. Допустим, в документе написано, что один календарный год теперь вмещает два года прогресса. Что именно решили измерять? На предыдущем участке сводный индекс прибавлял пятнадцать пунктов за год, а теперь почти тридцать. Но одновременно изменились бюджет, число исследователей и инструменты в их руках. Сколько бы эта команда сделала сегодня без помощника? Мы наблюдаем только одну из этих траекторий.
37:20 · Какие механизмы дают одинаковый рост?
Представьте две силы. Первая усиливает рост. Более способная модель помогает исследователям получить ещё более способную модель. Вторая его сдерживает. Простые идеи уже испробовали, и каждый следующий шаг требует больше экспериментов, людей или вычислений. Чтобы различать эти силы, мы рассмотрели четыре условных мира.
- Бюджет. Лаборатория поддерживает темп, вкладывая всё больше ресурсов. Инструменты полезны, но доля исследовательской работы, которую они берут на себя, почти не меняется.
- Искра. Удачная идея или новое применение агентов дают настоящий скачок. После него эффект постепенно исчерпывается. У Дваркеша Пателя мы взяли саму возможность такого рывка. В игре его величина условна.
- Петля. Вклад модели в разработку преемницы растёт от поколения к поколению. Особенно интересен период, в котором закупки вычислительных ресурсов почти не меняются, а темп исследований продолжает расти.
- Узкое место. Агенты успевают предложить больше гипотез, чем лаборатория успевает проверить. Скорость задают доступ к ускорителям, электричество или время ожидания эксперимента.
46:53 · Сколько стоит следующий пункт прогресса?
Для первого мира мы посмотрели на расчёты Алекса Имаса и Луиса Гарикано. По их реконструкции, на сопоставленных временных отрезках темп прироста индекса вырос примерно в 1,9 раза, а расходы на исследования и разработки в пересчёте на год — примерно в 6,2 раза. Получается примерно на 69% меньше пунктов индекса на доллар. В зале обратили внимание, что лаборатория одновременно обслуживает растущий спрос. Кроме того, часть расходов может дать результат с задержкой. По этим агрегатам нельзя вычислить, что случилось бы при отключении ИИ. Зато становится понятно, какие ещё данные стоит искать, прежде чем объяснять ускорение одной причиной.
Из зала предложили посмотреть на выручку. Если спрос и выручка растут, компания может позволить себе больше вычислений. Это интересный ответ на вопрос, как финансировать следующий шаг. Для оценки производительности исследований мне ещё нужно знать, сколько мощностей отдали клиентам, а сколько потратили на эксперименты. Возникла и обратная связь. Клиенты, использующие модель, могут давать команде данные для следующей версии. Одного знаменателя для всех этих вопросов у нас нет.
1:12:31 · Лаборатория под управлением зала
В «Искре» весь зал управлял одной лабораторией. Каждый квартал мы выбирали, куда направить ресурсы. Можно было нарастить вычислительные мощности, отдать больше имеющихся мощностей исследовательским агентам, взять паузу для аудита или остановить разработку. Нас поджимал конкурент. Одновременно действовало данное в игре обещание остановиться, когда собственный вклад ИИ в темп прогресса пересечёт порог 2×.
Мы обсуждали, чего стоит каждый ход. Покупаем мощности — можем быстрее провести больше экспериментов, но счёт за них тоже вырастет. Направляем вычисления агентам — исследовательские инструменты получают больше ресурсов из того же бюджета. Берём паузу — узнаём что-то о вкладе самой модели, а конкурент в этот квартал продолжает работу. Остановиться можно и с неполной информацией. Ради какого знания вы готовы отдать квартал?
Сначала мы купили вычислительные мощности, а на втором ходу дали больше ресурсов агентам. Индекс пошёл вверх. Сотрудники игровой лаборатории уже оценивали своё ускорение примерно в 37 раз. В октябре 2027 года по игровому календарю мы поставили на «Петлю». Несколько следующих кварталов мы снова покупали вычислительные мощности. Лаборатория сохраняла преимущество, индекс продолжал расти, а вот прибавка за квартал начала сокращаться. Если смотреть только на положение последней точки, эту перемену легко пропустить.
1:29:34 · Что открылось после остановки
В конце мы ещё раз дали ресурсы агентам и остановились. К этому моменту ИИ выполнял около 80% исследовательской работы по игровой метрике. За всю партию мы ни разу не потратили ход на аудит. После остановки игра показала собственный множитель ИИ — 2,16× — и преимущество перед конкурентом в четыре месяца. Выпала «Искра». Ранний скачок был настоящим. Чтобы отличить его от самоподдерживающейся петли, пришлось бы узнать, чем он продолжится. Игра засчитала своевременную остановку, хотя наша промежуточная ставка на устройство мира оказалась ошибочной. Так можно принять разумное решение и всё ещё слабо понимать его механизм.
Вот почему мне было интересно услышать, какой один дополнительный показатель вы попросили бы, если бы мы сыграли ещё раз. Одни и те же хорошие цифры оставили нам несколько правдоподобных объяснений. От решения ждали действия раньше, чем объяснение стало однозначным.
1:34:05 · Что сдвинет мой прогноз о RSI?
Мне запомнилось предложение из зала измерять очередь гипотез, которые лаборатория хотела бы проверить, но для которых нет вычислительных ресурсов. Пусть в двух лабораториях одинаково замедлился прирост индекса. В первой хорошие эксперименты стоят в очереди, пока освободятся ускорители. Во второй свободные ускорители есть, но следующую перспективную идею ещё предстоит придумать. Управленческие решения в этих случаях будут разными.
То же относится к прогнозу о RSI. Один участник предложил отодвинуть свой прогноз, если упадёт спрос на GPU. Я спросил, почему именно отодвинуть. Такое движение может означать спад исследовательской активности. Но если при меньшем спросе на GPU лаборатории показывают прежний прирост возможностей, стоит проверить, не стали ли алгоритмы эффективнее. Другим предложением было следить за изменением занятости ИИ-исследователей. Какие задачи при этом перешли моделям и что произошло с результатом работы лаборатории?
Для прогноза я предложил две заготовки. «Я сдвину оценку RSI ближе, если увижу…» и «Я отодвину её, если увижу…». Затем полезно приписать, где именно можно увидеть этот сигнал и какое ещё объяснение дадут те же данные. Тогда к прогнозу можно будет вернуться через год и проверить, что действительно изменилось.
Мы собрали условия, при которых участники пересмотрели бы свои оценки. Единой даты или вероятности RSI в конце встречи мы не выбрали.
1:44:37 · Почему поиск идей может замедлиться
Вернёмся от игровой лаборатории к реальным исследованиям. Чтобы ещё раз удвоить плотность транзисторов и сохранять привычный темп закона Мура, отрасль привлекала всё больше исследователей. У Николаса Блума и его соавторов оценка объёма исследовательских усилий, необходимых для поддержания этого темпа, выросла более чем в восемнадцать раз по сравнению с началом 1970-х. Итоговая кривая долго росла, хотя усилия для такого роста становились всё дороже.
Получится ли то же самое с исследованиями ИИ? Здесь есть важное возражение. В примере с микросхемами идеи искали люди. Если модель начнёт сама предлагать удачные эксперименты и разбирать результаты, может измениться сама стоимость поиска. Тогда мне хотелось бы увидеть, как ведёт себя следующий цикл при сопоставимых ресурсах. Сколько хороших гипотез пришло от модели? Какие удалось проверить? Сколько времени занял весь цикл?
1:51:38 · Чего не видно в отчётах сотрудников
Стоит ли прислушиваться к людям, которые каждый день пользуются самыми сильными внутренними моделями? Конечно. Мы можем узнать, какие задачи они уже поручают агентам и как меняется их рабочий день. Но к рассказу «раньше занимало неделю, а теперь получилось за день» хочется приписать, за чем именно следили. За временем написания кода? За сроком до проверенного результата? За ценностью результата для следующего исследования? У одного и того же человека ответы могут сильно различаться.
Я узнаю это узкое место и в собственной работе. Иногда агент уже готов продолжать, но ждёт моего ответа, пока я сплю или нахожусь в перелёте. Дополнительное ускорение агента тогда мало что меняет в сроке завершения задачи. Поэтому я стал пересматривать, какие решения действительно требуют моего участия и когда агент мог бы спокойно продолжить сам.
1:57:39 · Можно ли проверить свой прогноз позже?
В конце мы обсудили, как фиксировать прогнозы публично. Между лабораторными результатами и рыночной оценкой компании есть много промежуточных факторов. Даже очень высокая оценка сама по себе не отвечает на вопрос, помогла ли предыдущая модель создать следующую. Зато запись с датой, условием и сроком даёт возможность вернуться к собственной гипотезе и увидеть, насколько хорошо ты предсказывал события в своей области.
Первоисточники
- Как METR оценивала возможности внутренних моделей Anthropic и как интерпретировала ответы сотрудников в Slack. https://metr.org/blog/2026-11-05-anthropic-ai-rd-acceleration-assessment/
- Как меняется картина, если поделить прирост индекса на расходы или численность технических сотрудников. https://aleximas.substack.com/p/are-we-approaching-an-intelligence
- Почему Дваркеш Патель переносит опыт математики на проверяемые исследовательские задачи и как из этого выводит свой прогноз. https://www.dwarkesh.com/p/rsi
- Как именно сформулирован математический результат в примере с графиком и где посмотреть доказательство. https://openai.com/index/navier-stokes-solution/
- Откуда взялся пример с микросхемами в обсуждении всё более трудного поиска идей. https://www.aeaweb.org/articles?id=10.1257/aer.20180338