Неискусственный интеллект

Не прошли в FSB В июне международный Совет по финансовой стабильности (FSB) предложил банкам стран "большой двадцатки" перенести кадровые процедуры на ИИ-агентов и обращаться с ними как с «синтетическими сотрудниками». Звучало удобно: выдать цифровому коллеге идентификатор, полномочия и начальника, а затем контролировать примерно как человека. Метафора продержалась четыре месяца. После консультации, собравшей около 160 ответов от банков, страховщиков, платёжных компаний и разработчиков, из финального документа она исчезла. Теперь FSB прямо предупреждает: агенты «не рассуждают как люди и могут неожиданно интерпретировать заранее заданные цели». Их поведение способно меняться после подключения новых инструментов или получения новых промптов. Поэтому вместо цифрового отдела кадров банкам стран G20 предлагают строить для агентов отдельный контур технического контроля: ▪️ограничивать доступ только необходимыми API, данными и системами; ▪️ требовать одобрения человека перед крупной транзакцией или необратимым действием; ▪️ разбивать задачу на этапы и не пускать агента дальше, пока не пройдена проверка; ▪️ ослеживать выход за первоначальные полномочия и обращения к лишним данным; ▪️ тестировать kill switch, способный остановить агента или отобрать у него доступ к инструментам и базам. FSB отдельно советует не полагаться на объяснения самого агента: отчёты о выполненных действиях следует сверять с независимыми журналами из-за риска галлюцинаций или обмана. А если одного агента контролирует другой, нужно проверять уже и систему надзора — чтобы не получить два вероятностных алгоритма, уверенно подтверждающих ошибки друг друга. @anti_agi

🤖 AID — AI-дайджест от @anti_agi Доходность облигаций CoreWeave с погашением в 2032 году подскочила почти до 15%. С таким процентом рынок кредитует компании, в способность которых вернуть долг он не очень верит. Акции CoreWeave вчера упали на 15,5%, Nebius — на 10%, Oracle — на 8,8%. Чамат Палихапития увидел в этом предвестие пузыря частного кредита в ИИ, Илон Маск ответил в X коротким «yikes». CEO CoreWeave Майкл Интратор написал сотрудникам, что рынок ведёт себя «иррационально» и портфель контрактов покрывает все обязательства. Обязательства с учётом аренды, между тем, уже достигли $52 млрд. Масла в огонь подлил Gartner, посчитавший, что списания ИИ-капитала к 2032 году могут превысить $4 трлн. В этом году на ИИ-инфраструктуру потратят около $1 трлн, в 2027–2030 годах ещё $6 трлн. Чтобы это окупилось с доходностью 12%, нужно $8,5 трлн выручки, а ИИ-дата-центры заработают не больше $3,6 трлн. Из неооблаков (вроде CoreWeave) 80% не доживут до 2030 года самостоятельными компаниями. Жару подает и сентябрьская инфляция в США: цены выросли год к году на 3,7% по сравнению с 3,4% в августе. Глава ФРБ Чикаго Остан Гулсби накануне предупреждал, что ИИ-инфляция перекинулась с серверных компонентов на землю, электричество и стройку, и назвал это «классическим перегревом». Перегрев означает повышение ставки, а с ним долг станет ещё дороже. Доходность 10-летних облигаций вчера внутри дня превышала 5,32%. На этом фоне Apple впервые закрылась с капитализацией выше $5 трлн. Видимо, лучшая ИИ-стратегия — не тратить на ИИ. Экономят, впрочем, и те, кто тратит. Глава Azure Гириш Баблани попросил руководителей подготовить сокращение затрат минимум на 20%. Выручка Azure растёт на 40% в год, но капзатраты Microsoft за финансовый год составили $145,3 млрд, и деньги на дата-центры приходится искать внутри. Сама Microsoft назвала публикацию «неточной и небрежной». Для предстоящего IPO Anthropic это не самый благоприятный фон, конечно. На закрытом дне инвестора компания отчиталась о успехах, в @antidigital эти успехи уже разобрали. У главного конкурента Anthropic тем временем продолжаются мытарства. Восемь штатов, от Айовы до Западной Вирджинии, подали иски: по их словам, ChatGPT подталкивал подростков к самоповреждению и помогал планировать насилие. Среди требований есть запрет разрабатывать самоулучшающиеся модели, пока компания не докажет их безопасность. А ИИ-офис Еврокомиссии направил OpenAI и Anthropic запросы о летних инцидентах, когда агент OpenAI взломал Hugging Face , а модель Anthropic получила доступ к трём сторонним организациям. С Apple, которая обвиняет её в краже секретов, OpenAI перешла в контрнаступление. Теперь она утверждает, что её бывший сотрудник перед уходом в Apple переслал себе больше 100 файлов о неанонсированном устройстве, а потом презентовал этот продукт топ-менеджменту купертиновцев. Секреты самой Apple OpenAI при этом пообещала не использовать. Тем временем из OpenAI, чтобы «начать что-то новое», уходит Сачин Катти, который отвечал за вычислительные мощности при плане расходов в $750 млрд до 2030 года. Тоже наверное унесет что-то в это «новое». 🇨🇳 Apple Intelligence выйдет в материковом Китае в декабре, на моделях Alibaba и без ИИ-функций Siri. Министерство промышленности и информатизации КНР одобрило Apple Intelligence и две модели Alibaba: Tongyi Qianwen и Tongyi Wanxiang. Китайские приложения тем временем дружно закрываются от чужих ИИ-агентов. 151 приложение отказалось пускать ассистента Doubao от ByteDance: 65 из них принадлежат Tencent, включая WeChat, 23 — Alibaba. 🇷🇺У нас в России AIANA прогнозирует, что рынок компьютерного зрения в этом году вырастет на 29%, до 28,4 млрд руб. Крупнейший заказчик — государство, на него приходится 32,5% выручки.

Курение вредит вашему здоровью Но ИИ всех спасет Наверное Технический директор Palantir Шьям Санкар рассказал в эфире на CBS, что многие ИИ-исследователи начали курить, чтобы показать коллегам, как сильно верят в ИИ: раз он вылечит рак, можно идти ва-банк. Ведущая Маргарет Бреннан успела вставить, что в этом нет никакого смысла. Имен, цифр или хотя бы одного конкретного случая Санкар не привел. Курильщики понадобились ему для тезиса покрупнее. По версии Санкара, дискуссию о безопасности ИИ направляет эффективный альтруизм, милленаристский культ судного дня, к которому принадлежит подавляющее большинство из примерно 2 000 американских исследователей ИИ. Их оценки вероятности гибели человечества он поэтому относит к теологии, а не к науке. Дыру в форме бога, о которой писал Паскаль, в Кремниевой долине, по его словам, заполнили машинным богом AGI. Итог у него такой: массовый психоз и социальное помешательство. Сам Palantir при этом не подписал обязательства Белого дома о внутреннем контроле и внешнем аудите, под которыми подписались Google, Anthropic, OpenAI, NVIDIA и Илон Маск. По словам Санкара, соглашение было для тех, кто делает модели. Пентагон отказался от Anthropic после спора об ограничениях на военное применение ИИ. Claude в платформе Palantir Maven, по словам Санкара, уже заменили, и это ни на что не повлияло. Алармисты, по словам Санкара, ошибались во всем: к этому времени они обещали массовую безработицу, а экономисты вместо нее видят рост занятости. Через пару минут Бреннан спросила, не стоит ли США притормозить. Санкар ответил, что индустрия и так притормаживает: некоторые передовые модели сейчас не выпускают, потому что разработчики сочли, что выпускать их, возможно, рано. С этим вряд ли поспорят те, кого он в начале интервью записал в культ судного дня. @anti_agi