Ключевые выводы
- Forum AI собирает экспертов‑экспертов, чтобы построить масштабируемые бенчмарки для «высоких ставок» тем, где нет однозначных ответов.
- Цель проекта – достичь 90 % согласия ИИ‑судей с человеческими экспертами, уже достигнуто в нескольких областях.
- Текущие модели часто показывают политический и культурный сдвиг, используют неподходящие источники и упускают контекст, поэтому нужны «простые исправления» и более глубокий аудит.
Искусственный интеллект уже влияет на то, как мы узнаём новости и принимаем решения. Campbell Brown и её стартап Forum AI пытаются заставить этот процесс работать честно, а не просто «по‑своему». Их подход соединяет живой опыт журналистики, экспертизу в сфере политики и практику аудита в бизнесе.
Кем является Campbell Brown?
Campbell Brown — это человек, который всю жизнь гоняется за точной информацией. Сначала она стала известной журналисткой на телевидении, позже возглавила отдел новостей в Facebook**, став первым и единственным «news chief» в истории компании. После того как в 2022‑м году появился ChatGPT, она увидела, как ИИ может стать «вёдером», через который будет протекать весь информационный поток.
Увидев, что качество ответов от языковых моделей оставляет желать лучшего, Браун решила не ждать, пока кто‑то другой исправит ситуацию, а основала собственный стартап — Forum AI.
Что делает Forum AI?
Forum AI — это компания, базирующаяся в Нью‑Йорке, которая оценивает, насколько большие фундаментальные модели (LLM) способны отвечать на «высокоструктурные» темы: геополитика, психическое здоровье, финансы, подбор персонала и пр. Такие темы «не имеют чёрно‑белых ответов», они «мутные, нюансированные и сложные».
Для проверки моделей Forum AI нанимает мировых экспертов, которые вместе с компанией проектируют бенчмарки. Затем ИИ‑суды обучаются оценивать ответы модели и сравниваются с оценкой экспертов. Цель — достичь примерно 90 % согласия, и по заявлению компании это уже происходит.
Кто помогает проектировать бенчмарки?
В работе над геополитикой к команде Браун присоединились: Niall Ferguson (историк), Fareed Zakaria (политический аналитик), бывший госсекретарь Тони Блинкен, бывший спикер Палаты представителей Кевин Маккарти, а также Энн Нойбергер (руководитель кибербезопасности в администрации Обамы). Их задача — прописать, какие ответы считаются «правильными», а какие — могут ввести в заблуждение.
Почему сейчас так важно проверять ИИ?
Первый запуск Forum AI пришёлся на период, когда крупные компании‑разработчики ИИ сосредоточились в первую очередь на коде и математических задачах, а не на качестве новостного контента. Как показали первые тесты, крупные модели иногда используют материалы из сайтов Коммунистической партии Китая для тем, не связанных с Китаем, а также демонстрируют уклон в сторону левого политического спектра.
Кроме того, модели часто «упускают контекст», «не учитывают альтернативные точки зрения» или «представляют аргументы в упрощённом виде, не признавая их сложности». Это приводит к тому, что обычный пользователь получает «мусорные» ответы, которые могут влиять на важные решения.
Какие «простые исправления» предлагает Браун?
- Обязательное включение проверенных источников в процесс генерации ответов.
- Регулярный аудит моделей на предмет политической и культурной предвзятости.
- Развитие системы обратной связи, где эксперты могут быстро поправлять ошибки модели.
Как бизнес может стать союзником в решении проблемы?
Браун считает, что крупные предприятия, использующие ИИ для кредитования, страхования или подбора персонала, заинтересованы в том, чтобы их алгоритмы не давали «неправильных» решений, иначе они могут столкнуться с юридической ответственностью.
Эти компании могут платить за более глубокие аудиты, чем простые чек‑лист‑проверки, которые, по словам Браун, сегодня «шутка». Реальный аудит требует экспертизы в конкретных доменах, а не только общих знаний.
Сложности и перспективы рынка аудита ИИ
Нью‑Йорк недавно принял закон, требующий проверки ИИ на предвзятость при найме. Однако уже после внедрения этого закона аудиторы обнаружили, что более половины компаний имели незамеченные нарушения. Это подчёркивает, что текущие методы слишком поверхностны.
Forum AI планирует построить бизнес‑модель вокруг постоянных «доменных» аудитов, где каждое новое приложение ИИ проходит через экспертный контроль перед запуском.
Справка
Campbell Brown — бывший главный редактор новостей в Facebook**, журналистка CNN и MSNBC, автор книг о медиа‑этике. После ухода из Meta* в 2022 году основала Forum AI, привлекая инвестиции от Lerer Hippeau.
Forum AI — стартап, основанный в 2022 году в Нью‑Йорке, фокусируется на проверке правдивости ИИ‑моделей в «высокоструктурных» темах. Привлек 3 млн долларов от венчурного фонда Lerer Hippeau.
Niall Ferguson — британский историк, профессор истории в Гарварде, известен своими работами о финансовой истории и глобальной системе.
Fareed Zakaria — политический аналитик, телеведущий CNN, автор книг о международных отношениях и геополитике.
Тони Блинкен — бывший госсекретарь США (2021‑2023), дипломат с более чем 30‑годичным стажем, ныне председатель совета советников Forum AI по международным вопросам.
Искусственный интеллект уже меняет то, как мы получаем и проверяем информацию. Campbell Brown и Forum AI показывают, что без реального человеческого контроля машины могут стать источником дезинформации. Их подход — сочетание экспертных бенчмарков и бизнес‑аудита — может стать тем самым «мостом», которого не хватает в современной AI‑экономике.
