Ключевые выводы
- AutoScientist автоматически подбирает лучшие наборы данных и параметры модели, ускоряя обучение новых возможностей.
- Компания Adaption Labs предлагает сервис бесплатно на первые 30 дней, чтобы пользователи могли оценить рост эффективности.
- Технология ориентирована на «frontier AI» – модели последнего поколения, где традиционные бенчмарки не применимы.
Исследователи уже давно мечтали о системе, которая умеет сама улучшать себя. AutoScientist – первый практический шаг к этой мечте: он объединяет адаптивные данные и автоматический fine‑tuning, позволяя быстро обучать передовые ИИ‑модели без глубоких экспериментов.
Что такое AutoScientist и зачем он нужен?
AutoScientist – новый продукт от американского стартапа Adaption Labs. По сути, это платформа, которая автоматически «кормит» модель нужными данными и подбирает оптимальные гиперпараметры, чтобы за пару дней получить работающий «способный» ИИ‑агент.
Традиционный fine‑tuning требует ручного подбора датасетов, настройки обучающих циклов и многократных попыток. AutoScientist автоматизирует каждый из этих шагов, используя собственный сервис Adaptive Data, который собирает и улучшает наборы данных в режиме реального времени.
Главный выгодный пункт – совместная оптимизация данных и модели. Система «учится учиться»: она определяет, какие примеры лучше всего показывают нужный навык, и одновременно настроивает архитектуру модели, чтобы извлечь из этих примеров максимум.
Для исследователей и компаний, работающих с крупными языковыми моделями (LLM), это может означать сокращение расходов на облачные вычисления и ускорение вывода новых функций на рынок.
Как работает автоматический подход к fine‑tuning?
Алгоритм AutoScientist построен на трёх основных этапах:
1️⃣ Сбор и адаптация данных. Сервис Adaptive Data continuously crawls открытые источники, аннотирует их и формирует наборы, релевантные выбранной задаче. Каждый набор получает метку «качество», основанную на результатах предварительных тестов.
2️⃣ Поиск конфигурации модели. На основе данных система генерирует несколько вариантов гиперпараметров (learning rate, batch size, количество эпох) и запускает короткие обучающие пробеги.
3️⃣ Оценка и co‑optimisation. Результаты всех пробегов сравниваются, выбирается лучшая комбинация данных + параметров, после чего модель дообучается до требуемой точности.
Плюс к этому AutoScientist умеет «переподбирать» данные по ходу обучения – если модель начинает переобучаться, система заменяет часть примеров более «свежими».
Почему традиционные бенчмарки не подходят?
Для большинства публичных ИИ‑инструментов эффективность измеряется через такие тесты, как SWE‑Bench (для генерации кода) или ARC‑AGI (логические задачи). AutoScientist же ориентирован на специфические задачи, где нужны узконаправленные навыки – например, генерировать химические формулы, писать юридические контракты или помогать в научных расчётах.
Поскольку система подстраивает модель под конкретный кейс, сравнивать её с универсальными метриками бессмысленно. Вместо этого компания публикует «win‑rate» – процент успешных попыток решить целевую задачу по сравнению с базовой моделью. По их заявлению, AutoScientist удваивает этот показатель в разных сценариях.
Что говорят основатели?
Со‑основатель и CEO Adaption Labs Сэра Хукер (Sara Hooker) раньше возглавляла AI‑исследования в Cohere. В интервью она объясняет, что главная идея продукта – дать возможность «успешных» тренировок «за пределами крупных лабораторий». По её словам, автоматизация открывает путь небольшим стартапам и академическим группам к работе с передовыми моделями без огромных бюджетов.
«То же, что генерация кода дала толчок к новым задачам, AutoScientist откроет простор для инноваций в любой научной области», – добавляет Хукер.
Как протестировать AutoScientist?
Adaption Labs предлагает бесплатный пробный период – 30 дней без ограничений. Чтобы начать, достаточно зарегистрироваться на сайте, загрузить небольшой набор примеров задачи и ждать, пока система создаст обучающий пайплайн. По окончании периода пользователи получают отчёт о достигнутом улучшении и могут решить, стоит ли переходить на платный тариф.
Для тех, кто уже работает с Adaptive Data, переход на AutoScientist особенно прост: существующие наборы автоматически подключаются к новому процессу обучения.
Плюсы и потенциальные риски
Плюсы:
- Сокращение времени от идеи до работающего прототипа (от недель до дней).
- Экономия вычислительных ресурсов благодаря целенаправленному обучению.
- Доступность для небольших команд без экспертов в машинном обучении.
Риски:
- Зависимость от качества исходных данных – «мусор» в Adaptive Data может привести к плохим результатам.
- Отсутствие публичных бенчмарков усложняет сравнение с другими инструментами.
- Автоматизация может скрывать детали модели, важные для объяснимости (XAI).
Справка
Adaption Labs – американский стартап, основанный в 2023 году, специализируется на инструментах для автоматизации сбора и подготовки данных (Adaptive Data) и автоматизированного обучения моделей. Компания привлекла несколько десятков миллионов долларов от венчурных фондов, фокусируясь на «frontier AI» – моделях уровня GPT‑4 и выше.
Sara Hooker (Sara Hooker) – со‑основатель и CEO Adaption Labs, ранее вице‑президент по AI‑исследованиям в Cohere. Имеет степень PhD в области машинного обучения от Стэнфорда, автор более 30 публикаций о дифференциальных методах обучения.
Adaptive Data – сервис от Adaption Labs, который собирает, очищает и аннотирует данные под конкретные задачи, постоянно улучшая их качество через обратную связь от моделей.
AutoScientist – продукт, построенный на базе Adaptive Data, автоматизирует fine‑tuning моделей, одновременно оптимизируя наборы данных и гиперпараметры.
Frontier AI – термин, обозначающий передовые крупномасштабные модели искусственного интеллекта (LLM, multimodal), которые требуют огромных вычислительных ресурсов и продвинутых методов обучения.
AutoScientist пока в бета‑версии, но уже показывает, как можно ускорить экспериментальную работу с передовыми ИИ‑моделями. Если вы хотите протестировать новую задачу без больших вложений в инфраструктуру – стоит попробовать бесплатный период и сравнить результаты с традиционным fine‑tuning.
