Ключевые выводы
- General Compute привлек $15 млн и собирается развернуть первые в мире облака на инференс‑чипах SambaNova SN50.
- Чипы SambaNova работают в среднем 600‑700 токенов в секунду, что в 2‑3 раза быстрее современных GPU.
- Новый дизайн чипов — воздушное охлаждение и низкое энергопотребление — позволяет размещать их в обычных дата‑центрах и даже в инфраструктуре криптомайнеров.
- Компания делает ставку на модели‑агенты: ускорение инференса сокращает время от часа до 5‑10 минут для кодирующих агентов.
- Партнёрство General Compute – SambaNova сравнивают с коллаборациями CoreWeave‑Nvidia и Groq‑собственного облака, что подтверждает рост рынка инференс‑облачных сервисов.
Спрос на вычислительные мощности для ИИ не утихает, а проблема выбора чипов и их размещения в дата‑центрах становится решающим фактором. General Compute предлагает простой ответ: специализированные инференс‑чипы от SambaNova, которые можно «запихнуть» в существующие серверные стойки без лишних инвестиций в охлаждение.
Почему традиционные GPU уже не хватает для инференса
Сейчас большинство обсуждений о «мощных GPU» сосредоточено на этапе обучения моделей. Но когда модель уже обучена и начинает отвечать пользователям, её требования меняются. Инференс требует быстрых, коротких вычислений и большого объёма памяти для контекста, а не огромных матричных операций, характерных для обучения.
В результате многие компании начали искать альтернативу GPU. Примером служат сделки Nvidia с Groq (≈ $20 млрд) и IPO Cerebras (≈ $57 млрд) — оба игрока пытаются построить более узкоспециализированные решения.
Однако даже у этих гигантов есть проблемы с производственными мощностями. General Compute увидел в этом возможность и стал искать «третьего игрока», который мог бы предложить готовый продукт без длительных очередей.
Ответом стали чипы от SambaNova — компания, подкреплённая капиталом Intel, но пока мало упоминаемая в медиа‑диалогах.
Что представляют собой чипы SambaNova SN50
SambaNova разрабатывает инференс‑процессоры, специально оптимизированные под генерацию текста и другие задачи с высоким контекстом. Их новейший SN50 использует гибкую архитектуру и увеличенный объём микропамяти, что позволяет хранить больше токенов во время расчётов.
По словам CEO General Compute Фина Пукловски, SN50 способен выдавать 600‑700 токенов в секунду, тогда как типичный GPU лишь 250 токенов. Это значит, что запросы, которые раньше обрабатывались за минуту, теперь могут быть выполнены за несколько секунд.
Важно и то, что SN50 охлаждается воздухом и потребляет меньше электроэнергии, чем GPU‑решения с водяным охлаждением. Такой дизайн упрощает интеграцию в стандартные серверные стойки и уменьшает капитальные затраты.
General Compute уже разместил заказ на $300 млн чипов SN50 и собирается стать первым «неоклоудом», который будет предлагать их клиентам в аренду.
Как General Compute планирует размещать оборудование
Компания решила не тратить бюджеты на строительство собственных дата‑центров, а сосредоточиться на колокации: размещении своего оборудования в уже построенных площадках. Помимо традиционных провайдеров, General Compute предлагает партнёрство криптомайнерам.
Майнеры ищут новые способы монетизировать свои фермы, особенно когда прибыль от биткоина падает. Чипы SN50, будучи менее энергозатратными, отлично вписываются в их инфраструктуру, превращая «мёртвый» хешрейт в доход от ИИ‑задач.
Первые клиенты уже используют облако General Compute для запуска MiniMax 2.7 — открытой большой языковой модели, и заявляют о рекордных скоростях инференса.
Таким образом, модель «оборудование‑как‑услуга» + «готовые площадки» позволяет компании быстро масштабировать мощность без долгих строительных проектов.
Инвестиции и рынок инференс‑облачных сервисов
В раунде Series A General Compute собрал $15 млн, получив поддержку FUSE VC, Carya Venture Partners и Village Global Ventures. Инвестор Джо Хасселман (основатель фондов Evercrest Partners) отметил, что партнерство с SambaNova напоминает схожие модели с CoreWeave‑Nvidia и Groq‑облачными сервисами.
Эксперты считают, что будущее инференса будет состоять из множества небольших моделей и агентов, где главными конкурентными преимуществами станут скорость и стоимость вычислений. Примером может служить OpenRouter, который недавно привлёк $113 млн в Series B, предлагая клиентам доступ к множеству моделей для оптимизации токен‑расходов.
Ускорение инференса открывает новые сценарии: от кодирующих агентов, которым теперь хватает 5‑10 минут вместо часа, до голосовых помощников в кол‑центрах, где задержка должна быть минимальной.
«Если вы используете ChatGPT со скоростью 50 токенов в секунду, это уже быстрее, чем человек читает», — говорит Пукловски. «Но в эпоху агент‑к‑агенту даже этого мало, нужен настоящий рывок в скорости».
Справка
General Compute — стартап, основанный в 2023 году Фином Пукловски (CEO) и Джейсоном Гудисоном (CTO). Компания специализируется на аренде вычислительных мощностей для инференса ИИ‑моделей. В 2024 году привлекла $15 млн посевного раунда и объявила о планах развертывания облака на чипах SambaNova SN50.
SambaNova Systems — американская фирма, основанная в 2017 году, получившая инвестирование от Intel. Разрабатывает специализированные процессоры для инференса ИИ, фокусируясь на высокопроизводительном хранении контекста и низком энергопотреблении. Продукт SN50 считается самым продвинутым из их линейки.
Finn Puklowski — со‑основатель и CEO General Compute. До основания стартапа работал в сфере облачных инфраструктур и инвестиций в AI‑проекты. Отвечает за стратегическое партнерство с SambaNova и развитие колокационных моделей.
Jason Goodison — со‑основатель и CTO General Compute. Специалист по системной архитектуре и масштабируемым вычислениям. Руководит интеграцией SN50 в облачную платформу и оптимизацией инференс‑пайплайнов.
Joe Hasselman — венчурный инвестор, соучредитель фонда Evercrest Partners, ранее инвестировал в Groq (2021). Является первым инвестором General Compute, считает, что синергия между компанией и SambaNova поможет ускорить развитие инференс‑облаков.
MiniMax 2.7 — открытая крупная языковая модель (LLM) с 2.7 млрд параметров, созданная сообществом разработчиков. General Compute использует её в качестве тестового бенчмарка, демонстрируя лидирующую скорость инференса на своих новых чипах.
Итого, General Compute предлагает простой и экономичный путь к быстрым AI‑сервисам: специализированные чипы, лёгкое размещение и гибкие цены. Если вы ищете способ ускорить работу своих моделей без капитальных вложений в новые дата‑центры — стоит обратить внимание на эту комбинацию.
