Главная / Блог

Блог

Дефицит мощностей для нейросетей

Ажиотаж вокруг генеративного ИИ быстро упирается в доступность GPU и сроки поставки оборудования для дата-центров.

Неудобно получилось, но вот ответ на вопрос, заданный мной три дня назад про серверные мощности для бурного роста нейростей. Мощности кончаются. Никто не закупился заранее в достаточном количестве: https://t.me/quantumquintum/1637

«В некоторых случаях очередь на аренду железа достигает месяца. В нишевых провайдерах загрузка мощностей тоже на пределе.

Бутылочным горлышком оказывается одна компания — Nvidia, поставляющая большую часть чипов. Эксперты отмечают, что, возможно, проблема даже не в цепочках поставки (и производства), а банально в том, что спрос сильно превышает предложение, а облачные провайдеры просто не расширили своевременно свои мощности, потому что не прогнозировали такого бума. Но выполнение новых заказов со стороны той же Nvidia занимает 2-3 месяца. Также отмечается, что компания уже начала отгружать новые чипсеты — H100 NVL, заточенные специально под работу с LLM.»

Хотя я лично пока не замечаю недостатка мощностей и для моих потребностей в моих приложениях всё работает нормально. Но личный RTX 4090 таки взял по «старой» цене, на днях привезут =)

Этот пост впервые вышел в Telegram-канале @zvasilchannel 10 апр 2023. На сайте — для архива и поиска.
Открыть в Telegram →

КОНТАКТЫ

Обсудим ИИ-трансформацию вашей компании.

Напишите через форму на сайте или напрямую в Telegram. Быстро поймём, где ИИ может дать эффект, какой формат подойдёт руководителю или команде и с чего начать.

Менторская консультация

60 000 ₽

  • Диагностика процессов и задач под ИИ
  • Выбор первых внедрений с понятным эффектом
  • Подбор инструментов: Искра, модели, сервисы и автоматизации
  • План действий на 30 / 60 / 90 дней
Записаться