Главная / Блог

Блог

Зачем запускать нейросети на домашнем GPU

Локальные модели уступают в качестве, но дают больше свободы и требуют видеокарты с достаточной памятью.

Зачем запускать нейросети на домашнем GPU

Есть мнение, что для увлеченных нейросетями сейчас самое время приобретать мощные компьютеры с GPU.
На примере Stable Defusion, LLAMA/alpaca и опенсорсных инициатив типа Mozilla.ai понятно, что:\

  1. Large модели невозможно тренировать локально, но вполне можно запускать локально.\
  2. Локальные модели будут запаздывать по качеству, но не сильно. И будут свободнее, доступнее для личного пользования, разнообразнее по настройкам.\
  3. На обычном компьютере можно запустить только сильно урезанные версии, для нормальных версий нужен GPU с большой видеопамятью (самое мощное что есть сейчас — это RTX4090 с 24GB видеопамяти)

Разработчики, которые занимаются прорывными нейросетями, выросли на правильных книгах, подозреваю, они рады делать информацию свободной. Поэтому мы ещё увидим сливы нейросетевых моделей на торрентах.

Этот пост впервые вышел в Telegram-канале @zvasilchannel 08 апр 2023. На сайте — для архива и поиска.
Открыть в Telegram →

КОНТАКТЫ

Обсудим ИИ-трансформацию вашей компании.

Напишите через форму на сайте или напрямую в Telegram. Быстро поймём, где ИИ может дать эффект, какой формат подойдёт руководителю или команде и с чего начать.

Менторская консультация

60 000 ₽

  • Диагностика процессов и задач под ИИ
  • Выбор первых внедрений с понятным эффектом
  • Подбор инструментов: Искра, модели, сервисы и автоматизации
  • План действий на 30 / 60 / 90 дней
Записаться