Локальный LLM
– это ИИ, который можно скачать и полностью контролировать, то есть работает он не в облаке, работает и без интернета, никуда не передает твои данные.
Приятная особенность компьютера Apple Studio Ultra – это 64 GB оперативной памяти, которая используется как видеопамять. Размер видеопамяти это важно, потому что большая видеопамять позволяет запускать мощные ИИ. Для сравнения самая мощная десктопная видеокарта на Windows это RTX 4090 и она имеет ограничение в 24 GB видеопамяти. Большие локальные LLM, если не помещаются полностью в видеопамять, то работают ощутимо медленнее, если вообще работают.
Плюс новости: китайцы не так давно выпустили очень достойную опенсорсную модель ИИ Deepseek. Она вполне на уровне GPT-4. И важно, что с мультиязыковой поддержкой, до этого локалные LLM терпимо работали только на английском языке, теперь можно и на русском. Попробуем, любопытно.