Главная / Блог

Блог

GPT-4 Turbo, локальные модели и Command R+

Заметки недели об обновлении GPT-4 Turbo, возможностях YandexGPT, экономике локальных LLM и новом флагмане open source.

GPT-4 Turbo, локальные модели и Command R+

8-14 апреля 2024 (ч.2) #ainews #ИИ

9 апреля от OpenAI вышла новая, пятая версия GPT4-Turbo (gpt-4-turbo-2024-04-09). С 12 апреля она уже в ChatGPT на сайте для обычных пользователей.
Комментарий: Мы протестировали и перевели свои стартапы на неё, работает значимо лучше, чем v4. Большие тексты мы при этом планируем загонять в Claude 3 (Sonnet) от Antrophic — основного конкурента OpenAi. GPT-4 при работе с большими текстами чаще забывает важные факты и ошибается.
Комментарий 2: В новую GPT-4 можно отправлять картинки через API. То есть теперь можно делать стартапы с распознанием образов и прочими подобными штуками.

Яндекс раскатал ИИ на базе новой версии YandexGPT 3 Pro (по уровню должна быть недалеко от GPT-4) на все свои колонки и интерфейсы. Почти бесплатно — 100₽ в месяц, тестировать без оплаты можно полгода. Это очень хорошо, в реальных жизненных кейсах пока пользуюсь не часто, но задавать вопросы стал регулярно.

Локальные модели работают дешевле, но медленнее облачных, потому что у локальных (у меня, например) нет доступа с GPU-кластерам нужного класса. Условно, у меня локально один RTX 4090, а у них связанный через специальный интерфейс десяток GPU подобного класса. То есть фоновые задачи, где не важна скорость, вполне можно попробовать решать локально.

Обучение новой модели современного уровня обходится в 100 млн. долларов (10 миллиардов рублей), а перспективные модели уровня GPT-5 могут стоить в обучении уже 1 миллиард долларов. Это всё ещё дешевле Крымского моста. Такие планируются к публикации в течение года.

США раздает по несколько миллиардов долларов субсидий (не кредитов) Samsung и TSMC в рамках своего Закона о чипах, на открытие передовых заводов на территории США. Хорошо, когда у тебя и так больше всех денег, а ты ещё и можешь их печатать. Это уже сравнимо с Крымским мостом.

Опенсорсные модели получили нового флагмана Command R+, который работает лучше старых моделей GPT-4. Это круто, подстегивает конкуренцию. Установлю себе тоже, если получится.

Этот пост впервые вышел в Telegram-канале @zvasilchannel 17 апр 2024. На сайте — для архива и поиска.
Открыть в Telegram →

КОНТАКТЫ

Обсудим ИИ-трансформацию вашей компании.

Напишите через форму на сайте или напрямую в Telegram. Быстро поймём, где ИИ может дать эффект, какой формат подойдёт руководителю или команде и с чего начать.

Менторская консультация

60 000 ₽

  • Диагностика процессов и задач под ИИ
  • Выбор первых внедрений с понятным эффектом
  • Подбор инструментов: Искра, модели, сервисы и автоматизации
  • План действий на 30 / 60 / 90 дней
Записаться