Железо становится лучше, а софт делает его ещё лучше
Иногда кажется, что рынок AI-железа слишком сильно ускорился: новые чипы выходят чаще, чем я могу обновить ноутбук.
Но настоящее ускорение приходит после релиза.
Почему так?
– Само «железо» — это первая половина истории. Вторая половина начинается, когда под новое железо перестраиваются компиляторы, распределение экспертов в MoE и прочий обслуживающий софт.
– Оптимизации первого года после релиза дают иногда больше прироста, чем разница между поколениями чипов.
– Особенно видно сейчас: архитектуры типа MoE подключают ровно тех «экспертов», кто нужен — и железо внезапно раскрывается на 8–10× быстрее, как будто просто дождалось обновления драйверов.
Почему это важно?
– Инфраструктура будет становиться дешевле, услуги — быстрее, а качество моделей будет расти, даже если сами модели формально не будут меняться (а они будут меняться).
– Ощущение, что «всё уже оптимально», каждый раз оказывается иллюзией.
– Улучшения скорости и качества нас ждут ещё значительные — и это чуть пугает, но в хорошем смысле.
В общем, фронтир ИИ пока даже не близко к плато. И самое интересное мы увидим не когда выйдет новое железо, а когда под него оптимизируют всё остальное.