Главная / Блог

Блог

Сознание нейросетей и проблема памяти

Размышление о том, почему контекст и неизменяемость модели не равны непрерывной памяти и сознанию.

Сознание нейросетей и проблема памяти

Пятничное имхо от неспециалиста.

Сознание нейросетей.

Современные нейросети не обладают сознанием, потому что они по-настоящему не помнят, что делали раньше. Если взять результат работы нейросети и вернуть его ей же на следующем ходу, то это имитация чат-бота, удерживающего контекст беседы. Если так делать бесконечно, мы можем получить сознание, которое, как бы, действительно помнит, кто оно и что делает.

То, как нейросети удерживают контекст в чате сейчас, — это иллюзия. Технически нейросети просто каждый раз копируют историю предыдущих сообщений и запускают с нуля. Сейчас на вход нейросети много не положишь. Отсюда то самое ограничение в 4000 токенов на диалог. Думаю, для закрытых версий может быть и 40000, и 400. Но не 4 миллиона.

Существующие нейросети в процессе обучения «высекаются в камне» и после обучения неизменны. Как муравьи или крокодилы — только хардкод. Минимальная память.

Если убрать эту особенность, то появится то, что можно назвать каким-то первичным сознанием.

Этот пост впервые вышел в Telegram-канале @zvasilchannel 11 апр 2023. На сайте — для архива и поиска.
Открыть в Telegram →

КОНТАКТЫ

Обсудим ИИ-трансформацию вашей компании.

Напишите через форму на сайте или напрямую в Telegram. Быстро поймём, где ИИ может дать эффект, какой формат подойдёт руководителю или команде и с чего начать.

Менторская консультация

60 000 ₽

  • Диагностика процессов и задач под ИИ
  • Выбор первых внедрений с понятным эффектом
  • Подбор инструментов: Искра, модели, сервисы и автоматизации
  • План действий на 30 / 60 / 90 дней
Записаться