Как устроены нейросети

Представьте, что нейросети — это как умные помощники, которые могут учиться на примерах, прямо как вы на работе, запоминая, что хорошо, а что плохо. Сначала они были очень простыми, как электронный словарь, который просто заменял русские слова на английские, но без понимания смысла.

Чтобы компьютер начал что-то понимать, слова нужно было превратить в числа. Потом придумали способ кодировать слова так, чтобы похожие слова имели похожие числа — это «векторы смысла». По сути, смысл слова — это то, с какими другими словами оно чаще встречается, как разные инструменты часто лежат рядом в одном ящике.

Для работы с картинками, нейросети учатся находить «суть» изображения, как будто вы быстро определяете брак детали на конвейере. Этот процесс называется «сверткой». Чтобы такие сложные вычисления работали быстро, придумали специальные графические процессоры (GPU), которые обрабатывают много данных одновременно, как многозадачная машина в цеху.

Чтобы научить такую «умную машину», ей нужны «размеченные данные» — это сотни тысяч фото с подписями, например, «это кошка», «это собака», или «это деталь без брака». Интернет и социальные сети помогли собрать такие огромные «инструкции» для обучения. А чтобы не начинать каждый раз с нуля, придумали «Transfer Learning»: это как если опытный рабочий быстро осваивает новую, но похожую задачу, используя старые навыки. Но главное — не «переобучить» сеть, иначе она просто будет зубрить и начнет делать ошибки, как уставший рабочий, который механически все запомнил, но не понял.

Для работы с текстами появились сети Transformer, которые разбивают слова на «токены» (кусочки слов) и учатся обращать «внимание» на самые важные части текста, как хороший мастер на ключевые этапы работы. Из них появились GPT (Generative Pretrained Transformer) – это такие «умные попугаи», которые могут генерировать новые тексты, но уже с пониманием смысла, предсказывая следующее слово.

Чтобы GPT не несли «словесный понос», их учат быть «послушными» с помощью RLHF (Reinforcement Learning from Human Feedback) — это как мастер поправляет ученика, давая ему обратную связь и награждая за правильные действия. Можно даже настроить «температуру» модели: если она низкая, ответы будут стандартные и предсказуемые, как работа по инструкции; если высокая — могут появиться креативные, но иногда странные ответы.

Нейросети, как правило, не запоминают весь ваш диалог. Поэтому им каждый раз дают весь разговор заново. Для работы с вашими документами придумали «контекстное обучение» (просто добавляют нужные тексты прямо перед вашим вопросом) и RAG (Retrieval Augmented Generation). Это позволяет нейросети «читать» ваши данные из специальной базы и отвечать осмысленно, как если бы она говорила с вашими инструкциями или документами.

Важно, что нейросети — это, скорее, «гипер-гуманитарии»: они отлично работают с языком, переводами, но плохо считают и путаются в больших таблицах. Для точных расчетов им нужны «инструменты», например, возможность запустить программу на языке Python, как рабочему нужен калькулятор или измерительный прибор. Когда несколько таких «умных помощников» объединяются и используют инструменты для решения сложной задачи, это называется «агентами».

Сейчас нейросети активно помогают в бизнесе: анализировать кучу статей, работать с тоннами документации, чтобы быстро найти нужную информацию, и даже разбираться в сложных таблицах, что для обычного ChatGPT пока сложно. В общем, они не собираются бунтовать, а становятся все более полезными помощниками, меняя привычные подходы к работе.

Источник: Как устроены нейросети для неспециалистов
https://habr.com/ru/companies/timeweb/articles/936018/