Мы все помним как мир открыл для себя ChatGPT — чатбот на базе искусственного интеллекта, который перевернул всех с ног на голову. Благодаря разработке от OpenAI люди увидели настоящую силу ИИ, который может анализировать, систематизировать, рисовать и создавать невообразимое разнообразие контента. Однако задумывались ли вы как же генеративный искусственный интеллект работает на самом деле?
ИИ воспринимает наш мир не через глаза, уши, прикосновения, а через последовательность чисел, или токены. То есть ищет смысл в зависимости между числами – так система понимает что мы хотим от нее и дает ответы.
Этот алгоритм развивает и человека. Мы учимся давать правильные задания, правильно формулировать вопросы, для того чтобы получить идеальный результат от искусственного интеллекта.
Знаете что еще интереснее? Как ИИ все таки приходит к этим идеальным ответам. Что за тайна хранится за каждым написанным словом.
Как бы хорошо ChatGPT или другие чат-боты не отвечали, они совершенно не так как мы понимают то, про что пишут. Это необьятный океан различных параметров, в результате взаимодействия которых мы получаем определенную последовательность токенов, которую видим в виде текста. До сих пор мы не можем полностью понять все эти процессы, которые происходят между запросом к нейросети и получаемым результатом.
Сейчас мы осознаем, что ИИ тренируется на большом количестве данных, что он распознает в них закономерности, а потом использует их для прогнозирования каждого следующего слова во время генерации ответа.
Понять почему же искусственный интеллект решает выбрать именно тот или иной токен, – чуть ли не самый большой вызов, который стоит перед ИИ-комьюнити. То есть мы не можем разложить решение нейросети на определенную последованность понятных нам слов или явлений.
Для примера, с подобной проблемой сталкиваются нейробиологи, которые изучают наш мозг. Нейроны в мозгу передают наши чувства, эмоции, мысли и действия. Нейроны «Компьютер» в нашей голове обрабатывает информацию и сохраняет невероятное количество информации, тратя на это относительно минимальное количество энергии. Несмотря на все исследования мы до сих пор полностью не знаем про все нюансы этих процессов.
Сегодня нейросети выполняют все больше и больше ответственных задач. Эта тенденция будет только усиливаться, поэтому важно понять ход мыслей ИИ.
Ученые, которые работают с нейросетями, могут следить за каждым искусственным нейроном, выключать или стимулировать их, в это время следя за реакцией всей системы. Например, недавно группа исследователей компании Anthropic, которая работает над чат-ботом Claude, обьявила о том, что у них получилось увидеть и понять процесс мышления нейросети. Для этого они использовали алгоритм под названием sparse autoencoder.
Принцип работы автокодировщика похож на горизонтальные песочные часы. Он состоит из трех частей. Encoder сжимает входные числовые данные для представления в Bottleneck. Там они сжимаются еще в более маленький набор чисел, после чего их забирает Decoder и реконструирует этот набор чисел как можно ближе к оригиналу. Чтобы было понятнее, рассмотрим небольшой пример. Если вы присылаете нейросети какое-то изображение (Encoder), она формирует зарисовку (Bottleneck), а потом самостоятельно воспроизводит это изображение (Decoder).
Сам Bottleneck в основном имеет не большое количество параметров. Так нейросеть изучает самое главное из доступных данных, благодаря чему она может потом их реконструировать. То есть переделывать необработанные данные в более подходящий для анализа или прогнозирования формат.
Благодаря исследованиям Anthropic теперь, когда ученые дают нейросети много текста, у них появляется возможность определить, что именно в конкретном контексте означает каждый отдельный нейрон.
Кроме этого, результат работы ученых – универсальный для разных LLM, поскольку полученные данные можно обобщить и использовать для доработки других моделей.
У специалистов есть потенциал полностью изменить наш контакт с искусственным интеллектом. Страны активно обговаривают то, что скоро возможности гипотетического AGI (сильный ИИ — система, имеющая возможность выполнять все задачи, которые может и человек) превысят наши. Этот страх существует потому, что на данный момент искусственный интеллект – до сих пор полностью не подвластная нам технология. Мы понимаем основной принцип работы, но не можем разобрать его на его составляющие. Однако благодаря исследованиям, мир все ближе к контролю над ИИ.
В будущем разработчики смогут создавать лучшие модели. Они будут более понятными для нас. Мы сможем доверять и проверять работу ИИ, поскольку процесс его мышления будет полностью изучен.
Подписывайтесь на Telegram-канал Moldova Daily, активная ссылка тут.
