Как устроен ChatGPT? Полное погружение в принципы работы и спектр возможностей самой известной нейросети в мире
![Как устроен ChatGPT? Полное погружение в принципы работы и спектр возможностей самой известной нейросети в мире](https://aldebaran.ru/pub/c/cover_250/70890610.jpg)
000
ОтложитьЧитал
Научный редактор Здоров Антон
На русском языке публикуется впервые
Все права защищены.
Никакая часть данной книги не может быть воспроизведена в какой бы то ни было форме без письменного разрешения владельцев авторских прав.
What Is ChatGPT Doing … and Why Does It Work?
© 2023 Stephen Wolfram.
Original English language edition published by Wolfram Media 100 Trade Center Dr. 6th Floor, Champaign Illinois 61820, USA.
Arranged via Licensor's Agent: DropCap Inc. and Igor Korzhenevskiy of Alexander Korzhenevski Agency (Russia). All rights reserved
© Издание на русском языке, перевод, оформление. ООО «Манн, Иванов и Фербер», 2024
* * *
Предисловие
Эта небольшая книга представляет собой попытку объяснить, как работает ChatGPT. В некотором смысле это история о технологиях. Но еще и разговор о науке и философии. И для того, чтобы рассказать эту историю, нам придется собрать воедино огромный спектр идей и открытий, сделанных на протяжении многих столетий.
Я сам с большим интересом и волнением наблюдаю, как вещи, которые так долго меня интересовали, объединяются в результате такого прогресса. Сложное поведение простых программ, погружение в суть языка и смыслообразования, а также практические возможности больших компьютерных систем – все это является частью истории ChatGPT.
ChatGPT основан на концепции нейронных сетей, составленной в 1940-х годах в качестве модели работы головного мозга. Я сам впервые спрограммировал нейронную сеть в 1983 году, но тогда ничего интересного из нее не вышло. Однако 40 лет спустя, когда у нас есть компьютеры, считающие в миллион раз быстрее, миллиарды страниц текста в интернете и целый ряд инженерных инноваций, ситуация совершенно иная. И, ко всеобщему удивлению, современная нейронная сеть, которая в миллиард раз больше созданной мной в 1983 году, способна делать то, что раньше считалось под силу только человеку, – генерировать осмысленный текст.
Эта книга, написанная вскоре после дебюта ChatGPT, состоит из двух частей. В первой объясняется, что такое ChatGPT и как ему удается выполнять сугубо человеческую работу по генерированию текста. Вторая посвящена вычислительным инструментам ChatGPT (выходящим за рамки человеческих возможностей) и сверхспособностям нашей системы Wolfram|Alpha в области вычисляемых знаний.
На момент написания книги прошло всего три месяца с запуска ChatGPT, и мы только начинаем понимать последствия этого события – как практические, так и интеллектуальные. Но пока ChatGPT служит напоминанием о том, что, несмотря на множество уже сделанных изобретений и открытий, сюрпризы всё еще возможны.
Стивен Вольфрам, 28 февраля 2023 года
Что делает ChatGPT и почему это работает?
Он просто добавляет по одному слову за раз
Тот факт, что ChatGPT может автоматически генерировать текст, который выглядит так, словно написан человеком, поражает наше воображение. Большинство людей недоумевают, как чат-бот выполняет интеллектуальную работу, которая прежде считалась доступной исключительно человеку. Как он это делает? Моя цель – дать вам хотя бы общее представление о том, что происходит внутри ChatGPT, а затем исследовать, как ему удается так хорошо создавать то, что выглядит как осмысленный текст. Хочу сразу сказать, что я собираюсь сосредоточиться на общих принципах работы ChatGPT и, хотя буду упоминать некоторые технические детали, не стану в них углубляться. (Все, о чем я буду говорить, применимо и к другим большим языковым моделям, подобным ChatGPT.)
Первое, что нужно объяснить, – ChatGPT всегда пытается создать «разумное продолжение» любого текста, который у него есть на данный момент. Под словами «разумное продолжение» мы подразумеваем «то, что можно ожидать, исходя из того, что люди уже написали на миллиардах веб-страниц».
Итак, давайте предположим, что у нас есть предложение «Самое лучшее в ИИ – это его способность…». Представьте, что вы прочитываете миллиарды страниц текста, написанных людьми (скажем, веб-страницы в интернете и оцифрованные книги), и находите все аналогичные предложения, а затем смотрите, какое слово чаще всего встречается в них на месте многоточия. ChatGPT делает что-то подобное, за исключением того, что (как я объясню позже) он не просматривает тексты буквально – он ищет фрагменты, которые «совпадают по смыслу». Результатом его работы является список слов, которые логически могут следовать за основным словом, ранжированных по степени вероятности их присутствия в этом предложении:
Самое лучшее в ИИ – это его способность…
(англ. The best thing about AI is its ability to…)
…учиться (англ. learn) – 4,5 %
…предсказывать (англ. predict) – 3,5 %
…создавать (англ. make) – 3,2 %
…понимать (англ. understand) – 3,1 %
…делать (англ. do) – 2,9 %
Примечательно, что, когда ChatGPT пытается написать эссе, по сути он просто снова и снова спрашивает: «Учитывая текст на данный момент, каким должно быть следующее слово?» – и каждый раз добавляет это новое слово. (Точнее, он добавляет так называемый токен, который может быть и частью слова; именно поэтому ChatGPT иногда может «составлять новые слова». Но об этом позже.)
Итак, на каждом этапе ChatGPT создает список слов с указанием вероятности их присутствия на данном месте. Но какое из них нужно выбрать, например, для эссе? Можно предположить, что это должно быть слово с самым высоким рейтингом (то есть то, для которого определена самая высокая вероятность). Однако именно здесь ChatGPT начинает проявлять свои вуду-способности. Потому что по какой-то причине (возможно, однажды мы ее даже узнаем), если всегда будем выбирать слово с самым высоким рейтингом, мы получим очень гладенькое эссе без малейшего признака креативности (и которое будет слово в слово повторять множество других текстов). Но если мы наугад выбираем слова с более низким рейтингом, то эссе получается «более интересное».
Здесь действует фактор случайности, а это значит, что, даже используя каждый раз один и тот же промпт[1], мы, скорее всего, получим разные эссе. И, как мы уже упоминали, у ChatGPT есть своя вуду-идея, то есть у него существует так называемый температурный параметр, который определяет, как будут использоваться слова с более низким рейтингом, и для создания эссе, оказывается, лучше всего подходит температура, равная 0,8. (Нужно подчеркнуть, что это никакая не теория – это просто вывод из того, что работает на практике. И например, понятие «температура» применяется потому, что здесь используются экспоненциальные распределения, знакомые нам из статистической физики, но нет никакой физической связи – по крайней мере насколько нам известно.)
Прежде чем мы продолжим, я должен объяснить, что ради простоты изложения не стану рассматривать всю систему, лежащую в основе ChatGPT. Вместо этого буду работать с более простой системой – GPT-2, которую можно запустить на обычном персональном компьютере. И поэтому практически для всего, что вам здесь покажу, я включу код на языке Wolfram, который вы сможете немедленно запустить на своем компьютере.
Например, вот как получить таблицу вероятностей, приведенную выше. Во-первых, мы должны иметь базовую нейронную сеть языковой модели:
In[]:= model = NetModel[{"GPT-2 Transformer Trained on WebText Data", "Task" → "LanguageModeling"}]
Out[]= NetChain[
]
Позже мы заглянем внутрь этой нейронной сети и поговорим о том, как она работает. Но пока можем просто применить эту модель к нашему тексту в качестве черного ящика и запросить пять наиболее подходящих слов, которые, по мнению модели, должны следовать за указанным текстом:
In[]:= model["The best thing about AI is its ability to", {"TopProbabilities", 5}]
Out[]= {do → 0,0288508, understand → 0,0307805,
make → 0,0319072, predict → 0,0349748, learn → 0,0445305}
Затем эти строки превращаются в отформатированный набор данных:
In[]:= Dataset[ReverseSort[Association[%]],
ItemDisplayFunction → (PercentForm[#, 2] &)]
![](/pub/t/70890610.json/i_002.jpg)
Вот что произойдет, если многократно «применять модель» – на каждом шаге добавлять слово, имеющее наибольшую вероятность (в коде это слово decision):
In[]:= NestList[StringJoin[#, model[#, "Decision"]] &, "The best thing about AI is its ability to", 7]
Out[] = {Самое лучшее в ИИ – это его способность,
Самое лучшее в ИИ – это его способность учиться,
Самое лучшее в ИИ – это его способность учиться на,
Самое лучшее в ИИ – это его способность учиться на собственном опыте,
Самое лучшее в ИИ – это его способность учиться на собственном опыте.,
Самое лучшее в ИИ – это его способность учиться на собственном опыте. Это,
Самое лучшее в ИИ – это его способность учиться на собственном опыте. Это не,
Самое лучшее в ИИ – это его способность учиться на собственном опыте. Это не так.}
Что будет, если мы продолжим предложение? В этом случае (при нулевой температуре) полученный текст оказывается запутанным и изобилующим повторами:
Самое лучшее в ИИ – это его способность учиться на собственном опыте. Это не просто вопрос обучения на своем опыте, это изучение окружающего вас мира. Искусственный интеллект – очень хороший пример. Это очень хороший пример того, как использовать искусственный интеллект для улучшения своей жизни. Это очень хороший пример того, как использовать искусственный интеллект для улучшения своей жизни. Искусственный интеллект – очень хороший пример того, как использовать его для улучшения своей жизни. Это очень хороший пример того, как использовать искусственный интеллект для
Но что, если вместо того, чтобы всегда выбирать самое популярное слово, мы выберем слова с меньшей вероятностью (с температурой 0,8)? Тогда может получиться следующий текст:
{Самое лучшее в ИИ – это его способность,
Самое лучшее в ИИ – это его способность создавать,
Самое лучшее в ИИ – это его способность создавать миры,
Самое лучшее в ИИ – это его способность создавать миры, которые,
Самое лучшее в ИИ – это его способность создавать миры, которые являются,
Самое лучшее в ИИ – это его способность создавать миры, которые являются одновременно захватывающими,
Самое лучшее в ИИ – это его способность создавать миры, которые являются одновременно захватывающими,}
И каждый раз, когда мы будет выбирать случайные слова, текст окажется разным, как в следующих примерах:
Самое лучшее в ИИ – это его способность к обучению. Мне всегда нравилось
Самое лучшее в ИИ – это его способность по-настоящему проникать в ваш мир и просто
Самое лучшее в ИИ – это его способность изучать поведение человека и то, как он
Самое лучшее в ИИ – это его способность проделывать отличную работу по обучению нас
Самое лучшее в ИИ – это его способность создавать реальные задачи, но вы можете
Стоит отметить, что даже на первом этапе имеется множество возможных «следующих слов» (при температуре 0,8), хотя вероятность их использования падает достаточно быстро (данные на этом логарифмическом графике демонстрируют зависимость от n-1, которая очень характерна для общей статистики языка):
![](/pub/t/70890610.json/i_003.jpg)
Так что же произойдет, если мы продолжим создавать текст? Вот этот случайный пример уже лучше, чем пример с самыми популярными (нулевая температура) словами, но текст все еще немного странный:
Самое лучшее в ИИ – это его способность видеть насквозь и осмысливать мир вокруг нас, а не паниковать и игнорировать. Мы также можем сказать, что ИИ «выполняет свою работу» или «заурядный ИИ». Действительно, делая бесконечное количество шагов, разработка машины, которая может быть интегрирована с другими системами или управляться одной системой, является одним из наиболее фундаментальных процессов ИИ. Помимо взаимодействия человека и машины ИИ также играет важную роль в творчестве.
Этот текст был написан простой моделью GPT-2 (2019 года выпуска). У более современной модели, GPT-3, результаты получаются намного лучше. Следующий текст был создан при помощи самых популярных (нулевая температура) слов с использованием того же самого промпта, но с помощью новой модели – GPT-3:
- Моя жизнь, мои достижения
- Искусство делового письма. Законы, хитрости, инструменты
- Выбор сильнейших. Как лидеру принимать главные решения о людях
- Слон на танцполе. Как Герман Греф и его команда учат Сбербанк танцевать
- Пишем убедительно. Сам себе копирайтер
- Гарвардский метод переговоров. Как всегда добиваться своего
- Система Кудрина. История ключевого экономиста путинской России
- Как люди думают
- Яндекс.Книга
- Умение слушать. Ключевой навык менеджера
- 45 татуировок менеджера. Правила российского руководителя
- 12 недель в году. Как за 12 недель сделать больше, чем другие успевают за 12 месяцев
- Конструктор делового письма. Практическое пособие по эффективной бизнес-переписке
- Генерация прорывных идей в бизнесе
- Слушать нельзя указывать. Альтернатива жесткому менеджменту
- Открывая организации будущего
- На пределе. Узнай, на что ты способен, за неделю
- Голая статистика. Самая интересная книга о самой скучной науке
- Сырок. История моей жизни и бизнеса
- Стратегия голубого океана. Как найти или создать рынок, свободный от других игроков
- 45 татуировок продавана. Правила для тех, кто продает и управляет продажами
- Человек решающий. Как построить организацию будущего, где решения принимает каждый
- Совещания по Адизесу. Практическое руководство
- Софт за 30 дней. Как Scrum делает невозможное возможным
- Открытое мышление. Как выйти за пределы своей точки зрения
- Маркетинг от потребителя
- Ценные решения. Как работать с ценами, чтобы прибыль росла
- Измеряйте самое важное. Как Google, Intel и другие компании добиваются роста с помощью OKR
- Эпоха Agile. Как умные компании меняются и достигают результатов
- Искусственный интеллект на службе бизнеса. Как машинное прогнозирование помогает принимать решения
- Путь джедая. Поиск собственной методики продуктивности
- Сила Шакти. Единение женской и мужской энергии в бизнесе
- Тим Кук
- Вдохновленные
- «Большая четверка»
- Искусственный интеллект на практике
- Суперобучение. Система освоения любых навыков – от изучения языков до построения карьеры
- Интегральный коучинг
- Зона победы
- Эстетический интеллект. Как его развивать и использовать в бизнесе и жизни
- Та самая управляющая компания для девелопера. Как организовать работу сервисной компании
- Эффективный или мертвый. 48 правил антикризисного менеджмента
- Никаких правил. Уникальная культура Netflix
- Большие долговые кризисы. Принципы преодоления
- Сложные подчиненные. Практика российских руководителей
- Вооружение отделов продаж. Системный подход
- Цифровая трансформация. Как выжить и преуспеть в новую эпоху
- Лидер будущего. Как направлять энергию команды с помощью драйв-совещаний и фасилитации
- Мы – то, что мы делаем. Как строить культуру в компании
- Цели и ключевые результаты. Полное руководство по внедрению OKR
- Персональный ребрендинг. Как изменить свой имидж, сохранив репутацию
- Кибербезопасность. Что руководителям нужно знать и делать
- Будущее быстрее, чем вы думаете. Как технологии меняют бизнес, промышленность и нашу жизнь
- Змеи в костюмах. Как вовремя распознать токсичных коллег и не пострадать от их деструктивных действий
- Магия утра для предпринимателей. Как начинать свой день, чтобы поднять бизнес на новый уровень
- Вызов лидерства. Пять практик выдающихся руководителей
- Сложные решения. Как управлять бизнесом, когда нет простых ответов
- Подумайте еще раз. Сила знания о незнании
- Устойчивы к будущему. 9 правил для людей в эпоху машин
- Департамент здравого смысла. Как избавиться от бюрократии, бессмысленных презентаций и прочего корпоративного бреда
- Быть лидером. Правила выдающихся СЕО, политиков и общественных деятелей XXI века
- Мышление без слепых зон. 8 навыков для принятия правильных решений
- Юмор – это серьезно. Ваше секретное оружие в бизнесе и жизни
- Думай о смысле. Будни переводчика IT-текстов
- Персональная стратегия. Книга для тех, кто не знает, куда идти дальше
- Никогда не управляйте в одиночку и другие правила современного лидерства
- Агент влияния. Как использовать навыки спецслужб, чтобы убеждать, продавать и строить успешный бизнес
- Недвижимость на каждый день. Как строить, продавать и покупать
- Обратная связь. Как сказать все, что думаешь, и получить все, что хочешь
- БРРР!-ЭФФЕКТ. Пособие по решению нерешаемых задач в бизнесе и жизни
- Стратегии перемен. Как добиться выдающихся результатов в нестабильные времена
- Больше чем руководитель. 30 советов-вызовов для эффективного управления
- Ставка на себя. Как увидеть возможности, не упустить их и построить карьеру мечты
- ИИ-2041. Десять образов нашего будущего
- Воодушевление отделов продаж. Инструменты нематериальной мотивации
- Работа, которая заряжает. Как не выгореть, занимаясь любимым делом
- Принципы экономики. Классическое руководство
- Анатомия мира. Как устранить причины конфликта
- Сила в доверии. Как создать и не потерять один из самых важных нематериальных активов компании
- В минусе или в плюсе. Руководство по достижению счастья, уверенности в себе и успеха
- Менеджмент во время шторма. 15 правил управления в кризис
- Ценные сотрудники. Как стать незаменимым и достигать целей вместе с компанией
- Принципы изменения мирового порядка. Почему одни нации побеждают, а другие терпят поражение
- Новые принципы делового общения. Как сфокусироваться на главном в эпоху коммуникативной перегрузки
- В потоке перемен. 8 принципов для сохранения устойчивости и процветания в условиях постоянных изменений
- Думай, решай, управляй! Как стать эффективным лидером и оставаться им в кризис
- ГЕН команды. Как построить успешный бизнес со своими сотрудниками
- Самый богатый человек в Вавилоне
- Взломай код общения. Как говорить убедительно, заключать выгодные сделки и влиять на людей
- Стратегия процветания. Новый взгляд на конкуренцию, развитие бизнес-экосистемы и лидерство
- Запомни это. Книга-тренинг по быстрому и эффективному развитию памяти
- Великая сила перемен. Три шага по лестнице значимых изменений к успеху
- Экспонента. Как быстрое развитие технологий меняет бизнес, политику и общество
- Трачу и приобретаю. Как управлять семейным бюджетом, чтобы жить в достатке
- Взлом стратегии. Начните с главного и получите результат
- Советы карьерного консультанта. Построить карьеру и сохранить стабильность в любой ситуации
- Съедобная экономика. Простое объяснение на примерах мировой кухни
- Гугл Драйв. Руководство по рабочей среде Google: от календаря до таблиц
- Сначала люди. Как найти тех, кто выведет компанию на новый уровень
- Эстетика как код бренда. Привлекайте клиентов совершенным бизнес-продуктом
- Взаимная лояльность. Легендарная стратегия искреннего привлечения клиентов
- Управляя компаниями будущего. Мышление полного спектра для развития бизнеса
- От одного пользователя до миллиона. Как успешные бренды и продукты наращивают аудиторию
- Не стойте в очереди за успехом. Достичь желаемого за один верный шаг
- Dasha Gauser: ДНК моды. Как стать fashion-дизайнером своего бренда
- Моя следующая версия – «Я 2.0». Осознанное управление профессиональным развитием
- Хочу свой бизнес. Предприниматель за 72 часа
- Лучшие среди великих. Почему одни компании адаптируются и процветают, а другие умирают
- Речевое обаяние. Улучшить речь за 10 минут в день
- Детский мир: перезагрузка. Реальная история компании, без которой у нас было бы другое детство
- Сильный бренд. От стратегии и бренд-дизайна до статуса и лидерства
- Культурный интеллект. Почему он важен для успешного управления и как его развить
- Почему никто не рассказал мне этого о деньгах раньше? Как стать финансово непобедимым
- Анализируй быстро, решай смело. 14 тактик для безошибочных действий
- Персональная инфраструктура. Книга для тех, кто собрался на самый верх
- Магия таблиц. 100+ приемов ускорения работы в Excel (и немного в Google Таблицах)
- Как люди убеждают. Влияние слова в переговорах, беседах и спорах
- Продуктовый маркетинг по любви. Как создавать и продвигать продукты-бестселлеры
- Главное правило мышления. Руководство по достижению любых целей от ментора мировых звезд спорта
- Не мешай своему будущему. Что изменить сейчас, чтобы не жалеть потом
- Как убедить тех, кого хочется прибить. Правила продуктивного спора без агрессии и перехода на личности
- Шесть гениев команды. Как способности каждого усиливают общий результат
- Авантюрист из Netflix. Как я нарушил все правила, устроил переполох в Голливуде и изменил будущее видеоиндустрии
- Движущая сила организации. Как восточная философия бизнеса помогает компаниям преодолевать кризисы и процветать
- Время делать бизнес. Извлечь максимальную выгоду и открыть новые возможности на российском рынке
- Не нанимайте ассистента, пока не прочитаете эту книгу
- От «Энигмы» до ChatGPT. Эволюция искусственного интеллекта и российская практика в образовании, медицине и бизнесе
- Душа машины. Радикальный поворот к человекоподобию систем искусственного интеллекта
- От предвидения к власти. Как ИИ-прогнозирование трансформирует экономику и как использовать его силу в своих целях
- ANTI-TIME-менеджмент. Система для тех, кто хочет строить работу вокруг жизни, а не наоборот
- Проектное управление. Как правильно делать правильные вещи
- Ценности Huawei: клиенты для бизнеса – прежде всего
- Маримо хочет спасти бизнес. Как маркетинг помогает понимать клиентов, обходить конкурентов и вести компанию к процветанию
- Почему Рэйса в стрессе? Как справиться с эмоциями на работе, найти себя и раскрыть свой потенциал
- Идеальный командный игрок. Как распознать и развить три ключевых качества
- 45 татуировок менеджера. Правила российского руководителя
- 45 татуировок продавана. Правила для тех, кто продает и управляет продажами
- Эстетический интеллект. Как его развивать и использовать в бизнесе и жизни
- Никаких правил. Уникальная культура Netflix
- Путешествия как инвестиция в себя. Источник изменений в жизни и бизнесе
- Крутой менеджер Сакигакэ. Как наладить коммуникацию, преодолеть сопротивление переменам и привести команду к успеху
- Как устроен ChatGPT? Полное погружение в принципы работы и спектр возможностей самой известной нейросети в мире
- Устойчивы к будущему. 9 правил для людей в эпоху машин
- Управляя компаниями будущего. Мышление полного спектра для развития бизнеса
- Как устроен ChatGPT? Полное погружение в принципы работы и спектр возможностей самой известной нейросети в мире