Генеративный искусственный интеллект #Forge&flux

Рецензии

«Учебник для школьников и студентов младших курсов вузов известного специалиста в области разработки и внедрения цифровых технологий А.Ю. Чесалова посвящён актуальной теме практического применения систем генеративного искусственного интеллекта, который открывает широкие возможности для решения творческих задач в различных областях человеческой деятельности. В учебнике в доходчивой форме рассматриваются практические вопросы графического моделирования изображений с использованием популярной программы Stable Diffusion WebUI Forge. Данный учебник безусловно вызовет интерес у молодых исследователей возможностей генеративного искусственного интеллекта и будет способствовать развитию практических навыков использования интеллектуальных технологий.»

– Тельнов Юрий Филиппович, д.э.н., профессор, заведующий кафедрой Прикладной информатики и информационной безопасности РЭУ им. Г.В. Плеханова, член Научного совета Российской ассоциации искусственного интеллекта.

Введение

Прошел всего год с того момента, когда я закончил работу над книгой «Невероятный искусственный интеллект Easy Diffusion 3.0». В ней я высказал свое мнение о том, что: «Постичь мир удивительного искусственного интеллекта возможно только тогда, когда мы с вами cможем увидеть положительные результаты его работы, созданные при нашем непосредственном участии. Эти результаты должны быть понятны и объяснимы каждому человеку, а также они должны быть этичны, непредвзяты и не нарушать закон» ¹.

Сейчас мое мнение осталось прежним, лишь с небольшой поправкой на то, что мы должны с вами помимо всего прочего получать максимальное удовлетворение от раскрытия наших интеллектуальных и творческих потенциалов, реализованных в совместной работе с искусственным интеллектом. Согласитесь, когда мы занимаемся любимой работой – эта работа вдвойне эффективнее и полезнее для нас и окружающих нас людей.

Как вы уже знаете, на сегодняшний день, генеративный искусственный интеллект может делать многое, например: написать текст нового стихотворения или даже целого рассказа, воспроизвести его различными голосами знаменитых актеров, написать новую музыку или песню, проанализировать большое количество числовых данных и составить прогноз на будущее, играть с нами или сразу с тысячью людей в компьютерные игры. Вообще говоря, его возможности, по большей части, ограничиваются лишь нашей с вами фантазией и, к сожалению, затратами на их реализацию.

Пожалуй, одной из самых впечатляющих способностей генеративного искусственного интеллекта, на мой взгляд, является его умение создавать уникальные и невероятные изображения. Эти изображения могут быть воплощением трехмерного мира фантастического будущего в компьютерной игре или быть виртуальной симуляцией окружающего нас мира. Изображения могут быть трехмерными или двумерными, а также могут быть выполнены в различных стилях живописи знаменитых художников разных эпох. Но самое интересное то, что на этих изображениях могут появиться существа или предметы, не существующие в нашем мире, которые тем не менее можно материализовать, например, с помощью 3D-принтера.

Книга, которую вы держите в руках, является учебным пособием по работе с системой генеративного искусственного интеллекта Stable Diffusion WebUI Forge, при помощи которой вы научитесь создать невероятные фотореалистичные изображения из текстовых описаний и графических изображений.

На момент написания и публикации этой книги, наиболее популярной моделью, которую поддерживает Stable Diffusion WebUI Forge и при помощи которой создаются уникальные изображения является FLUX.1, но самой производительной моделью является FLUX1.1 [pro].

В 2024 году модель FLUX.1 стала прорывной технологией в генеративном искусственном интеллекте, оставив позади себя все остальные модели от лидеров рынка. Десятки Интернет-сервисов стали рекомендовать ее, как наиболее производительную и эффективную при создании изображений. И, как вы уже поняли, именно этой модели уделяется основное внимание в этой книге.

Модель FLUX.1 была создана в 2024 году бывшими инженерами из компании Stability AI, которые занимались разработкой и развитием знаменитой модели Stable Diffusion ². Робин Ромбах (Robin Rombach), Андреас Блаттманн (Andreas Blattmann), Доминик Лоренца (Dominik Lorenz) и Патрик Эссер (Patrick Esser) объединили свои усилия в работе над новым проектом FLUX.1 и создали новую компанию Black Forest Lab³.

Black Forest Lab предлагает нам три версии модели FLUX.1⁴:

FLUX.1 [pro] – самая мощная версия реализация коммерческой модели доступная к использованию через API у партнеров компании или в индивидуальном порядке.

FLUX.1 [dev] – немного облегченный вариант первой модели не для коммерческого использования. Варианты реализации модели можно найти на сайте huggingface.

FLUX.1 [schnell] – самая быстрая реализация модели с открытым исходным кодом, которая так и называется «быстрая / нем. schnell». Она предназначена для использования на локальных компьютерах. Исходный код можно найти на сайте GitHub. Варианты реализации модели можно найти сайте huggingface.

По очень смелой оценке инженеров Black Forest Lab, данная модель боле производительна чем все разновидности модели Stable Diffusion, Midjourney и DALL-E⁵.

Но, не прошло и полгода, как Black Forest Lab анонсировал выход еще более мощной версии своей модели FLUX1.1 [pro], которая значительно эффективнее предыдущей версии.

FLUX1.1 [pro] уже доступен на следующих сервисах: Together.ai, Replicate, fal.ai и Freepik.

С помощью этой книги мы научимся с вами пользоваться Stable Diffusion WebUI Forge и работать с невероятно мощной моделью FLUX.1, как инструментом творчества. Вы сможете самостоятельно установить, настроить и удалить совершенно бесплатную программу и ее компоненты на свой компьютер, а также подключить к ней различные дополнительные модули, которые значительно расширят ее возможности по созданию и обработке изображений. Но, самое главное, управляя различными функциями и параметрами через удобный пользовательский интерфейс, вы научитесь создавать уникальные и неповторимые изображения, которые вы сможете использовать в своей учебе или для развлечений.

Эта книга написана как учебное пособие для школьников старших классов и студентов первых курсов ВУЗов, а также для всех тех, кто хочет получить дополнительные знания и опыт по работе с системами генеративного искусственного интеллекта.

Для целей дальнейшего продвижения книги и наглядности получаемых результатов работ я придумал хештег « #FORGE&FLUX », который, в том числе, стал частью названия этой книги. Также, по требованию издателя, большинство ссылок на сайты программ, дополнительные модули и модели перемещены в список литературы.

Свои результаты работ, созданные при помощи модели FLUX.1 я опубликовал в книгах «Сказки старой Твери: ночь лесных духов», «Сказки старой Твери: фауна лесных духов» и «Сказки старой Твери: черти», которые посвящены славянской мифологии.

Приятного вам чтения и продуктивной работы!

Ваш Александр Чесалов.

Что такое генеративный искусственный интеллект?

Знакомство с невероятным миром генеративного искусственного интеллекта мы должны начать с самого простого и важного – с определения, что же такое «искусственный интеллект».

Термин искусственного интеллекта (англ. Artificial Intelligence, AI) появился уже очень давно. Впервые он был введен ученым и изобретателем Джоном Маккарти в 1956 году ⁶, ⁷.

На сегодняшний день, ученые, инженеры, маркетологи, программисты и другие специалисты из разных областей экономики используют совершенно разные определения термина «искусственный интеллект». Это связано прежде всего с тем, что искусственный интеллект широко применяется в различных сферах человеческой деятельности в различных отраслях экономики. Например, искусственный интеллект используют в образовании, медицине, государственном управлении, финансах, промышленности, автомобилестроении, космонавтике и многих других направлениях. В каждом из этих направлений есть свои уникальные особенности его развития или специализация его применения ⁸.

Так, что же такое искусственный интеллект?

Искусственный интеллект (ИИ) – это прежде всего компьютерная программа, написанная человеком (программистом, инженером, ученым или другим специалистом), которая чаще всего имитирует поведение или умственную деятельность человека или какого-либо другого живого существа, живущего на нашей планете.

Наличие и само существование искусственного интеллекта неразрывно и тесно связано с компьютерами, новыми информационными, вычислительными, сетевыми и другими технологиями.

В том случае, когда для обеспечения работы искусственного интеллекта требуются большие вычислительные мощности современных суперкомпьютеров и набор различных вспомогательных программных продуктов, о нем говорят, как о сочетании технических и технологических решений, основная задача которых заключается в обеспечении высокого уровня «интеллекта» такой системы.

Изначально искусственный интеллект обучают на различных видах данных. Этот процесс обучения называется машинным обучением (Machine Learning), а данные называют «большими данными» (Big Data).

Машинное обучение (Machine Learning, ML) – это область исследования, которая дает компьютерам возможность учиться без явного программирования. Также под машинным обучением понимают технологии автоматического обучения алгоритмов искусственного интеллекта распознаванию и классификации на тестовых выборках объектов для повышения качества распознавания, обработки и анализа данных, прогнозирования. Также машинное обучение определяют, как одно из направлений (подмножеств) искусственного интеллекта, благодаря которому воплощается ключевое свойство интеллектуальных компьютерных систем – самообучение на основе анализа и обработки больших разнородных данных. Чем больше объем информации и ее разнообразие, тем проще искусственному интеллекту найти закономерности и тем точнее будет получаемый результат ⁹, ¹⁰, ¹¹, ¹².

Глубокое обучение (Deep Learning) – это разновидность машинного обучения на основе многослойных искусственных нейронных сетей, а также набор алгоритмов и методов машинного обучения на основе различных видов представления данных. Обучение может быть контролируемым, полу-контролируемым или неконтролируемым. Использование в глубоком обучении рекуррентных нейронных сетей, позволяет эффективно решать задачи в областях компьютерного зрения, распознавания речи, обработки текстов на естественном языке, машинного перевода, биоинформатики и др. ¹³.

Большие данные (Big Data) – это термин для наборов цифровых данных. Большой размер данных и их сложность требует значительных вычислительных мощностей компьютеров и специальных программных инструментов для их анализа и представления. К большим данным относят массивы числовых данных, изображения, аудио и видео файлы. Существуют структурированные и неструктурированные данные ¹⁴.

Сегодня, ученые и инженеры, совершенствуя различные технологии, стремятся создать самообучаемые и автономные системы искусственного интеллекта, которые должны по своим возможностям приблизиться к интеллектуальным и функциональным возможностям человека.

С точки зрения ученых, искусственный интеллект – это компьютерная система, основанная на комплексе научных и инженерных знаний, а также технологий создания интеллектуальных машин, программ, сервисов и приложений, имитирующая мыслительные процессы человека или живых существ, способная с определенной степенью автономности воспринимать информацию, обучаться и принимать решения на основе анализа больших массивов данных ¹⁵,¹⁶.

С точки зрения инженеров-программистов, искусственный интеллект – это область информатики, объединяющая вычислительные технологии с надежными наборами данных, в рамках которой разрабатываются компьютерные программы для выполнения задач, способных имитировать человеческий интеллект – обнаруживать смысл, обобщать и делать выводы, выявлять взаимосвязи и обучаться с учетом накопленного опыта ¹⁷, ¹⁸, ¹⁹.

Технологии искусственного интеллекта – это технологии, основанные на использовании искусственного интеллекта, включая компьютерное зрение, обработку естественного языка, распознавание и синтез речи, интеллектуальную поддержку принятия решений и перспективные методы искусственного интеллекта ²⁰.

Определение термина «искусственный интеллект» неразрывно связано с определением «система искусственного интеллекта».

Система искусственного интеллекта – это компьютерная программа, которая представляет собой реализацию новых технологий обработки информации с целью поиска, анализа и синтеза данных из окружающего нас мира для получения о нем новых знаний и решения на их основе различных жизненно важных задач. Система искусственного интеллекта включает в себя модели и алгоритмы, обеспечивающие ее способность обучения и представления (визуализации) новых данных в виде текста, чисел, аудио, видео или изображений ²¹.

Нужно отметить, что классификаций систем искусственного интеллекта достаточно много. Чаще всего используют следующую классификацию:

На сегодняшний день, искусственный интеллект объединяет в себе сочетание машинного обучения (глубокое обучение и обучение с подкреплением), машинного мышления (планирование, составление графиков, представление знаний, поиск и оптимизацию), вычислительные технологии и суперкомпьютеры, а также робототехнику (контроль, восприятие, датчики и исполнительные механизмы, а также интеграцию всех других технологий в киберфизические системы) ²².

Узкий искусственный интеллект (Artificial Narrow Intelligence, ANI) – это искусственный интеллект, обученный и умеющий выполнять эффективно только определенные узкоспециализированные задачи. Слабый искусственный интеллект является самым распространенным вариантом применения технологий искусственного интеллекта, к которым прежде всего относят так называемое «машинное обучение» и «глубокое машинное обучение» ²³.

Современные системы узкого искусственного интеллекта запрограммированы на выполнение одной комплексной задачи за раз, извлекая информацию из определенного набора данных. Вся их работа, чаще всего, сводится к постоянному выполнению однотипных задач с целью получения наилучшего результата в узкой области деятельности ²⁴, ²⁵.

К слабому искусственному интеллекту относят: системы распознавания изображений и лиц, чат-боты, разговорных помощников, беспилотные автомобили, рекомендательные и аналитические информационные системы, и так далее.

Всем нам знакомые Яндекс Алиса, Apple Siri, Amazon Alexa или суперкомпьютер IBM Watson относятся также, как это не странно, к узкому или слабому искусственному интеллекту.

Все версии программы ChatGPT, созданной компанией OpenAI, который способен писать не только посты в Интернете, но и создавать собственные литературные произведения, также относится к узкому искусственному интеллекту.

Программа Stable Diffusion WebUI Forge, которую мы изучаем в этой книге, является системой слабого и узкоспециализированного искусственного интеллекта. Перед этой системой мы ставим задачу создать для нас новое уникальное изображение из нашего описания или из другого изображения, и Stable Diffusion WebUI Forge решает эту задачу.

Так почему, все-таки, искусственный интеллект называют слабым?

Слабый искусственный интеллект, каким бы он не казался «умным» или «сильным», на сегодняшний день, не может сравниться с возможностями и потенциалом человеческого интеллекта. Он не обладает волей и не способен на творчество. Слабый искусственный интеллект не способен функционировать самостоятельно, не способен к самообслуживанию, саморазвитию, самосовершенствованию, размножению и к взаимодействию с другими системами искусственного интеллекта, как это делают люди.

Не смотря на все это, у такого вида искусственного интеллекта есть много неоспоримых преимуществ, которые заключается в том он способен выполнять конкретные узкоспециализированные задачи очень быстро, качественно и точно, порой даже лучше, чем сам человек. Там, где человек может сильно устать, искусственный интеллект может помочь ему выполнить работу самостоятельно в течение долгого времени. Совместная работа человека и искусственного интеллекта очень сильно сказывается на производительности и эффективности выполняемой работы. Описанный процесс очень часто называют «автоматизацией рутинных задач», который значительно облегчает нашу с вами повседневную жизнь.

Использование слабого искусственного интеллекта дает нам больше времени на саморазвитие, отдых и на достижение новых целей.

Общий искусственный интеллект (Artificial General Intelligence) – это прикладная система искусственного интеллекта, технологии и алгоритмы которой могут выполнять значительное число задач анализа данных, принятия на их основе решений и их реализация, обеспечивающая имитацию интеллектуальных способностей человека и объяснимость предлагаемых человеку вариантов решений, воспроизводя и иногда превышая широкий спектр когнитивных и интеллектуальных способностей человека, включая интерпретацию внешних данных и воздействий и извлечение из них смыслов, использование полученных знаний для обучения, планирования и принятия решений в условиях неопределенности и достижения конкретных целей и задач при помощи гибкой адаптации к изменяющимся условиям и взаимодействию с внешней средой ²⁶.

Другими словами, сильный искусственный интеллект – это интеллект не отличимый от человеческого, обладающий самосознанием. Он способен видеть, слышать, учиться, решать задачи, планировать и самосовершенствоваться, а самое главное он имеет воображение и способен к творчеству.

Общий искусственный интеллект и искусственный интеллект на уровне человека (Human Level Machine Intelligence) – это синонимы сильного искусственного интеллекта. Оба термина обозначают степень развития искусственного интеллекта на уровне человека.

На сегодняшний день сильный или общий искусственный интеллект существует только как теоретическая концепция. Некоторые ученые предполагают, что ее практическая реализация случится не ранее 2045 года. Тем не менее, среди большого числа ученых и практиков существует устойчивое мнение, что все даже самые современные и совершенные системы искусственного интеллекта, которые существуют на сегодняшний день, являются «слабым ИИ», а прогнозы о том, что к 2045 году будет создан сильный ИИ, является мифом. Причина такому мнению – это сверхсложность устройства нашего головного мозга, с точки зрения создания подобного ему суперкомпьютера, который хоть сколь ни будь смог приблизился по своей вычислительной мощности к человеческому мозгу. Возможно, в ближайшем будущем, прорыв будет осуществлен в области квантовых компьютеров и вычислений, который позволит приблизиться к созданию сильного искусственного интеллекта.

Искусственный сверхинтеллект (Artificial Super Intelligence, ASI) – это термин, который обозначает наивысшую степень развития искусственного интеллекта, превосходящую человеческие возможности во всех аспектах его жизнедеятельности.

На сегодняшний день систем искусственного сверхинтеллекта также, как и систем сильного или общего искусственного интеллекта не существует. Многие ученые считают, что до создания суперинтеллекта пройдет очень много времени, но большинство из них все же сходятся во мнении, что это рано или поздно произойдет.

На мой взгляд, случится это тогда, когда люди смогут создать такие суперкомпьютеры и системы хранения информации, которые будут способны производить вычисления и хранить данные как наш человеческий мозг.

Знаете ли вы, что наш с вами мозг и нервная система – это суперкомпьютер со своей системой хранения данных и интерфейсов взаимодействия с внешним миром?

За обработку информации в нашем мозге отвечают порядка 86-100 млрд нейронов (нейронных клеток), которые меняют свое состояние до 50 раз в сек. Число возможных состояний нашего мозга = 10 ^1 000 000 (количество возможных комбинаций возбуждения или торможения нейронов), тогда как количество атомов во Вселенной = 10 ⁸⁰.

Кроме того, на сегодняшний день никто не может дать ответ на вопрос сколько экзабайт (10¹⁸) или йоттабайт (10²⁴) данных и в какой форме хранится в нашем мозге.

Исходя из этих скромных данных, мы можем с вами сделать вывод о том, что появление искусственного сверхинтеллекта возможно лишь тогда, когда человечество создаст квантовые носители информации и квантовый суперкомпьютер, сопоставимый по своим вычислительным мощностям с нашим мозгом ²⁷.

Тем не менее, ученые из разных стран полны энтузиазма и ведут работы по созданию общего, а затем уже и суперинтеллекта. Приведу некоторые из этих направлений, которые, на мой взгляд, будут вам интересны:

Эмуляция работы человеческого мозга. Задача заключается в создании полной цифровой копии человеческого мозга. Для этого осуществляется сканирование всей структуры мозга человека для создание точной цифровой карты его нейронных связей.

Мозговые импланты. Ученые работают над тем, чтобы создать такие устройства, которые можно будет встраивать в человеческий мозг для улучшения его работы. Предполагается, что это позволит достичь уровня сверхразума за счет симбиоза человека и машины.

Создание эволюционных распределенных систем искусственного интеллекта. Основная идея этого подхода заключается в том, чтобы системы искусственного интеллекта смогли самостоятельно развиваться и эволюционировать с тем, чтобы через несколько этапов превратиться в суперинтеллект.

Нейроморфные вычисления. Ученые работают над тем, чтобы создать нейроморфные компьютеры, работа которых основана на работе нейронных и синаптических структур человеческого мозга. Считается, что такие суперкомпьютеры в десятки раз производительнее современных суперкомпьютеров, работающих на графических ускорителях ²⁸.

По моему мнению, вам будет интересна точка зрения, которая имеет отношение к теме искусственного сверхинтеллекта, выдающегося физика-теоретика Стивена Хокинга, которая, возможно, откроет вам новую перспективу нашего с вами будущего: «Боюсь, искусственный интеллект может полностью заменить людей. Если сейчас люди разрабатывают компьютерные вирусы, то в будущем кто-то сможет создать искусственный интеллект, который будет способен улучшать и воспроизводить самого себя. Это станет новой формой жизни, которая превзойдет человека».

Объяснимый искусственный интеллект (Explainable Artificial Intelligence, XAI) – набор правил и методов, позволяющих пользователям системы искусственного интеллекта понять, почему алгоритмы машинного обучения этой системы пришли именно к тем или иным результатам работы и / или выводам. Объяснимый искусственный интеллект обеспечивает прозрачность работы используемой системы ИИ для ее пользователей, по своей сути противопоставляя себя принципу «черного ящика» в машинном обучении.

Вопросы объяснимости получаемых результатов работы системы искусственного интеллекта на самом деле интересуют не только нас с вами, как пользователей таких систем, но и инженеров – программистов их создающих.

Когда разработчики переходят от программирования и экспериментов по решению простейших задач автоматизации к разработке серьезных программных систем, например систем поддержки принятия решений, они должны не только сами понимать на основании чего получаются те или иные результаты работы, но и быть готовыми объяснить их происхождение пользователям системы искусственного интеллекта, которую они разрабатывают. Это необходимо делать еще и потому, что каждый разработчик несет персональную ответственность за создаваемые им алгоритмы, модели, программы, системы и другие приложения и сервисы, которые в последствии будут использованы людьми. Неверно принятое решение на «необъяснимых» результатах работы системы искусственного интеллекта, может привести к катастрофическим последствиям, как для отдельно взятого человека, так и для отдельно взятой компании, города или даже целой страны.

Очень часто бывает так, что программист, обучающий модель не является экспертом в той или иной предметной области, и это, на самом деле, большая проблема. Например, программист не является врачом, что, конечно, очевидно. Как вам известно, многие врачи обладают огромным запасом знаний, опыта и интуиции, которые с первого взгляда могут сказать, что нельзя доверять тем или иным данным, полученным от использования какой-то конкретной модели, применяемой в системе поддержки принятия решений. Специалист сразу отметит, что модель делает неразумный прогноз. Несомненно, программисты и врачи должны работать в тесной кооперации, но очень часто бывает так, что программист принимает решение о тех или иных результатах работы самостоятельно, что может повлечь за собой наличие скрытой ошибки при расчетах и точности получаемых данных. Именно в таких случаях, при разработке систем искусственного интеллекта, инженеры – программисты должны уделять большое внимание вопросам объяснимости.

На рисунке ниже показан современный подход к созданию объяснимого искусственного интеллекта.

Как мы с вами видим, на сегодняшний день, необходимо создание дополнительных инструментов понимания и объяснимости работы системы искусственного интеллекта, которые бы были полезными при принятии решений о том, заслуживают полученные с ее помощью данные доверия или нет ²⁹, ³⁰.

Например, инженеры – программисты для объяснения предсказаний базовых моделей машинного обучения и оценки их полезности в различных задачах классификации и регрессии используют библиотеку «Lime». На сегодняшний день библиотека работает с анализом текстовых и табличных классификаторов, а также работает с классификаторами изображений. Lime может объяснить любой классификатор «черного ящика» с двумя или более классами ³¹.