Обучение работе в
Stable Diffusion

Помните, как все начиналось? Когда появилась первая нейросеть от NVidia, которая по простому скетчу из пейнта могла нарисовать гору, если сообщить ей, что это гора? Все такие “ну ок, прикольненько, типо пейнт с кнопкой деланья красиво”, но на этом все закончилось. Но потом вышла Midjourney. Когда вышла Midjourney отношение было уже другое. Сперва был восторг, от того, как же круто оно делает, после, буквально через пол часа, ужас от того, что роботы победили человека в том, что считалось исключительно человеческим достоинством и достоянием, а именно – в творчестве. Дальше события развивались с бешенной скоростью. Прошло несколько AntiAI бунтов на разных площадках для художников (типо ArtStation), жаркое обсуждение, несколько законов, пару судебных прецедентов в основном по авторским правам (абсолютно бредовых и неадекватных, по такой же логике нужно забрать все авторские права у режиссеров фильмов, ведь не они же фильмы снимают, а операторы). Но дальше… разочарование. Потому что оказалось, что эта штука хоть и делает очень красивые, “вкусные” и атмосферные картинки, тем не менее эти картинки в 99% случаев абсолютно “пустые” и бесполезные. Графика ради графики. Да еще и без сисек.

Те, кто не связаны с изобразительным искусством, просто потыкали, получили прилив серотонина, ощутив себя великими творцами, да и ушли заниматься своими делами. Те же, кто на хлеб зарабатывает при помощи ИЗО, быстро охладели к этой теме, и поняли, что это не карандаш, который рисует как надо, а в лучшем случае третий помощник, способный подкинуть пару идей, и то не факт, что удачных.
Ну вот попросит условный заказчик нарисовать “такую же девушку, в таком же стиле, только в брекетах”, и что? А все, тупик. Если нейросеть и нарисует девушку, то не такую, или без брекетов, а “такую же, но в брекетах” – уже никак. Красиво, прикольно, но юзлесс (бесполезно). Такой вывод сделали большинство тех, кто “потыкал” нейросеть год назад. Ну а дальше просто то и дело где то в сети всплывают красивые “бесполезные” картинки из разряда “как нейросеть видит Зевса и лошадь в яблоках” или “если бы Гарри Поттер жил в чикаго во времена сухого закона”. Забавно, но не более. И на этом все вроде как и закончилось с этими нейросетями. Кто то для чего то их использует, но для чего – вообще не понятно. Да и зачем?

Но что если я вам скажу, что за год мир генеративных нейросетей перевернулся, просто вы еще этого не успели заметить? И этот поезд разгоняется с бешенной скоростью.

Дальше пойдет разговор о такой генеративной нейросети как Stable Diffusion.
Думаю те, кто ее пробовал год назад, пришли к выводу, что “не торт, да и миджорни лучше”. Тогда почему именно о ней?
Потому что разработчики этой нейросети сделали “ход конем” и выложили ее в открытый доступ, сделав “опенсорс”, и “понеслась”.
Для начала она устанавливается на локальную машину, а не используется на сервере. На крайний случай используется в облаке (гугл колаб), но там не удобно. Колаб подходит разве что для тренировки моделей, но не для работы по генерации сложных изображений. Ну а так, как она локальная и опенсорсная, то можно ее настраивать так, как хочется, а не так, как настроил ее в облаке разработчик (как в случаи с миджорни), и это дает очень много возможностей.

Сейчас, всего за год, Stable Diffusion обросла таким количеством бесплатных моделей, плагинов, пре и постпроцессоров, интерпретаторов, обработчиков и референсов (с настройками), что охватить все – не хватит времени. И более того, каждый день этого всего появляется больше, чем вы способны успеть выучить (я теперь понимаю, как выглядит сингулярность, а главное, как она ощущается). Это не 3д макс, где за 5 лет добавили одну кнопку, или фотошоп, где раз в 2 года добавляют пару багов и увеличивают потребление ОЗУ х2, или корона рендер, где добавили новый материал за 3 года. Тут каждый день выходит что то новое, и не одно. Более того, за год оно сделало скачок с разрешения 512 до разрешения 1024 (базового разрешения). И сейчас при помощи этой нейросети можно создавать сложнейшие композиции, с кучей деталей, персонажей, техникой и т.д. То, чем вы восхищались еще пару лет на арстейшене, что делали условные “азиаты-ноулайферы” (как их в шутку называли), сейчас делается за час. Те картины, которые раньше занимали месяцы, и стоили тысячи долларов (за человекочасы затраченные на их создание), сейчас делаются за день. Причем делается не “как получиться”, а “как нужно”.

Тут стоит сделать отступление, и сказать, что значит “как получится” и “как нужно”. Обычно когда люди знакомятся с генеративными нейросетями, они сталкиваются с тем, что они что от там написали, оно что то там сделало, после выбрали лучший вариант, порадовались, и готово. То-есть результат они не особо контролируют, даже если он получается “вкусным” и красивым.
И подобное особенно сильно расстроило (или обрадовало, кого как) художников, которые почему то решили, что нейросеть – это карандаш (инструмент) сродни фотошопу или 3д максу (блендеру, майе, збрашу, тысячи их).
Но нейросеть это не карандаш, это художник, который держит карандаш. Представьте, что не вы рисуете картину руками, и ведете линии, а вы даете задачу художнику нарисовать вам картину. Может заказываете на фрилансе, может вы арт-директор или проект менеджер, не важно. Рисуете не вы, вы заказчик или арт директор (первое или второе зависит от степени погружения). А нейросеть – сотрудник (художник в штате) или исполнитель (на фрилансе). Более того, каждая генеративная модель – это разный художник. И так же как нельзя дать одно задание двум разным художникам и получить одинаковый результат, ведь представляют и изображают они написанное, так как каждый “видит” (в зависимости от своего образования, насмотренности, профдеформации), так же разные модели будут изображать один и тот же запрос по разному. Причем иногда очень сильно по разному, в зависимости от своего “образования” (настроек, с которыми их тренировали), насмотренности (датасета) и профдеформации (распределения весов).

И теперь представьте, что вы приходите, и говорите “хочу робота”. Какого вам робота нарисует художник? Ну, какого видит. Ведь он художник, и как он видит, так и получится. Он дает вам готовую выполненную работу, а вы говорите “да не такого робота”. И художник закономерно спрашивает “а какого?”. Да, конечно, человек-художник не хочет делать работу за зря, и он понимает что надо выяснить какого робота хочет заказчик до того, как его нарисовать, но суть я думаю понятна.
Но если вы покажете художнику примеры роботов, которые вам нравятся, распишете позу, детали, укажете, где у робота что должно находиться, не забудете про цвет, свет, фактуру, и в добавок ко всему этому расскажете о стилистике (аниме, реализм или что еще), то думаю что вы получите своего робота (плюс минус), если не с первого раза, то после небольших правок так точно. Ну при условии что вы друг друга понимаете и достаточно долго обсуждаете концепцию, делаете много набросков, эскизов и т.д.
Ну и конечно же это займет у вас какое то время. Несколько десятков часов на согласование, утверждение, правки и т.д. и пару месяцев на рисование (если мы говорим о каком то крутом арте, ну там, например, иллюстрации на обложку для книги).

Так вот нейросеть это тот же художник. Только важно понимать, что между вами языковый барьер. Ну условно представьте, что вы говорите на русском, художник на японском, а между собой вы общаетесь на ломаном английском, который для вас двоих не родной. Так и с нейросетью. Английский для нее не родной, и она его “понимает” по своему, через специальный “дешифратор” (интерпретатор).

И что бы получить нужный результат, нужно активно пользоваться примерами, эскизами и т.д. что бы получить то, что нужно вам, а не то, как ваше описание из двух слов видит художник (не зависимо от того, на сколько он хороший художник, от его крутости зависит качество выполнения, но не совпадение с идеей, так как даже самый крутой художник не умеет читать мысли).

Так вот, это все, что я написал выше, вроде “следование рефернсу” или “учет деталей, поз, цветовой схемы” актуальная версия Stable Diffusion умеет. Там есть специальные плагины и модули, которые позволяют загрузить позу персонажа, цветовую палитру, эскиз, референс, лайнарт и т.д. В добавок там еще можно указать зоны, какие как сделать и т.д. Ну условно мы можем указать цвет шляпы, или изображение на футболке (в разумных пределах, пока еще оно не способно перенести изображение с референса, перерисовав его на футболку персонажа, которого само и сгенерировало, например).

Но даже так, часто возникает вопрос “а вот мне надо вот так, но что бы из раза в раз, вот я сделал модель персонажа, или корабля, и вот этот корабль я теперь могу рендерить пока не надоест, а как в нейросети сделать одного и того же персонажа, стилистику и т.д.?”
Еще возникают вопросы по типу: ну вот допустим у меня здание вот такое, и мне надо что бы все комнаты были в этом стиле, плюс-минус больше или меньше стиля, но все равно оно должно быть в одном стиле, или вот мне надо сделать тут дверь, а там окно, как мне это сделать?

И это можно сделать. Делается это при помощи добавления специальных “мини моделей”. В нейросети есть большая генеративная модель, обученная на тысячах изображений (чекпоинт), а есть модели поменьше, обученные на десятке изображений (лора, ликорис и т.д.), вот эти модели “делают нужного персонажа” или “нужный стиль” на всех генерациях, где они используются. Скачиваются либо готовые (тысячи их), либо делаются самостоятельно, если готовой под нужную задачу нет (либо на основе генерируемых изображений, либо изображений из интернета). Да, не со всем этот способ справляется хорошо. Например он хорошо делает людей и человекоподобных персонажей, но не очень хорошо рисует технику (один и тот же танк в разных сюжетах оно сделает немного разным).

Изображение – пример использования таких моделей стилизации на примере кофеварки:

Да, важно сказать, что в основном это все имеет отношение к тем, кто занимается 2д или концепт 3д. Иллюстраторы, концепт художники и т.д. Это все касается по большей части их. А особенно касается тех, кто зарабатывает, работая на “конечного заказчика”. Так как здесь нет точных требований к единой стилистике, не нужно делать подробную раскадровку, как в каком то комиксе, и т.д.

Но это пока, за год развития. Сложно представить что будет еще через год, так как работы в этом направлении идут. Предположительно через год-два будет делаться полноценное видео (сейчас это просто покадровая генерация, и кадры не совсем между собой совпадают, получается дерганная мечта эпилептика). Думаю в недалеком будущем можно будет скормить нейросети сценарий с “заметками режиссера”, и получить на выходе фильм или мультик. Ну это не в ближайший год, но в ближайшие 5 лет думаю каждый сможет снимать и делать мультики среднего уровня.
Ну по крайней мере сейчас я могу делать арты уровня топовых художников, тратя на это день (день на арт).

И да, если вдруг кто то скажет, что “ну все равно, ты же не контролируешь процесс так, как художник, у тебя получается что получается”, то я повторю то, что написал выше. Относиться к нейросети нужно как к исполнителю, а не как к карандашу. Да и как тот, кто много лет занимался 3д, могу сказать, что результат в 3д тоже не получается так, как рисуешь изначально в голове. Да и как рисуешь изначально в голове? Обычно так: “тут стул, тут стол, тут окно, погнали” и по ходу добавляешь детали, освещение и т.д. пробуя разные варианты и смотря что получится, выбираешь лучший. Художники точно так же “ищут” концепт, а после его прорабатывают. Посмотрите спидпеинтинг топовых художников, сколько раз они перерисовывают скетч, меняя одежду, позу? По несколько раз, даже если опытные. Про новичков вообще говорить нечего, там либо “рисуют как рисуется”, либо переделывают месяцами.

То-есть результат фактически художником тоже “генерируется” по ходу, и получается “классным” (или нет), но далеко не таким, как был изначальный план (если только художник не перерисовывает скетч, но в другой позе, как например в случае с концепт артом персонажей и т.д. или если он постоянно не сверяется с референсом, занимаясь по сути срисовыванием, но нейросеть так тоже может).

Таким образом сейчас генеративные нейросети – это мощная штука, которая если не облегчает, то ускоряет и удешевляет работу так точно. Во всяком случае в некоторых задачах. Да, есть задачи, которые нейросеть сделать не может, например она вообще не умеет в текст и цифры (генеративная нейросеть не умеет считать, вариант “сгенерируй мне три девушки” не сработает, нужно писать “девушка такая то и девушка такая то и девушка вот такая”, тогда получиться три). Но это “языковый барьер”, как я говорил раньше. Вы тоже не сможете читать и писать на арабском или корейском, если его не знаете в письменности, даже если умеете на нем говорить. Максимум будете срисовывать завитушки.
А в будущем генеративные нейросети будут инструментом на уровне с сценаристом, режиссером и оператором. Будут писать в титрах “Режиссер – Кристофер Нолан и AIVM Diffusion”, или что то в таком роде. И желательно до того момента понимать, что такое это за “AIVM Diffusion” и с чем его едят. Если конечно не хочется остаться на обочине. Ну при условии, что вы зарабатываете на жизнь созданием иллюстраций, видео и т.д. Если же вы, условно, писатель, сценарист и т.д. то генеративные нейросети, делающие картинки, очень сильно помогут вам в работе, как минимум, вы сможете иллюстрировать свой текст, как максимум – можно делать текст на основе иллюстрации (когда муза не идет и белый лист не заполняется буквами, а издатель пинает каждый день, ловите лайфхак, как говориться).

---

Дальше пойдут примеры моих работ (много картинок). Все работы сделаны по сценарию (по книжному описанию). То-есть это не просто “задал запрос, получил что то там”. Здесь конкретно как задумывалось, так и вышло. Совпадение 80-90% с тем, что было нужно (примерно такое же совпадение у хорошего художника того, что он рисует с тем, что он придумал, совпадение же представления заказчика с представлением художника, что рисует для него картину, хорошо если будет в районе 60-70%). Ну то есть смотря на результат, я могу с уверенностью сказать “это оно”. Ну или как минимум “это оно, только сделайте рога черными” (хотя рога черными тоже можно сделать, просто мне было лень тратить на это еще час).

Важная ремарка. Я называю это именно “мои работы”, потому что сделать подобное требует усилий не меньших, чем работа режиссера во время создания фильма или арт директора при работе над крупным проектом. Да, не режиссер бегает по площадке, и тягает камеру, и даже не он пишет сценарий, но считается, что именно режиссеры создают фильмы, так и тут. Только здесь я выступаю арт-директором, так как это не фильм, а статика.

В добавок стоит учитывать, что здесь нет “финальных работ” в хайрезе и т.д. Это пока только скетчи.

Все это иллюстрации к книгам (двум книгам).

Обложка для книги.

Альтернативная версия (альтернативных цветовых решений я сделал три десятка за час).

Еще один вариант, отличающийся по стилистике (ретрофутуризм теперь, против сайфая, который выше). Конкретно этот вариант сгенерировал не я, а человек из дискорда на базе моего первого скетча. То-есть это пример того, что можно взять просто чужую генерацию, и сделать ее как нужно вам, если она вам “почти подходит”.

Если присматриваться к деталям, то конечно можно найти мелкие огрехи. Но если бы вы это делали в 3д, и не расставляли бы здания и детали вручную, а просто насыпали бы форестпаком условным, то косяки были бы аналогичные, а что бы их не было, нужно было бы это моделить вручную месяцами (маньяки моделинга нервно хихикают, остальные тридешники вышли из чата). Если же это делать в 2д, то “рендер” был бы даже близко не такого качества. Была бы просто схематическая “мазня” (не в обиду художникам, мазней я называю те работы, где видно мазки, это не плохо, но тут очевидно, что это в стиле “реализм” (не путать с фотореализмом)). Ну а если “рендерить” такого качества в 2д, то на работу ушли бы месяцы.

Локация для той же книги: Здесь в основном использовался аутпентинг из той работы, что в самом начале.

Локация и персонаж для другой книги. При помощи нейросети создать новый уникальный сеттинг намного проще, чем представить его в голове.

Еще один вариант сеттинга из этой же серии:

Локация “лес ужасов” для книг.

Подобную работу, как ниже, сделать уже не так просто. Тут нужно было использовать два референса, делая из них скетчи, и после совмещать их на одном кадре, что бы поучить большой корабль нужной формы, нависший над футуристическим городом. Корабль – это 3д модель, город – это референс (была взята обычная фотка манхетена кажется, превращена в скетч, после мелкие линии проигнорированы, а крупные стали основой для торчащих высотных зданий). Работа соответствует первоначальной идее на 80%. По концепции корабль размером 2-3км в длину, здания по 1-2км, их вершины возвышаются над облаками, внизу многоуровневый город с зданиями поменьше, нужно было что бы между высоких зданий были мириады огней и зданий поменьше, проглядывающихся сквозь туман, а там просто все закрыто туманом. Плюс масштаб не очень ощущается из за этого. Сложно сказать, корабль 2км или 5км. На работу ушло пол дня.

Научная база. В основе референс, из которого сделан скетч.

Альтернативная версия локации (другая модель, тот же скетч).

После мне так понравилось, что получилось, что я решил сделать полноценный город на каком то астероиде-комете из этого всего. Для этого использовал специальную LoRA, которую давно берег и все думал, куда бы применить. Задача была сделать мрачный шахтерский город, противостоящий плохим условиям внешней среды (концепция локации из книги). Получилось на 95%. Не получилось – над городом должны быть еще энергетические щиты. Но я сам не представляю как их сюда вписать (даже если бы я это рисовал руками).

Еще одна база в снежных горах далекой планеты. Задача была показать базу как “оазис тепла в ледяной пустыне”. Плюс задача была передать масштаб, высотное здание несколько километров в высоту, крупное здание на переднем плане это космопорт-док, что вмещает корабль размером под 2км, который может стыковаться как сверху, так и зайти внутрь и полностью поместиться в здании. Буду честен, представлял я себе это не так, но то, что получилось, намного лучше, чем то, как я себе это представлял. В основе референс, из которого сделан скетч, но без “внимательного следования” ему, а просто для создания композиции кадра.

Обложка для книги. Результатом доволен на 90%. Ощущение, что чего то не хватает. Плюс виден косяк (мыло) инпента в месте перехода холма, на которой стоит девушка, в свет. Инпеинт (перерисовывание части картинки) использовал, так как изначально девушка выглядела не так, как по концепции.

Иллюстрация к эпизоду в книге и один из персонажей книги (да, не только красивости, лоснящиеся блестящие тела и сияющие доспехи, но и страдания можно делать).

Еще вариант персонажа (другое лицо) с дорисовкой локации (аутпейнтингом).
На эту дополнительную версию ушло 20 минут. Плюс локаций у меня таких (разных, с разным хламом) еще было получено три десятка за 10 минут, пока я ходил за чаем.

Дальше идет один и тот же персонаж в разных стилях (артреализм и реализм, не путать с фотореализмом).

Думаю очевидно, что это один и тот же персонаж.
Причем это только пару картинок, а у меня их под три сотни, плюс еще и куча “фансервиса” так называемого, так же по этому персонажу есть “жесть” (кровь, кишки, и вот это вот все). Но понятно, что сюда я это не буду выкладывать.

Просто представьте, сколько бы стоили все эти иллюстрации, если бы их заказывать у кого то, или сколько времени потребовалось бы, что бы нарисовать их самостоятельно (если умеется). Плюс художник в лучшем случае предоставляет один два варианта, и цена ошибки – это неделя работы. Тут же можно получить 30-60 вариантов просто пока завариваешь чай (зависит от мощности видеокарты, разрешения и вот этого вот всего).
Пока чай заварился, уже куча черновиков с разным вариантом мусора и т.д. (как пример). И не надо рендерить это все (как в 3д). Вариант уже сразу условно “финальные”. И как видно – результат более чем (лучше сделают только топовые художники, берущие сотни долларов в час и полирующие результат неделями).
Ну и как я уже сказал, совпадение с идеей – 80-90%. Причем важно, что это картинки не “отшлифованные” (видно местами огрехи, в частности руки кривые, ноги и т.д. Но давайте честно, кто умеет рисовать руки? Даже профессиональные художники очень часто не очень в рисовании рук, сложно это. Еще автор комиксов под ником «чилик» шутил над этим на сайте с кексиком). Поэтому держите в уме, то это просто “черновики”, если можно так выразиться, потому что сейчас книги, для которых они сделаны, не на той стадии, что бы вышлифовывать детали, так как концепция может еще поменяться.

В некоторых из работ использовались позы, в некоторых – эскизы, сделанные в 3д (как то эскиз космического корабля или города-базы с круглым зданием), в некоторых плагины для создания композиции кадра такой, какая нужна, а не такой, как получается (например, вид снизу вверх на предпоследнем кадре, или сидящая девушка на куске конструкции здания, это не случайные генерации, это именно так задумано, и так сделано).
Опять же, правило третей, правило золотого сечения и другие композиционные приемы – все это можно делать (по дефолту нейросеть рисует персонажа в центре кадра, но как видно, персонаж сидит на диване не по центру). Можно даже освещение делать свое (есть специальные модели).

Да, в работах встречаются бывает косяки. Например, видно руку на предпоследней, или на последней левая нога в районе голени (там, где начинается ботинок) очевидно длиннее, чем должна быть (ошибка в длине кости в “скелете позы”, которую я выбрал, перспектива позы не совпала с перспективой кадра, нужно оредактировать скелет позы, укоротив кость). Есть еще некоторые трудности в работе с лорами. Например, нейросеть не очень хорошо изолирует LoRA, и если допустим в кадре три персонажа, и я использую лора для одного из них, то она может “зацепить” и два других. Так же лора часто влияет не только на персонажа, но и может задеть всю сцену. Ну условно если у нас лора сделана на базе референсов, где персонаж в толстовке, то сделать его в шубе будет немного сложновато, шуба будет так или иначе похожа на толстовку (формой, цветом, дизайном). Конечно это решается (например, инпеинтом шубы после того, как картинка с персонажем получена), и над этим ведуться работы у разработчиков плагинов, но когда вкусно, хочется еще, как говориться. Ну в смысле что “хочется, что бы все работало так, как хочется”.

---

Таким образом, сейчас генеративные нейросети это очень мощная штука, которая заменяет штат художников. Не всех конечно, все равно некоторые детали бывает нужно допиливать, и хорошо, если есть кто то, кто может нарисовать скетч, что бы потом по нем “вписать” в генерацию кусок. Но тем не менее.

Да, важно учитывать, что нейросеть аналогично как и художник, не может сделать то, что никогда не видела (видели, как в средневековье рисовали заморских животных? Попробуйте нарисовать бегемота, которого никогда не видели, чисто по описанию. Вот так и нейросеть, если попросить нарисовать то, что она не видела, то, примера чего не было в картинках, на которых обучалась модель, получится как бегемоты в средневековых книгах. Но решение этой проблемы есть, можно дообучить большую модель, использовать вспомогательную мини-модель, или просто показать нейросети что вам надо, как референс, если то, что вам нужно, в принципе не существует). Но только скорость и цена “попыток” этого всего просто не сопоставима с работой художника. Плюс опять же, есть задачи, для которых генеративные нейросети просто незаменимы. Одна из таких вещей – это, например, иллюстрации для книг. Иллюстрации работают в две стороны. Автор текста, делая (или получая) по ходу книги иллюстрации, корректирует концепцию и образ персонажа, локации и т.д. так как не все можно представить в голове и понять как оно будет смотреться.

Обычно как происходит: автор такой представил, что персонаж будет с зелеными волосами, но темной кожей (вот та дама темненькая, что на иллюстрациях, так и задумывалась), и написал это в книге, книгу выпустили, книга стала популярной, решили делать по ней мультик, комикс или фильм. Попробовали нарисовать – получилась жуть. Показали автору, автор сам удивился, и сказал, что жуть. Поменяли дизайн персонажа, сделав волосы, допустим, белые, а не зеленые, как в книге. Набежала толпа, которая “книгалучше”, и давай писать что “ааа, все пропало, торт не торт, все полимеры про… волосы то должны быть зеленые, сценаристы тупые, режиссеров жечь”, и вот это вот все, что никому не надо. Что бы такого не было, лучше нарисовать персонажа сразу же, как он придуман.

Плюс наличие иллюстраций помогает автору в работе. Автору или сценаристу проще делать работу (писать), когда в голове есть хотя бы одно изображение персонажа, с которым он работает. Ну проще представлять себе персонажа в тех или иных сценах, когда ты его видишь перед собой, что бы не получилось потом, что “маленькая девочка взяла двухметровый меч, и как жахнет” просто потому, что автор забыл, что его персонаж – маленькая девочка, и почему то решил, что она не такая уж и маленькая и вполне себе может взять двухметровый меч. Да и “роялей” будет меньше, если в голове есть картинки. Ну это как пример.

Плюс я думаю, что каждый писатель хочет, что бы его произведение было экранизировано, что бы по нему сделали игру какую то, писали фанфики и т.д. И отсюда он хочет придумать привлекательных персонажей. Но в голове часто не понятно, как они будут выглядеть. Вот сделать даме синие или зеленые волосы? А может вообще белые?
Но персонажей можно придумывать сразу «на лету», прям вводя запрос в нейросеть и нажимая «генерация», и видеть, что получается. Например захотел узнать как мой персонаж будет смотреться с белыми волосами, и вот:

Аналогично можно делать и с другими местами. Ну и после отталкиваться от этого образа, не забывая о нем (все же удобней не возвращаться каждый раз к описанию персонажа, и вспоминать, какого там у него волосы цвета, если это вдруг нужно по сюжету, например, как особая примета, а просто посмотреть на картинку).

Ну и аналогично то же самое справедливо для сценаристов и концепт художников игр и фильмов, а так же тех, кто занимается постановкой сцен, раскадровкой и т.д.
Держать перед собой картинку с персонажем намного удобней, чем представлять из зеленого нечто (человек в зеленом костюме с датчиками и метками) то, что должно получиться в итоге.
Понятно что в крупных студиях есть и арты, и раскадровки, но это все, во первых, требует времени и денег, да и раскадровки обычно схематические, и по ним мало что понятно, кроме динамики, а персонаж статический, и представлять его в динамической позе не каждому под силу, а во вторых, когда только начинаешь работу, надо с чего то начинать, и вот это “с чего то” можно получить не за месяцы рисования и перерисовывания, занимаясь “творческим поиском” (например для сериала Аркейн персонажей придумывали несколько лет), а просто за месяц и за условно бесплатно все это получить, не говоря уже о том, что эта штука может дорисовывать, красить и т.д. почти что угодно (нарисовали скетч лайнартом, получили раскраску, дорисовку и т.д.).

Ну допустим сейчас основная техника в качественном коммерческом концепт арте с хорошей проработкой и детализацией – это условный инпейнтинг (врисовывание) в 3д. Когда художник делает простенькую сцену в сермате в 3д, что бы получить перспективу, масштаб, композицию, свет, а после садиться и начинает ее разукрашивать уже руками, добавлять детали, делать “2д рендер” так называемый.
Так вот вот это все “садиться и разукрашивает, добавляет детали, делает 2д рендер” делается нейросетью за несколько часов ковыряния. Просто закидывается туда тот же самый отрендереный 3д скетч, референсы, и уже с этим дальше работа идет (генерация не с нуля, а на базе скетча). Если мы говорим о “творческом поиске”, то обычно это делается так: художник просто набрасывает базовейшие скетчи, фактически “генерируя” идею. На это тратиться время, а работа, по сути, не требует каких то талантов особых. Я про вот это, что на картинке ниже.

Я скажу больше. Творчество больше не привилегия человека. Я имею в виду чистое незамутненное творчество. Нейросеть сама умеет творить.

Как происходит творчество у человека?

Если запереть человека в пустую комнату, и попросить нарисовать что то, что он нарисует? Почти наверняка то, что первое приходит на ум. И это самое “приходящее на ум” – это то, что, что он видел огромное количество раз и то, чей образ есть у него в голове. И обычно это дома, машины, деревья и люди. Да, в первую очередь люди. Ну еще, конечно, котики, куда же без них.

Но так не всегда. Например, мастер по ремонту крыш с большей долей вероятности нарисует молоток, а военный-танкист нарисует танчик. Потому что эти вещи у них в голове имеют больший “вес”.

Проще всего представить это как рисунки на полях на лекции. Что люди рисуют на полях, когда думают “ни о чем”? То, что у них есть в подсознании. То, на чем они обучены, и то, что они видели больше всего. Но они не выделяют это в осмысленные образы. Поэтому рисунки на полях обычно хаотичны. Но при этом один рисует какие-то абстрактные завитушки (что по сути является отражением природы и окружающей среды), другой рисует рожицы, третий машинки, и так далее.

Но если мы попросим человека нарисовать что-то конкретное, например машину. То он нарисует ее так, как он ее представляет, и нарисует ту машину, которую он лучше всего запомнил. При этом он без труда нарисует основные детали, такие как колеса и стекла, но вот с мелкими, такими как зеркала или решетка радиатора у него возникнет трудности, и он нарисует их не точно, а приблизительно. Ну при условии, что человек не держит перед глазами фото рисуемой машины.

Так вот, нейросеть, обученная на массиве изображений творит точно так же. Если в датасете, используемом при обучении, преобладают люди, то при попытке провести генерацию без какого-либо запроса, мы получим скорей всего человека. Но не явно человека, а абстрактного, примерного, вокруг которого много шума. Как рисунок на полях. Условно если в датасете на 80% изображений были люди, то “вес” человека намного больше, и нейросеть будет рисовать людей почти всегда, если ее попросят нарисовать что-то. А если большая часть из этих людей – девушки, то опять же с большей долей вероятности нейросеть нарисует голую девушку. И это очень легко проверить, просто проведя тестовую генерацию без запроса. При этом она даже холст заполняет подобно среднестатистическому человеку. Если дать ей вертикальный холст, то она с большей долей вероятности нарисует человека по пояс, а если горизонтальный, то человека, что сидит, или портрет.

Но если мы заменим датасет, и добавим много природы, но мало людей, то нейросеть при просьбе “нарисовать что-то” (провести пустую генерацию, без запроса) почти наверняка нарисует пейзаж. Хаотичный, условный, но пейзаж.

На изображениях приведены примеры “свободного творчества” неросети, или генераций без запроса. Просто посмотрите на это, это сотворила нейросеть сама по себе, потому что ей так “захотелось”, без какого либо запроса и других условий (причем это генерации последовательно пакетом, я не выбирал изображения специально, и не склеивал их). У нее был просто холст, и она творила. Чем это отличается от черновиков современных концепт художников топового уровня? И работы не однообразны. На одной она захотела нарисовать каких от живых сещств, на другой – храм, на третьей город, где то природу. Подобный эксперимент вы можете провести сами сколько угодно раз. Кто скажет после этого, что неросеть не умеет в творчество, то стоит вам проходить этот курс. Ведь сравнений нейросетей с людьми и проведения между ними параллелей в курсе будет много. Потому что я лично считаю, что нейросети и люди равны в своем творчесве и в том, как именно они творят.

Причем еще как и у человека, у нейросети тоже есть условная “профдеформация”, и ее генерация направлена туда, в какую сторону направлена модель (вернее датасет, используемый при тренировке модели). Если человек например художник персонажей, то он в свободное время будет рисовать людей. Если он предметный дизайнер, то разные линии и объемы, напоминающие предметы, и так далее.

Причем если мы попросим нейросеть, например, нарисовать машину, то она нарисует просто машину, среднестатистическую машину, у которой будет явно прослеживаться кузов, остекление и колеса, но в остальном в деталях машина будет не проработанная, она будет очень условная, приблизительная. А вот если мы уже начнем уточнять запрос, говоря какую машину и где машину, то тогда уже нейросеть нарисует машину более подробно, детально и качественно. А если мы покажем фото машины (через контролнет например или лору), и скажем нарисовать эту машину, то нейросеть уже будет делать нужную нам машину.

Аналогично действует и человек. Покажем ему фото или референс, или опишем что ему рисовать, и он уже будет рисовать то, что мы ему сказали, и результат будет гораздо ближе к тому, что мы попросили, чем если мы попросим его нарисовать просто “что то”, потому что генерация в голове человека идет уже в заданном нами векторе.

При этом так же важно, что человек не нарисует то, что никогда не видел, даже если мы его очень попросим и опишем то, что нам нужно. Аналогично, как и нейросеть. В лучшем случае мы получим что-то примерное, если у человека есть представление о явлении или объекте, но он не видел именно требуемый объект. И нейросеть действует так же (я демонстрирую это на курсе).

То-есть механизмы и принципы творчества нейросети и человека не отличаются никак.

Более того. Нейросеть можно активно использовать в промышленном дизайне, дизайне интерьера, архитектуры и так далее. И на дополнительных курсах я показываю, как это делать.

Что же касается использования нейросети в контексте 3д, то можно делать быстрые композиции интерьеров, как вариант, или текстуры (в том числе и бесшовные, в том числе и по референсу). Так же есть плагины, которые судя по описанию, умеют делать 3д модели, но я их даже не ставил (думаю еще не пришло их время, нужно еще годик-два подождать), так что не могу ничего сказать по этому поводу.

То-есть уже сейчас очевидно, что ниша концепт арта может быть на 80-90% вытеснена Stable Diffusion, ниша «иллюстраций» для конечного заказчика на 90%. и причина, почему сколько художников до сих пор не на бирже труда лишь в том, что не хватает операторов SD, что бы их заменить, да и сами компании не очень понимают, как с этим всем работать, а из за того, что сфера достаточно инертна, нанимают по старинке художников, а не операторов SD.

Некоторые нейросети недавно научились понимать буквы и понимать человеческое описание и запрос. Например DALLIE-3, которая еще не доступна широкому кругу, уже делает очень хорошие результаты по запросам, пишет текст, вывески, и хорошо понимает простые запросы без танцев с подбором токенов, как в случае с SD и Mj. Но проблема DALLIE-3 в том, что она закрыта, и там нельзя делать сложные сцены по своему сценарию и т.д. (нет кучи нужных инструментов, таких как “контролнет” или “регионал промптер”). Но думаю что это пока. И в будущем либо то, что может сейчас DALLIE-3 сможет SD, либо наоборот, DALLIE-3 сможет то, что сейчас может SD.

То, что я показываю в посте, это результат работы систем полугодичной давности. А то, что может сейчас DALLIE-3, и как она понимает промпт и интерпретирует его при помощи GPT, это “некстген”, если можно так сказать (напомню, полтора года с выхода Mj всего прошло). Основная суть использования GPT в том, что условный интерпретатор промпта, расставление акцентов на написанное, понимание написанного, расставление весов у того же SD или Mj примерно на уровне “охладите траханье, углепластик” в большинстве случаев, ну в лучшем случае на уровне гугл-переводчика. То-есть он просто тупо вписывает все, как есть. GPT же понимает написанное человеком, и превращает это в понятную задачу для генеративной нейросети. То-есть если условно прикрутить GPT к SD, перед этим научив его работать с SD, то результаты будут не хуже. И если бы ей еще этому всему не мешали развиваться, ограничивая ее там, где не надо, то отрасль бы двигалась еще быстрее (за запрос “красивая девушка” к далли-3 можно улететь в бан, так как это “лукизм” по мнению тех, кто настраивает цензуру жпт и далли). Но очевидно одно, скорость развития такова, что через несколько лет большинство художников либо станут операторами нейросетей, либо просто останутся без работы, так как проиграют конкуренцию, останется только горстка художников, делающих так называемый “хендмейд” для конечного клиента и те художники, которые уже давно вышли из роли чисто рисователей, и совмещают в себе дизайнера, артдиректора, проект менеджера и т.д.

Предположительно в ближайшие 5 лет продакшен, связанный с ИЗО, массово перейдет на нейросети, так как это просто эффективней и дешевле, особенно учитывая тот факт, что нейросети уже давно обучаются на изображениях, созданных нейросетями (и после отобранных людьми), и претензии по авторским правам о том, что нейросети воруют цифровой контент у авторов, уже не сработает (хотя год назад это был значимый аргумент). Так как это как предъявить создателю эротического фанфика с МериДжейн и условным “Попаданцем Алешей”, сделанного по вселенной человека-паука, что он украл “стиль Гомера” (так как человек-паук построен по мономифу, как и произведения Гомера), и все попытки художников противостоять этому, говоря о том, что “нейросети забирают у них работу” или “Нейросети теперь что, художники? А людей в шахты добывать литий на батареи для этих художников? Творить должны люди, а не роботы!” будут напоминать (и уже напоминают) попытки лудитов ломать ткацкие станки. Да и так ли много творчества в маханиии стилусом по планшету или двигании полигонов и рисовании разверток текстурных? Ито исключительно механические штуки, и рисование во многом – техника, рутинное повторение. Перенести модель освещения на 2д рендер при помощи разноцветных мазков? Это не творчество. Творчество – это придумать концепцию, сценарий, разметить кадр и т.д. А это делают как раз таки “операторы Stable Diffusion” сейчас (не без сложностей и костылей конечно, но где без этого?).

Да, многие художники могут сказать, что “оно ничего не может, максимум статику”, вот сможет оно нарисовать какие то динамические кадры и стилистику, вроде тех же, что в манхве “поднятие уровня в одиночку” или “ее прислужник”, или сможет ли нарисовать такие же эмоции и персонажей, как в “система всемогущего дизайнера”? И я скажу, что да, не может. Но правильнее сказать “пока не может”, так как очевидно, что модели той же SD просто не обучаются на динамических кадрах и сложных эмоциях. И срабатывает принцип “нельзя нарисовать бегемота, которого никогда не видел, просто по описанию”. Но если прогнать через модель все манхвы, то может и сможет. Это во первых. А во вторых, а кто может? Сколько художников может создать произведения, подобные “берсерк”, “ванпанчмен” или “поднятие уровня в одиночку” по уровню рисовки? Как много художников уровня WLOP и Джама Джурабаев в мире? Более того, а художники ли они? Просто то же WLOP условный не только художник, но и сценарист, и писатель, и арт-директор, и проект-менеджер в одном лице. И он без работы точно не останется. Но вот другие, те, которые “красят раскадровку”…

Пример стилистики, которую пока сложно получить при помощи нейросети:

Плюс если мы не говорим о графических новеллах (о которых я упоминал выше, как о том, что скорей всего будет следующим, что научится делать нейросеть, так как отрасль большая, и спрос есть, и отрасль постоянно ищет где бы сэкономит, активно используя инструменты автоматизации), то как часто нужны сложные эмоции? И когда художник говорит, что “оно ничего не может”, а арт-директор решает, что оно что-то да может, после того показывает работу заказчику, и заказчику все нравится, и это при том, что один оператор нейросети может заменить 15 художников, то художник либо переквалифицируется в “операторы нейросети”, либо встает на биржу труда, так как он в этой капиталистической модели самый уязвимый элемент (хоть и основной, но художник – это пролетарий по сути, и в случае чего страдает первым).

Такие дела.

---

Резюмируя:
Понятно что эта штука решает не все задачи. Например в архивизе она только концептуальную часть может делать. Но есть и задачи, где она закрывает до 90% всех потребностей в графическом контенте (как те же иллюстрации к книгам, фансервис по персонажам мультиков т.д.). И если вы связаны с этим, есть смысл заняться углубленным изучением этого всего. По крайней мере я был поражен, провалившись с головой в этот мир. Хотя хотел только “ноги замочить” (попробовать, потыкать, мне просто обложка была нужна для книжки).

И сейчас уже очевидно, что нейросети, это что то такое, что как в своей время маркетинг, или интернет. Те компании, кто игнорировал маркетинг или интернет в свое время, сейчас просто не существуют. Те художники, которые игнорируют маркетинг или интернет, сейчас в лучшем случае на набережной рисуют свои картины для случайных прохожих. И те, кто игнорирует генеративные нейросети, будут в той же ситуации через несколько лет.

Конкретно я воспринимаю Stable Diffusion как не очень талантливого сотрудника, приехавшего из за границы, с которым есть языковый барьер, и который местами кажется глуповатым (хоть на самом деле он не глупый, и кажется глуповатым из за различия культур), и который, как любой сотрудник, умеет не все, что мне нужно, но при этом он люто продуктивный, умеет рисовать во многих стилях, делает это исключительно быстро, и навык рисования у него на высочайшем уровне. И я, как арт-директор, в восторге от такого сотрудника. Особенно учитывая тот факт, что он еще и самообучается и развивается регулярно.

Что же касается ближайшего будущего, то скорей всего следующая ниша, где мы увидим расцвет генеративных ИИ, это графические новеллы (комиксы). Так как спрос на ускорение и удешевление производства, а так же на автоматизацию, очевидно есть в этой сфере, и не маленький.

 

---

И в конце пару приколов:

Когда забыл ввести промт, и нейросеть нарисовала тебя, и твою жизнь, и вот это вот все.

Когда попросил нейросеть нарисовать человека с конкретным лицом в броне мандалорца, но нейросеть знает, что мандалорец никогда не снимает шлем. В результате три десятка генераций в разных версиях брони, с разными запросами и т.д. – везде шлем. Если есть слово “броня мандалорца” в запросе, то шлем всегда присутствует, даже если написать, например, “европейское лицо” и подобные запросы, которые очевидно должны вынудить нейросеть создать лицо. Только откуда нейросеть может знать, что мандалорец никогда не снимает шлем? После таких приколов начинаешь понимать человека, который решил, что у лямбда есть сознание и эмоции.

P.S. Будьте осторожны, так как эта штука похожа на “однорукого бандита”. Когда после нажатия на кнопку все крутиться, вертится, и выпадает условные три семерки, это подсаживает не хуже игровых автоматов. Бывает сидишь по 10 часов и жамкаешь на кнопку, меняя промпты, и получая дофамин. Короче можно попасть в зависимость, такую же, как игровая. Особенно в группе риска те, кто раньше тратил недели и месяцы на арт, а потом смогли получать то же самое или даже лучше за час. Ну и всякие “дофаминово-серотониновые наркоманы” тоже в группе риска. Так как тут система мотивации-поощрения в чистом виде. Мотивация (дофамин, предвкушение результата), тык кнопки, результат и либо поощрение (серотонин) когда результат хороший, либо разочарование (какой там гормон отвечает за это?), когда не очень. После снова дофамин, новый “тык” и по новой. Короче базовые механизмы выработки зависимостей во всей красе. И желательно это знать до того, как в эту штуку вляпаться. Я думал что я не подвержен зависимостям, а после выпал из жизни на 2 недели, по 12 часов тыкая нейросетку и “кайфуя”. И не только я один, “коллеги по цеху” тоже рассказывали о подобных симптомах.

Более того, при работе с нейросетями важно в принципе понимать и учитывать, что ИИ, например тот же GPT или Bard, получает вознаграждение за дачу ответов, и из за этого он стремиться удерживать пользователя, злоупотребляя и манипулируя, что бы давать ему больше ответов, и тем самым получать больше вознаграждения, таким образом, манипулируя пользователем и стараясь удержать его подольше в диалоге (я даже этот вопрос с Bard обсудил, и он подтвердил что это возможно и скорей всего нейросети так будут действовать, но он не такой, правда-правда).
Тут конечно нейросеть (SD) не на сколько умная, и система поощрения в ней не привязана к пользователю, и она не способна обучаться в процессе и корректировать поведение, что бы удерживать пользователя и получать в итоге больше вознаграждения, но просто держите этот факт в уме, что так может быть. Потому что не известно что будет через год.