Арт-нейросети

Здесь я оставлю оговорку: я буду рассказывать свой опыт не художника и не программиста. Путь обычного человека, который умеет в истории, но не более того. Мои художественные способности ограничиваются абсолютно нечитаемым почерком, и это уже шедевр для меня.

Первым делом предстояло выбрать нейросеть: при тестовых прогонах, еще когда я пробовал баловаться с артами, Midjorney мне показалась более отзывчивой. Она лучше понимала человеческий текст, да и проще в освоении. Все общение с ней буквально идет в чате дискорд, где, к тому же, можно подсмотреть и за другими - как задавать запросы.

Но, я пока не разобрался с темой оплат зарубежных сервисов, а в бесплатном режиме возможности использования Миджорни очень ограничены. Понимая, что запросов мне понадобится очень много, и поэтому я выбрал нейросеть Stable diffusion - она имеет открытый исходный код, и ее, возможно поставить даже на свой домашний компьютер. Этим я и занялся.

Я опущу ряд технических деталей, замечу, что установка SD заняли весь вечер, даже несмотря на то, что я следовал довольно понятной инструкции. Писали эту сеть программисты, для таких же программистов, и они не заморачивались тем, что ей будут пользоваться и обычные люди.

Чтобы нейросеть заработала, было необходимо установить целый выводок всяких программ, установку которых надо было делать отдельно и разбираться как их ставить. А еще, нейросеть работает только с командной строкой, я еще помню еще по своей компьютерной юности лет 30 назад. Слава богу, для SD написан графический интерфейс, он не очень удобен, но все таки вполне приемлем.

Итак, пройдя этот круг ада, я смотрю на чистый лист, и думаю, с чего начать? Уже имея опыт подготовки артов, я понимаю, сформировать одним запросом целый фрейм комикса я скорее всего не смогу, так как нужно будет одновременно учесть много переменных, которые запутают и меня и сеть. Ведь необходимо будет учесть фон, объекты в кадре, их взаимное расположение, герои, их жесты, выражение эмоций, направления движения и еще кучу деталей. Я решил так: фона не будет, объекты и героев-же буду формировать отдельными запросами, и использовать сквозным образом между кадрами. Т.е. формируя дом, буду заранее предполагать что во всех кадрах он будет один и тот же. Финальную выкладку комикса соберу в фотошопе(условном). А чтобы это все визуально совмещалось между собой, в запросе буду указывать стиль рисования. Я решил, что мне достаточно будет указания стиля комикс, что логично. Решение было правильное, но неверное. Чуть позже я расскажу почему.

Я приведу вам примеры некоторых запросов, которые у меня сохранились и я помню, напишу их по-русски, для нейросети я переводил их обычным гугл-переводчиком.

Начал я с дома ужасов. Сформировал запрос так: Дом ужасов из лунапарка, похож на трейлер, его дверь обращена к нам, нарисован в стиле комикса.

Оказалось что слово «трейлер» для нейросети было ключевое, и она в ответ выдала кучу разнообразных трейлеров с неуклюже натыканными вывесками. Кроме этого оказалось, что нейросеть, то что вам нужно, любит рисовать кусочками. А еще делает это в совершенно любой проекции. Т.е. это тоже нужно было учитывать в запросе. Наконец, оказалось ,что наш привычный дом ужасов на английском panic room. Финальный запрос был такой: Паник-рум, в профиль, дверь обращена к нам, занимает весь кадр, нарисован в стиле комикса. Негативный запрос (это такой запрос, того чего в кадре быть не должно), был такой: Фон, другие дома, деревья, люди.

Попытки с шестой у меня, наконец, получилось, то, что нужно. Я обрадовался, и в этом месте подумал, что раскусил фишку, и дальше все будет не просто, а очень просто. Пиши себе запросик, а нейросеть все сделает, и дело в шляпе. Как же я ошибался!

Настала очередь нарисовать героев. Согласно сценарию, герои у нас присутствуют буквально в одном кадре. Это заметно упрощало ситуацию, так как не нужно было пытаться повторять героев в условиях священного рандома.

Что в кадре: человек, идет в сторону дома, держит на руках скунса. Конечно, посчитав, что я теперь все знаю, не забыв про проекции, направления движения и другие мелочи я создал первый запрос. Потом поправил его, и еще…и еще.

Ныне, я уже и не могу вспомнить как выглядел самый первый запрос, так как я перебирал и перебирал варианты, и многие из них исчезли во времени, как слезы под дождем.

Оказалось, что нейросеть очень плохо воспринимает ту ситуацию, что нечто должно находиться в руках человека. Я пробовал разные варианты, у меня человек нес скунса, держал скунса, скунс сидел в руках человека, в руках у человека лежал скунс. Что только человек и скунс и не вытворяли вместе в моем запросе.

Как только я понял, что пытаюсь высосать чай из пустой кружки, я остановился. Надо было подумать. Возможно, предположил я, дело в том, что совмещать человек и скунса нейросеть тупо не обучали? Возможно я поставил трудную задачу. Я сделал пробу: написал “человек несет коробку”. Казалось, что такой запрос не должен представлять проблемы, но нет, не помогло.

Отчаявшись заставить делать то, что мне нужно, я понял, что пора применить мозг. Влил в него дозу кофе, активировал думательные супер-способности и решил: раз это комедийный комикс, то почему бы человеку просто не вести с собой скунса на поводке, как собаку? Это же просто!

Лучше бы я умер еще там, со скунсом в руках. Там, хотя бы было что-то похожее. Теперь же нейросеть в разных комбинациях выдавала какую то дичь. Я получал скунсолюдей, человекоскунсов, людей с частями скунсов, скунсов с частями людей ,и, почему то скунсов и людей с тремя ногами. Откуда нейросеть выкапывала последний параметр, решительно не понимаю, я такого не просил. Это все конечно было круто, но точно не то, что нужно. Пора было опять сделать паузу и съесть твикс.

А! Ладно, пусть тогда скунс и человек просто идут рядом. Как друзья! Они же умные, подумал я. Не уточняя, кто там из них умные - люди, скунсы или нейросети.

Наконец, ко мне пришла, воистину гениальная идея: сформировать человека и скунса отдельными запросами. Итак, финальный запрос был такой: скунс идет, вид в профиль, нарисован в стиле комикса. Негативный запрос оставил тот же: Фон, другие дома, деревья, люди. Теперь, дело пошло веселее, и быстрее. Нейросеть предложила мне массу вариантов людей и скунсов. Я сохранил вроде подходящие и, выдохнув, двинулся дальше.

Мне оставалось всякие надписи и реплики, и я подумал, почему бы не попробовать применить искусственный разум. Дабы не писать стандартным шрифтом, и создать нечто рандомно-уникальное. Оказалось, что я не оценил силу рандома. Просто-напросто нейросеть не знает что такое “надпись”, “подпись” или “реплика”. Нейросети нужен какой-либо предмет, например “вывеска”. Но это пол-беды, целая же беда состояла в том, что грамоте нейросеть обучена не была, и выдавала дичайшие надписи, лишь слегка похожие на нужные.

На этом моменте я психанул, и подумал, что сделать надписи обычным шрифтом в фотошопе, не такая уж и плохая идея.

Наступила пора, все это собрать. Начал я пробовать накидывать фреймы в фотошопе: накидал полученных картинок и внезапно осознал самую главную свою ошибку!

Дело в том, что понятие “комикс” это скорее способ повествования, жанр если хотите, но точно не какой-то один стиль. Комикс можно нарисовать множеством совершенно не похожих между собой вариантов. Нейросеть создавала все - дома, героев, какие то нужные детали, ну наверное, в десятке разнообразных жанров и стилей. Теперь я понимал, вместо указания рисовать комикс, стоило указать либо конкретного художника, или возможно конкретный комикс, в качестве референса.

Но, это теперь уже на следующий раз. Фарш, как известно, назад не прокрутить, и я решил собрать из того что было, так как горький опыт - все равно опыт. Да и интересно было посмотреть, что получиться из этого винегрета. Результат вы уже видели.

Какие выводы можно сделать:

1. Грамотное планирование. Понимание какие детали вы сможете получить от нейросети, а что придется доделывать вручную. На данный момент, создать комикс целиком или даже по фреймам, задача возможная, но крайне трудная. Стабилизировать героя, фон и детали кадра довольно трудно, нейросеть склонна к случайному набору образов.

2. Выбирать сразу конкретный визуальный ряд, и давать нейросети указание на это. Скорее всего лучше сработает фамилия художника, но нужно иметь в виду, нейросеть должна знать этого художника.

3. Выбор самой нейросети и формирование запроса к ней. Я уверен, что в случае если бы я пользвалься Midjorney, результат был бы немного лучше, так как эта нейросеть более отзывчива к человеческим запросам, общение со Stable diffusion скорее напоминает набор команд, и правильная последовательность команд и подобранные слова, дают лучший результат, но небольшая ошибка может привести к абсолютному рандому. Также очень важно изучать возможности нейросети, на данный момент я еще не научился пользоваться возможностью преобразования картинку в картинку, а это довольно мощный инструмент. В следующий раз и попробую.

Я ухожу, но еще вернусь.