Подробно и доходчиво про ComfyUI

Вместо предисловия

Знаете, я немного утомился от новостей про дорожающую оперативную память, SSD и комплектующие. Заметил, что посты про локальные нейросети генераций картинок, видео, музыки и голоса гораздо популярнее всех невеселых топиков, вместе взятых.

И мне понятен такой интерес. Когда вы сгенерировали первую картинку, неважно, в Stable Diffusion, Foocus или другой локалке - ощущение непередаваемое! Еще бы! Вы не зависите ни от каких блокировок интернет ресурсов, вы вообще не зависите от интернета! Последний нужен только для того, чтобы поставить нейросеть и скачать нужные модели к ней. Всё остальное зависит лишь от вашей фантазии. Вся работа происходит за счет комплектующих вашего компьютера, он единственный "мозг", который послушно творит то, что вы задаете ему описанием задачи, которое называется промптом.

Я начинал со Stable Diffusion - отличная локальная нейронка генерации и частично редактирования картинок. Она удобна для начинающих, но не работает с новейшими моделями, которые привносят в ваши генерации эффекты один немыслемее другого.

Здесь, в группе, участник поставил ComfyUI, но признался, что ничего в нем не понял. Немудрено - "голый" ComfyUI всего лишь каркас для сумасшедшего количества различных нейронок, причем они не ориентированы на, допустим, генерацию картинок - одни генерируют изображения, другие редактируют изображения не хуже фотошопа, третьи могут сгенерировать песню по вашим стихам, с учетом заданного стиля, голоса, темпа и тональности, четвертые могут клонировать голоса, произносить тексты, пятые генерируют видео и т д.

И генерации чего-либо гораздо профессиональнее, чем тот жеStable Diffusion.

Основные вопросы, связанные с ConfyUI

1. Почему Portable?

ComfyUI можно поставить и как установленную программу, а не Portable. Но, если вы использовали раньше Stable Diffusion или другой какой софт с Python, то может возникнуть конфликт. Дело в том, что в том же Stable Diffusion, используется версия 3.10.6, а ComfyUI 3.13ХХХ. В систему можно поставить только одну версию Python. И если вы будете ставить ComfyUI как программу не Portable, то он обновит Python, и Stable Diffusion перестанет работать. В ComfyUI Portable Python находится в папке с программой и изолирован от системного Python-а, поэтому ComfyUI будет работать в своем окружении, а для Stable Diffusion останется старая версия Python.

2. Обязательно ставьте ComfyUI в папку, в названии котором нет кириллических букв и пробелов. Кроме того в пути к этой папке тоже не должно быть кириллицы. Оптимально, допустим сделайте прямо на диске D папку с названием ComfyUI (можно ComfyUI_portable - знак подчеркивания можно) и туда распаковывайте нейронку.

3. Готовьте много места на дисках - модели занимают много гигабайт, а их надо много для разных целей. Если на диске мало места осталось, используйте символьные ссылки. Объясню: вы качаете модель в другое место и делаете символьную ссылку на модель, а ее размещаете в нужной папке ComfyUI. Для простоты используте прогрумму LinkShell, сайт недоступен в России, я разместил ее у себя в гугл диске, можете качать и устанавливать. Вот она здесь . Как ей пользоваться. Доустим, вы скачали модель на диск D в папку. Выделяете ее, делаете правый клик и выбираете из списка "запомнить источник ссылки" (см скриншот

После идете в нужную папку ComfyUI, делаете по пустому месту правый клик и выбираете в выпадающем списке "поместить символическую ссылку" (см скриншот)

В итоге появится значок модели, он весит ноль мегабайт, но будет восприниматься как модель именно в этом месте, хотя весит гигабайты. И ComfyUI будет обращаться к этой модели при надобности, хотя реально она размещена в другом месте, он будет считать, что модель именно здесь.

4. Обязательно поставьте ComfyUI Manager - нейронка будет работать и без него, но сколько же удобств принесет он вам, вы очень скоро оцените!

Для его установки прочтите инструкцию с Яндекс Дзена вот здесь .

5. Пусть вас никогда не смущает обилие "квадратиков" и стрелок, все это сделано за вас! Легко находится окно Prompt - там вы пишете промпт, что вы хотите, чтобы нейронка сделала. Так же, если вы редактируете фото, значит будет окно Photo. Туда помещаете фото для редактирования. Все эти "квадратики" называются нодами. А сами разные типы нейронок можно взять кликнув кнопку Templates. (на скриншоте ниже показал стрелкой.

Если вы нажмете на эту кнопку, вывалится огромное количество нейронок для генерации всего, с картинками-анимациями к каждой.

Там можно выбрать поиск по названию, вписав вверху первые буквы названия той нейронки, которую хотите найти или по категориям слева - Image (изображения), Video (ну, думаю ясно) и прочее. Итак вы выбрали то что хотите, клик по картинке с выбранной нейронкой и откроется тут же выбранная Template - все эти "квадратики" с уже выставленными стрелками. Внимание! Если не будет модели для работы нейронки вывалится окно с недостающими моделями, будет показано куда ее поместить и кнопки Download, чтобы начать скачивание моделей. Кроме того там будет показан URL - сайт, если вы хотите скачать модель не через сам ComfyUI, а, допустим, через внешнюю качалку (например, Internet Download Manager). Вы также можете качать модели в любое место, а потом поместить символьную ссылку на нее в указанную папку.
Может вывалиться ошибка про недостачу каких-то нодов "квадратиков". Вот тут-то, нам и поможет CpmfyUI Manager.

Жмем на его кнопку, откроется окно. Жмем на кнопку Install Missing Custom Nodes, откроется окошко, там высветятся отсутствующие ноды, и кнопка Install. Ставим их все. После перезагружаем ConfyUI. И после прекрасно работаем с выбранной нейронкой! Кстати, перезагрузить ComfyUI необходимо и после установки недостающих моделей!

Да, там же, в менеджере есть кнопка Update ComfyUI, не забывайте обновлять ComfyUI до актуальной версии, вам с каждой обновой будут открыватья новые темплейты, значит, новые возможности.

В заключение про производительность.

Работа с изображениями и звуком, как правило, не требует заоблачных мощностей железа.Тем не менее, игровой компьютер нужен. Сделайте подкачку фиксированной в 100 гигабайт - она пригодится!

При генерации видео нужно следить, сколько ресурсов требует та или иная схема (template). Спросите в поиске. Потому что есть схемы с моделями, которые под силу только профессиональным видеокартам. К счастью, полнО схем с умеренными системными требованиями.

Не бойтесь, экспериментируйте, это чертовски увлекательно!

Удачи в творчестве!