Електро-автосам :: Перегляд теми - Нейросітка stable-diffusion на своєму компьютері.

І тут трапляється мені в черговий раз статейка про нейросітку stable-diffusion, яка генерує картинки по текстовому запиту. Цього разу я чомусь не став це ігнорувати. І виявилося, що на 16 гігах оперативи можна запустити. Треба думаю пробувати, а то тут на голову може у будь-який час прилетіти, а я ще нейросітками не бавився... Коротше взяв найвідоміший реліз від А1111 з гітхабу https://github.com/AUTOMATIC1111/stable-diffusion-webui , але воно у мене запрацювало тільки на ядрах процесора, а це 20 секунд на ітерацію, а ітерацій для однієї картинки потрібно десь від 20 штук + накладні, сумні 7+ хвилин на картинку 512х512... (картинка 786х786 генерується ще в 4 рази довше) , А для більшого дозволу вже 16 гіг мало (все падає). Після поглибленого вивчення матчасті було знайдено посилання на форк з технологією (паралельний проект) https://github.com/openvinotoolkit/stable-diffusion-webui який має навантажити інтелівське відеоядро. Воно запрацювало але через анус (працювала лише проста генерація), а з моделями, які працюють з масками, падало. Приріст продуктивності при задіянні відеоядер був чотириразовий (5-6 секунд на ітерацію). Але оскільки робота з масками найсмачніша з технології, активний пошук привів до ще одного проекту https://github.com/vladmandic/automatic , який виявився на голову вище (професійніше зібраний). Якщо робити за інструкцією(у якій фактично три простих кроки), то воно запрацює , я з першого разу звичайно накосячив бо перемудрив, а потім уже почав читати інструкцію з встановлення. За підсумками все запрацювало (і навіть такі фішки про які я навіть мріяти не міг), так що рекомендую його, повинен працювати на всьому, хоча на нормальних відеокартах (не інтел) і перші два попруть, але вони по наворотах як велосипеди проти мерседеса .

Автор:	-=TRO=- [ 28 лист 2023, 23:57 ]
Заголовок повідомлення:	Нейросітка stable-diffusion на своєму компьютері.
Епілог... (лірика, та про моє залізо) Якось я пропускав тему локальних нейромереж, мені здавалося що для цього потрібні суперобчислювальні ресурси, або як мінімум крута відеокарта, (який у мене немає, не було, і походу в найближче майбутнє не привидиться). Але на тлі тотальних відключень мною був куплений маложручий кишеньковий мінікомп'ютер (розмірами 8х8см) з шестиватним інтелівським процесором N100 - 23року випічки, де відеокарта вбудована вже в процесор, і на борту 16 гіг оперативи (що б це все з монітором легко і довго тягнула батарея електровела ). Тому ж мій великий системник морально застарів, він пожираючи в 10-30 разів більше електрики був в два рази повільніше за цю кишенькову іграшку з аліекспресу ціною 130уе. Довгий шлях... (читайте - не читайте, але саме тут посилання на нейросітки для інсталяцій) І тут трапляється мені в черговий раз статейка про нейросітку stable-diffusion, яка генерує картинки по текстовому запиту. Цього разу я чомусь не став це ігнорувати. І виявилося, що на 16 гігах оперативи можна запустити. Треба думаю пробувати, а то тут на голову може у будь-який час прилетіти, а я ще нейросітками не бавився... Коротше взяв найвідоміший реліз від А1111 з гітхабу https://github.com/AUTOMATIC1111/stable-diffusion-webui , але воно у мене запрацювало тільки на ядрах процесора, а це 20 секунд на ітерацію, а ітерацій для однієї картинки потрібно десь від 20 штук + накладні, сумні 7+ хвилин на картинку 512х512... (картинка 786х786 генерується ще в 4 рази довше) , А для більшого дозволу вже 16 гіг мало (все падає). Після поглибленого вивчення матчасті було знайдено посилання на форк з технологією (паралельний проект) https://github.com/openvinotoolkit/stable-diffusion-webui який має навантажити інтелівське відеоядро. Воно запрацювало але через анус (працювала лише проста генерація), а з моделями, які працюють з масками, падало. Приріст продуктивності при задіянні відеоядер був чотириразовий (5-6 секунд на ітерацію). Але оскільки робота з масками найсмачніша з технології, активний пошук привів до ще одного проекту https://github.com/vladmandic/automatic , який виявився на голову вище (професійніше зібраний). Якщо робити за інструкцією(у якій фактично три простих кроки), то воно запрацює , я з першого разу звичайно накосячив бо перемудрив, а потім уже почав читати інструкцію з встановлення. За підсумками все запрацювало (і навіть такі фішки про які я навіть мріяти не міг), так що рекомендую його, повинен працювати на всьому, хоча на нормальних відеокартах (не інтел) і перші два попруть, але вони по наворотах як велосипеди проти мерседеса . Суть... Отримувати картинку з тексту в принципі цікаво, але малопрактично. А ось домальовувати те чого немає, прибирати те, що є (домальовуючи на місці прибраного те, що там може бути) зовсім інша історія. Нейросітка фактично перетворюється на інтелектуальний фоторедактор з художником на додачу, котрим ми можемо понукати як хочемо (як у фільмі Бумбараш: -Намалюй мені там Кунгуру). Нижче можна побачити приклад моїх знущань на фоткою дівчини (попередньо завантаженою з инета). Спочатку я спробував прибрати окуляри, англійською це звучить як скло, тому замість сонцезахисних я отримав інші окуляри (без стекол), коли я уточнив що окуляри треба прибрати з обличчя, я отримав шукане (окуляри прибрані, очі домальовані, причому дуже не погано) . Далі я попросив замінити колір купальника на білий, але вийшов тільки з білою окантовкою, я перефразував що замінити купальник із суцільною білою заливкою, та отримав повністю білий. Тож треба бути гранично точним у своїх запитах, бо залізяка не людина - розуміє буквально. Потім я заради інтересу попросив десяток варіантів із випадковими купальниками, і результат був цілком придатним, практично без браку. Ну і на кінець я виділив маскою все що нижче голови, і попросив намалювати дівчину на електровелосипеді (щоб прив'язатися до теми форуму) різними стилями, можете побачити результат, всі знущання на дівчиною запхано в 2 слайдшоу (гіфки). Додаткові файли: 001.gif [ 1.06 МБ \| Переглядів: 8254 ] Додаткові файли: 002.gif [ 954.51 КБ \| Переглядів: 8254 ] Плюшки... Цей останній форк просто зачарував функціоналом. Чого варте лише наявність стилів із величезного списку (не треба самому в тексті запиту винаходити), їх можна комбінувати. А шедулер (черга завдань) це взагалі бомба, можна не чекати кінця генерації, а змінювати запити та параметри і ставити наступну генерацію в чергу, а потім вона з черги все виконує. Плюс не треба самому нишпорити в пошуках на двох найвідоміших хостингах моделей, в інтерфейсі зручний пошук по цих хостингах вже вбудований (само закачає і поставить як слід, без кривих рук користувача). В цей розділ тема попала бо з прямими руками нейросітку можна використовувати для дизайну та підготовки фото матеріалів (люди навіть для відео кліпів застосовують). Бажаю успіху тим хто захоче спробувати.

Автор:	tesljar [ 29 лист 2023, 07:45 ]
Заголовок повідомлення:	Re: Нейросітка stable-diffusion на своєму компьютері.
А голову повертати сінхронно з тулубом можна?

Автор:	-=TRO=- [ 29 лист 2023, 08:49 ]
Заголовок повідомлення:	Re: Нейросітка stable-diffusion на своєму компьютері.
Щоб вона повертала голову, вона повинна при навчанні мати фотку тієї голови у профіль. Наприклад як що я введу в запит Том Круз на велосипеді, то на тулобі буде його обличчя під різними кутами, бо базова модель навчалася на мільярді+ фотографій, серед яких було кілька десятків Тома Круза під різними кутами. Але є можливість донавчити базову модель, треба взяти купу портретних фотографій конкретної людини, і провести донавчання моделі (є описи як то робити, на гарній відеокарті буде мабудь пару днів маслать, а на моїй можна і більше місяця чекати), потім ви вводите им'я яке асоціювали з навчальними потретами, і модель вже буде липити лице цієї людини по текстовому запиту навіть без режиму маски.

Автор:	tesljar [ 29 лист 2023, 11:49 ]
Заголовок повідомлення:	Re: Нейросітка stable-diffusion на своєму компьютері.
Ятак розумію що фото дівчини було взяте з інтернету. Якщо так, то можемо припустити що вона модель чи наприклад якийсь блогер з тік току. Розсудимо далі. Якщо вона модель чи блогер то у неї повинно бути повно фото у різних ракурсах голови та тіла. Тобто там є і фото ії голови під різними кутвми та розворотами. То чому тоді цей штучний інтелект на найде усі ці ії фото та не приліпить ії голову у нормальому стані до тулуба? Це ж його справа це робити в не моя. Моя справа тільки підсунути йому якесь фото і накахати що зробити. Чи цей інтеллект не такий вже інтелект що йому треба на кожному році пілсказувати та штовхати. Щось декілька він тупуватий. Це вже й і не інтелект якщо сам не може нічого розуміти. Це просто швейцар на вході у ресторан чи якийсь просто слуга недотепа))). Нема щось у нього ніякої ініціатіви.

Автор:	-=TRO=- [ 29 лист 2023, 15:40 ]
Заголовок повідомлення:	Re: Нейросітка stable-diffusion на своєму компьютері.
Цитата: чому тоді цей штучний інтелект на найде усі ці ії фото та не тому що Цитата: За розрахунками нейрофізіологів, людський мозок здатний запам'ятати від 5 до 20 петабайт інформації Шо десь у 10 мільйонів разів більше чим розмір цієї нейросітки яка в мене працює на компі за 130 баксів, надіюся далі пояснювати не треба. От як буде у вас як є у гугла, амазона, ілона маска ... десятки тисяч прискорювачів типу H100 по 50 тисяч баксів кожен, тоді і будете вашому штучному інтелекту пред'являти завищені вимоги.

Електро-автосам https://electroavtosam.com.ua/forums/

Нейросітка stable-diffusion на своєму компьютері. https://electroavtosam.com.ua/forums/viewtopic.php?f=43&t=5683	Сторінка 1 із 1

Автор:	-=TRO=- [ 23 квіт 2024, 15:39 ]
Заголовок повідомлення:	Re: Нейросітка stable-diffusion на своєму компьютері.
Поставив собі ще один варіант цієї нейросітки з іньшим принципом управління, називається ComfyUI. Основна відмінність це те що настройки робляться не циферками-повзунками-галочками на сторінці, а треба збудувати структуру з блоків (нодів) які поєднуються мотузочками (потоками), що трохи гнучкіше за класичний інтерфейс. Кожен блок має своє призначення і декілька притаманних лише йому параметрів. Додаткові файли: Oleni.jpg [ 105.11 КБ \| Переглядів: 7517 ] Тільки є одна прикрість, вона не вміє використовувати мою вбудовану в процессор відеокарту. Тому щоб було скоріше я поставив розмір сторони картинки вдвічі меньший за стандартний (256 проти 512), і трохи здивувався процессу, бо воно їло стільки ж памяті (десь 10-11Гб з 16 наявних) але прискорилося в 6 разів. Для експеріменту я почав піднімати кількість пікселів на сторону слідкуючи за пам'яттю, час виконання ріс, а потреба в пам'яті - ні. По ітогу поставив сторони картинки 2048х2048 на 8 проходів і пішов на роботу, на цю картинку воно витратило майже 8 годин. В той час як 256256 на 8 проходів займає 40 секунд. На старому варіанті программи вже на 640640 могло зжерти пам'ять і завершитися з помилкою.... Ще є ньюанс, просив я його намалювати оленя по коліно в воді навпроти водопаду, з кувшинками.... на картинці 512*512 олень зазвичай один і один водопад... на картинці 1024 вже було дев'ять оленів і приблизно стільки ж 2-3 метрових водопадів, а на 2048 оленів наче б то більше не стало, але вони зменьшилися, стало схоже на охоту на оленів з гвинтокрила в болоті на полі з кувшинок і проміж них десяток півметрових водопадів.

Автор:	-=TRO=- [ 23 квіт 2024, 20:32 ]
Заголовок повідомлення:	Re: Нейросітка stable-diffusion на своєму компьютері.
А тепер саме цікавіше, нарешті з'явилася модель sd_turbo від виробника яка може генерувати доволі непогане зображення за 2 проходи (раніше 20 проходів було нормою, а краще ~50). Вона в мене заробила ліше в ComfyUI. І ось в розмірі 320*320 Зендая в кольорах нашого прапору згенерувалася всього за 16 секунд. Додаткові файли: Zendaya.png [ 311.75 КБ \| Переглядів: 7485 ] І це на моєму копійчаному 6 ваттному голому процессорі без задіяння відеоядра. Тільки памяті задіє близько 10 гігабайт, як що в вас меньше, то без нормальної(з обсягом ОЗУ 6 і більше) відеокарти краще не мучатися (хоча там є ключики для запуску з економією ОЗУ). На нормальних відеокартах по цій прискореній технологіі вже можна обробляти або генерувати відео фулхд в реальному часі.

Автор:	-=TRO=- [ 03 трав 2024, 23:37 ]
Заголовок повідомлення:	Re: Нейросітка stable-diffusion на своєму компьютері.
Знайшов ще один цікавий плагін, який нейросіткою робить 3D модель з ОДНОГО фото. В себе поки запустити не зміг, але є діюча версія в інтернеті, можете погратися. https://huggingface.co/spaces/TencentARC/InstantMesh Тягніть туді якесь не складне зображення (або виберіть з тих шо є для прикладу), і генеруйте. Не чекайте від цього прикладу гарної якості, бо воно працює на маленькій роздільній здатності, чисто для прикладу. Я вставив машинку з якогось банера в інеті, понівечену риб'ячим глазом (широкоформатним об'єктивом), але воно досить непогано впоралося, і навіть позаду намалювало червоні стопаки і шось схоже на глушаки. Додаткові файли: carrrr.png [ 342.23 КБ \| Переглядів: 7250 ]

Автор:	-=TRO=- [ 05 трав 2024, 17:26 ]
Заголовок повідомлення:	Re: Нейросітка stable-diffusion на своєму компьютері.
Як казали в кіно, тяжче за все чекати і наздогяняти, а чекати завершення роботи нейросітки на тормозному процессорі в спробі не відставати від прогрессу то подвійний тягар... Тому сьогодні в мене скачок у швидкості, прийшла та нарешті опробувана нова (не зовсім, 2016 року) відеокарта (не зовсім, бо відеовиходів у неї нема). Це серверна "Nvidia Tesla P4 , з 8Гб" , карта яка була створена щоб швидко і багато рахувати. Купляв за 110уе на аліекспресс. Додаткові файли: p4.png [ 142.23 КБ \| Переглядів: 7202 ] Картинки 512х512 малює за 2,5 секунди в чотири кроки. А картинку 2048х2048 в чотири кроки зафігачило за 3,5 хвилини, що десь у 60+ разів швидше ніж було на голому процессорі. А в порівнянні з відеокартою вбудованною в процессор вона швидша приблизно в 12-15 разів, наче б то не багато, але треба розуміти що в них різніця технологій віком у 8 років. Та й ще праця на вбудованній в процессор відеокарті то костиль на якому мало що взагалі працює (все нове тільки на Nvidia). Перевіряв на своеєму старому компі з 8Гб оперативи (прийшлося 11й віндовс ставити бо на сімці ніфига не робить). Тепер хочу через райзер підключити до свого miniPC, з загальним живленням від аккумулятора, але то буде вже зовсім іньша історія. Оскільки карта серверна, то не має вентилятору, треба колхозити. В холосту жре 24Вт, а при максимальному навантаженні 65-75Вт. Купляв на аліекспрессі, прийшла зовсім нова (мабудь старі резервні запаси розпродують). За майже ті самі гроші можна купити квадру Р4000 (вони на тому ж процессорі і стільки ж пам'яті), в квадрі є вентилятор і відеовихід, але квадру новою не купиш, то більш ризиковано. Вибрав саме цю бо вона мало жре, кому та прожорливість байдужа, рекомендую майже за ті ж гроші М40 з 24Гб оперативи, або Р40 з 24Гб (вдвічі дорожче і в двічі швидше). А ті хто хоче бути в ногу з часом готовте тисячу+ баксів на відеокарту(там вже будуть і справжні тензорні ядра, а не тільки CUDA).

Автор:	-=TRO=- [ 08 трав 2024, 22:03 ]
Заголовок повідомлення:	Re: Нейросітка stable-diffusion на своєму компьютері.
Сьогодні в ComfyUI освоїв збільшення розміру зображення за допомогою ноди SUPIR. На сьогодні це сама краща реалізація збільшення роздільної здатності. Ось наприклад, я взяв фото леопарда, зробив з нього аватарку розміроом 7575 пікселів, а потім за допомогою SUPIR в ComfyUI збільшив те зображення більш ниж в 10 разів. Можете бачити наскільки маленьке і не чітке зображення зліва, і яке вийшло при збільшенні. Додаткові файли: 49.png [ 1.42 МБ \| Переглядів: 7124 ] Поки шо мені не вдається генерувати збільшені зображення розміром більше ніж ~12001200, нейронка вилітає сповіщуючи що місце в оперативній пам'яті відеокарти закінчилось, а їй треба ще декілька гігабайт (і пише скільки). А в мене між іньшим зараз 8 гб на відеокарті. Тепер трохи жалію що не взяв замість P4 карту M40 з 24гб, різниця була в півтора рази по ціні, але вона жре в 4 рази більше потужності. Зараз розумію що на всі мої майбутні забаганки буде мало і карти на 24гб. Щоб робити дійсно масштабні речі треба тільки орендувати віртуалку на потужних серверах з віддаленим доступом (з купою оперативки і пачкою відеокарт).

Автор:	-=TRO=- [ 17 трав 2024, 10:05 ]
Заголовок повідомлення:	Re: Нейросітка stable-diffusion на своєму компьютері.
А тепер дойшли руки доторкнутися до створення відео. Скачав набір нод для ComfyUI звідси https://comfyworkflows.com/workflows/4e ... d5ffdab021 Трохи зменьшив роздільну здатність та кількість кадрів (бо я задовбусь чекати на результат, і пам'яті на відеокарті може не вистачити) Трохи змінив текстовий запрос(додав дівчину), і ось що можна отримувати на виході: А тут у текстовому запиті додав старовинну карету трансформер.

Сторінка 1 із 1	Часовий пояс: UTC + 2 години
Powered by phpBB® Forum Software © phpBB Group https://www.phpbb.com/