Программа для изменения лиц в видео с помощью нейросети, работающей на графическом ускорителе GeForce 10 series
Это сборка из github репозитория https://github.com/deepfakes/faceswap
Отличия от программы FakeApp.org:
+ 100% протестировано на чистых Windows 7 и Windows 10
+ быстрее загружается, т.к. нет каждый раз распаковки в temp
+ лучше выборка лиц, меньше артефактов
+ быстрее тренировка, т.к. жарит GPU на всю катушку, по графикам нагрузки нет прогалов в GPU Usage, температура 78C против 65C на FakeApp.
+ лучше результат наложения
+ есть метод тренировки GAN ( generative-adversarial-network )
+ отсутствие логотипа FakeApp в финальный результат
— обновление preview окна не частое
— кому-то покажется недостатком отсутствие графического интерфейса

Предустановки:

Обновляете драйвера на вашу GeForce видеокарту.
Распаковываете папку FaceSwap из архива в корень любого диска, например C:\\
Ставите из архива inst\\VC_redist_2015_x86.exe
Ставите из архива inst\\VC_redist_2015_x64.exe
Ставите из архива inst\\VC_redist_2017_x86.exe
Ставите из архива inst\\VC_redist_2017_x64.exe
Ставите NVidia CUDA 8.0 без патчей под вашу ОС
В инсталляторе выбираете Custom и только CUDA ветку.
Если инсталлятор NVidia CUDA ругался на возможность работы CUDA на вашей видеокартой, значит вы не сможете использовать данный продукт на вашем компьютере.
Далее по порядку:
FaceSwap\\workspace — наша рабочая папка для хранения модели целиком (видео, фото, файлы самой программы).
1) clean workspace.bat — очистит рабочую папку, не трогая data_src(dst).mp4 и result.avi
Кладёте в папку workspace ваше видео data_src.mp4 формата максимум 1080р — это видео откуда брать лицо. Тестовое 720p видео уже содержится в папке.
Кладёте в папку workspace ваше видео data_dst.mp4 формата максимум 1080р — это видео где заменить лицо. Тестовое 720p видео уже содержится в папке.
Если у вас 4Gb видео памяти, то используйте только 720p видео.
Лицо должно быть одно в видео, иначе все лица будут в выборке.
Можете посмотреть какие лица извлеклись в п4.1 и п5.1 ниже.
Если нашли посторонние лица или артефакты — можно:
— либо вырезать их в изначальном видео и повторить процесс заново
— либо удалить файлы с артефактами, просматривая их в п4.1 и п5.1, тогда если в конечном видео нечто наложится на артефакты — то можно в видеоредакторе «замазать» их маской оригинального видео
2) PNG data_src.bat — конвертирует видео откуда брать лицо в набор PNG в workspace\\data_src
3) PNG data_dst.bat — конвертирует видео где заменить лицо в набор PNG в workspace\\data_dst
4) data_src align.bat — производит выборку лиц из набора PNG workspace\\data_src для дальнейшей работы
4.1) data_src align view results.bat — просмотр результатов выборки лиц с помощью портативной программы FSViewer. Проскролите всю папку, и если обнаружите артефакты — см выше.
5) data_dst align.bat — производит выборку лиц из набора PNG workspace\\data_dst для дальнейшей работы
5.1) data_dst align view results.bat — просмотр результатов выборки лиц с помощью портативной программы FSViewer. Проскролите всю папку, и если обнаружите артефакты — см выше.
6. Тренировка.
Отключаем любые программы, которые могут использовать видео память.
6) train Original.bat — тренировка оригинальным методом.
6) train LowMem.bat — тренировка сокращенным методом. <- Если у вас 4Gb видеопамяти, то это ваш метод.
6) train GAN.bat — тренировка методом GAN.
В процессе тренировки можно выходить через Enter, нажав его в окне training, и запускать в любое время, модель будет продолжать обсчитываться с той же точки.
Также можно сделать следующие пункты, чтобы посмотреть финальный результат, а затем продолжить тренировать.
Тренируем от 12 часов и больше. Когда результат удовлетворяет — выходим также через Enter, нажав его в окне training.
7) Наложение лиц.
Запускаем только тот метод, с которым вы тренировали модель.
7) merge to dst Original.bat — наложение лиц оригинальным методом в режиме seamless clone.
7) merge to dst LowMem.bat — наложение лиц сокращенным методом в режиме seamless clone.
7) merge to dst GAN.bat — наложение лиц методом GAN. — пока лучше не использовать , работает криво, сейчас ведется работа по его улучшению
Результат картинок в workspace\\data_dst\\merged — можно использовать самому в видеоредакторе, либо склеить в видео в п.8
8) merged dst to avi.bat — склеивает картинки в видео в workspace\\result.avi в исходном FPS. Также любые прогалы PNG в наборе merged автоматически заполняются соседними кадрами.
Всё. Результат в workspace\\result.avi. Если результат не удовлетворил, можно продолжать тренировать с п.6.
Подробнее о методах тренировки:
Оригинальный метод. Текущий действующий алгоритм, из которого изготовлены большинство видео на ютубе.
Сокращенный метод. То же что и Обычный метод, только нейронная сеть сокращена, поэтому используется меньше видео памяти. Подходит для видеокарт с 4GB видеопамяти.
Метод GAN. Позволяет улучшить результаты с лицами закрытыми чем-либо. Требует больше времени на изучение.
Дополнительная информация:
workspace backup.bat — сохранит workspace в backup_workspace
workspace restore.bat — восстановит workspace из backup_workspace
Почему result.avi, а не mp4 ? Кодек используется всё равно x264, но почему-то mp4 не грузится в фотошопе и в sony vegas.

Оригинал темы

СКАЧАТЬ

0
0

Автор публикации

не в сети 2 дня

Странник

529,50
Комментарии: 7Публикации: 393Регистрация: 11-09-2018