Странник
Программа для изменения лиц в видео с помощью нейросети, работающей на графическом ускорителе GeForce 10 series
Это сборка из github репозитория https://github.com/deepfakes/faceswap
Отличия от программы FakeApp.org:
+ 100% протестировано на чистых Windows 7 и Windows 10
+ быстрее загружается, т.к. нет каждый раз распаковки в temp
+ лучше выборка лиц, меньше артефактов
+ быстрее тренировка, т.к. жарит GPU на всю катушку, по графикам нагрузки нет прогалов в GPU Usage, температура 78C против 65C на FakeApp.
+ лучше результат наложения
+ есть метод тренировки GAN ( generative-adversarial-network )
+ отсутствие логотипа FakeApp в финальный результат
– обновление preview окна не частое
– кому-то покажется недостатком отсутствие графического интерфейса
Предустановки:
Обновляете драйвера на вашу GeForce видеокарту.
Распаковываете папку FaceSwap из архива в корень любого диска, например C:\\
Ставите из архива inst\\VC_redist_2015_x86.exe
Ставите из архива inst\\VC_redist_2015_x64.exe
Ставите из архива inst\\VC_redist_2017_x86.exe
Ставите из архива inst\\VC_redist_2017_x64.exe
Ставите NVidia CUDA 8.0 без патчей под вашу ОС
В инсталляторе выбираете Custom и только CUDA ветку.
Если инсталлятор NVidia CUDA ругался на возможность работы CUDA на вашей видеокартой, значит вы не сможете использовать данный продукт на вашем компьютере.
Далее по порядку:
FaceSwap\\workspace – наша рабочая папка для хранения модели целиком (видео, фото, файлы самой программы).
1) clean workspace.bat – очистит рабочую папку, не трогая data_src(dst).mp4 и result.avi
Кладёте в папку workspace ваше видео data_src.mp4 формата максимум 1080р – это видео откуда брать лицо. Тестовое 720p видео уже содержится в папке.
Кладёте в папку workspace ваше видео data_dst.mp4 формата максимум 1080р – это видео где заменить лицо. Тестовое 720p видео уже содержится в папке.
Если у вас 4Gb видео памяти, то используйте только 720p видео.
Лицо должно быть одно в видео, иначе все лица будут в выборке.
Можете посмотреть какие лица извлеклись в п4.1 и п5.1 ниже.
Если нашли посторонние лица или артефакты – можно:
– либо вырезать их в изначальном видео и повторить процесс заново
– либо удалить файлы с артефактами, просматривая их в п4.1 и п5.1, тогда если в конечном видео нечто наложится на артефакты – то можно в видеоредакторе “замазать” их маской оригинального видео
2) PNG data_src.bat – конвертирует видео откуда брать лицо в набор PNG в workspace\\data_src
3) PNG data_dst.bat – конвертирует видео где заменить лицо в набор PNG в workspace\\data_dst
4) data_src align.bat – производит выборку лиц из набора PNG workspace\\data_src для дальнейшей работы
4.1) data_src align view results.bat – просмотр результатов выборки лиц с помощью портативной программы FSViewer. Проскролите всю папку, и если обнаружите артефакты – см выше.
5) data_dst align.bat – производит выборку лиц из набора PNG workspace\\data_dst для дальнейшей работы
5.1) data_dst align view results.bat – просмотр результатов выборки лиц с помощью портативной программы FSViewer. Проскролите всю папку, и если обнаружите артефакты – см выше.
6. Тренировка.
Отключаем любые программы, которые могут использовать видео память.
6) train Original.bat – тренировка оригинальным методом.
6) train LowMem.bat – тренировка сокращенным методом. <- Если у вас 4Gb видеопамяти, то это ваш метод.
6) train GAN.bat – тренировка методом GAN.
В процессе тренировки можно выходить через Enter, нажав его в окне training, и запускать в любое время, модель будет продолжать обсчитываться с той же точки.
Также можно сделать следующие пункты, чтобы посмотреть финальный результат, а затем продолжить тренировать.
Тренируем от 12 часов и больше. Когда результат удовлетворяет – выходим также через Enter, нажав его в окне training.
7) Наложение лиц.
Запускаем только тот метод, с которым вы тренировали модель.
7) merge to dst Original.bat – наложение лиц оригинальным методом в режиме seamless clone.
7) merge to dst LowMem.bat – наложение лиц сокращенным методом в режиме seamless clone.
7) merge to dst GAN.bat – наложение лиц методом GAN. – пока лучше не использовать , работает криво, сейчас ведется работа по его улучшению
Результат картинок в workspace\\data_dst\\merged – можно использовать самому в видеоредакторе, либо склеить в видео в п.8
8) merged dst to avi.bat – склеивает картинки в видео в workspace\\result.avi в исходном FPS. Также любые прогалы PNG в наборе merged автоматически заполняются соседними кадрами.
Всё. Результат в workspace\\result.avi. Если результат не удовлетворил, можно продолжать тренировать с п.6.
Подробнее о методах тренировки:
Оригинальный метод. Текущий действующий алгоритм, из которого изготовлены большинство видео на ютубе.
Сокращенный метод. То же что и Обычный метод, только нейронная сеть сокращена, поэтому используется меньше видео памяти. Подходит для видеокарт с 4GB видеопамяти.
Метод GAN. Позволяет улучшить результаты с лицами закрытыми чем-либо. Требует больше времени на изучение.
Дополнительная информация:
workspace backup.bat – сохранит workspace в backup_workspace
workspace restore.bat – восстановит workspace из backup_workspace
Почему result.avi, а не mp4 ? Кодек используется всё равно x264, но почему-то mp4 не грузится в фотошопе и в sony vegas.
