ellibsЭлектронные библиотекиRussian Digital Libraries Journal1562-5419Казанский (Приволжский) федеральный университет10.26907/1562-5419-2023-26-4-466-482ellibs-384Research ArticleСтатьиCистема контролируемой генерации лица, построенная с использованием сети StyleGAN2Controlled Face Generation System using StyleGAN2 Neural NetworkИсангуловМ. В.IsangulovM.marathon.our@gmail.comМиннеахметовР. Р.MinneakhmetovR.razil0071999@gmail.comХамеджановА. Р.KhamedzhanovA.hamedzhanovalmaz@gmail.comХафизьяновТ. Р.KhafizyanovT.hamstertima@gmail.comПашаевЭ. А.PashaevE.emil.p.mail@gmail.comКалимуллинЭ. Р.KalimullinE.erik182182@gmail.comКазанский (Приволжский) Федеральный университетKazan (Volga region) Federal UniversityКазанский (Приволжский) Федеральный университетRussian Federation202328082023264466482Copyright © Исангулов М.В., Миннеахметов Р.Р., Хамеджанов А.Р., Хафизьянов Т.Р., Пашаев Э.А., Калимуллин Э.Р., 20232023Исангулов М.В., Миннеахметов Р.Р., Хамеджанов А.Р., Хафизьянов Т.Р., Пашаев Э.А., Калимуллин Э.Р.Isangulov M., Minneakhmetov R., Khamedzhanov A., Khafizyanov T., Pashaev E., Kalimullin E.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://ellibs.elpub.ru/jour/article/view/384

Представлен новый подход к контролируемой генерации лиц, использующий генеративные модели с открытым исходным кодом, включая StyleGAN2 и Гребневую регрессию. Разработана методология, расширяющая возможности StyleGAN2 для контроля характеристик лиц, таких как возраст, раса, пол, выражение лица и атрибуты волос, а также использован обширный набор данных человеческих лиц с аннотациями атрибутов. Лица закодированы в 256-мерном латентном пространстве с использованием кодировщика StyleGAN2, что привело к набору характерных латентных кодов. Применен алгоритм t-SNE для кластеризации этих кодов на основе признаков, продемонстрирована возможность контроля генерации лиц, впоследствии обучены модели регрессии Риджа для каждого измерения латентных кодов с использованием размеченных признаков. При декодировании с использованием StyleGAN2 полученные коды успешно восстанавливали изображения лиц, сохраняя связь с входными признаками. Разработанный подход дает легкий и эффективный способ контролируемой генерации лиц с использованием существующих генеративных моделей, таких как StyleGAN2, и открывает новые возможности для различных областей применения.

A novel approach to supervised face generation using open-source generative models including StyleGAN2 and Ridge Regression is presented. A methodology that extends StyleGAN2 to control facial characteristics such as age, race, gender, facial expression, and hair attributes is developed, and an extensive dataset of human faces with attribute annotations is utilized. The faces were encoded in 256-dimensional latent space using the StyleGAN2 encoder, resulting in a set of characteristic latent codes. We applied the t-SNE algorithm to cluster these feature-based codes, demonstrated the ability to control face generation, and subsequently trained Ridge regression models for each dimension of the latent codes using the labeled features. When decoded using StyleGAN2, the resulting codes successfully reconstructed face images while maintaining the association with the input features. The developed approach provides an easy and efficient way to supervised face generation using existing generative models such as StyleGAN2, and opens up new possibilities for different application areas.

машинное обучениегенерация лицаэнкодердекодерскрытые кодыотображение признаковгребневая регрессияStyleGanReferencesXia W., Zhang Y., Yang Y., Xue J.-H., Zhou B., Yang M.-H. GAN Inversion: A Survey. ArXiv210105278 Cs. 2022. URL: http://arxiv.org/abs/2101.05278Xia W., Zhang Y., Yang Y., Xue J.-H., Zhou B., Yang M.-H. GAN Inversion: A Survey. ArXiv210105278 Cs. 2022. URL: http://arxiv.org/abs/2101.05278Bishop C. Pattern Recognition and Machine Learning. Information Science and Statistics. 2006. URL: https://link.springer.com/book/9780387310732Bishop C. Pattern Recognition and Machine Learning. Information Science and Statistics. 2006. URL: https://link.springer.com/book/9780387310732Karras T., Laine S., Aila T. A Style-Based Generator Architecture for Generative Adversarial Networks. ArXiv181204948 Cs Stat. 2019. URL: http://arxiv.org/abs/1812.04948Karras T., Laine S., Aila T. A Style-Based Generator Architecture for Generative Adversarial Networks. ArXiv181204948 Cs Stat. 2019. URL: http://arxiv.org/abs/1812.04948Karras T., Hellsten J et al. Analyzing and Improving the Image Quality of StyleGAN. arXiv:1912.04958 Cs. 2019. URL: https://arxiv.org/pdf/1912.04958.pdfKarras T., Hellsten J et al. Analyzing and Improving the Image Quality of StyleGAN. arXiv:1912.04958 Cs. 2019. URL: https://arxiv.org/pdf/1912.04958.pdfKryuchkov M., Khanzhina N., Osmakov I., Ulyanov P. CT images GAN-based augmentation with AdaIN for lung nodules detection // Proceedings of SPIE – The International Society for Optical Engineering: 13, Rome, 02–06 November 2020. Rome, 2020. P. 1160526. https://doi.org/10.1117/12.2587940–EDN JYZOEO.Kryuchkov M., Khanzhina N., Osmakov I., Ulyanov P. CT images GAN-based augmentation with AdaIN for lung nodules detection // Proceedings of SPIE – The International Society for Optical Engineering: 13, Rome, 02–06 November 2020. Rome, 2020. P. 1160526. https://doi.org/10.1117/12.2587940–EDN JYZOEO.Huang G., Ramesh M., Berg T., Learned-Miller E. Labeled Faces in the Wild: A Database for Studying Face Recognition in Unconstrained Environments. University of Massachusetts, Amherst, Technical Report 07-49. 2018. URL: http://vis-www.cs.umass.edu/lfw/Huang G., Ramesh M., Berg T., Learned-Miller E. Labeled Faces in the Wild: A Database for Studying Face Recognition in Unconstrained Environments. University of Massachusetts, Amherst, Technical Report 07-49. 2018. URL: http://vis-www.cs.umass.edu/lfw/Viola P., Jones M. Robust Real-time Object Detection. Second international workshop on statistical and computational theories of vision. 2001. URL: https://www.cs.cmu.edu/~efros/courses/LBMV07/PapersViola P., Jones M. Robust Real-time Object Detection. Second international workshop on statistical and computational theories of vision. 2001. URL: https://www.cs.cmu.edu/~efros/courses/LBMV07/PapersLedig C., Theis L. et al. Photo-realistic single image super-resolution using a generative adversarial network. ArXiv:1609.04802v5 Cs. 2016. URL: https://arxiv.org/pdf/1609.04802v5.pdfLedig C., Theis L. et al. Photo-realistic single image super-resolution using a generative adversarial network. ArXiv:1609.04802v5 Cs. 2016. URL: https://arxiv.org/pdf/1609.04802v5.pdfGoar V., Kuri M., Kumar R., Senjyu T. Data Compression and Visualization Using PCA and T-SNE. Advances in Information Communication Technology and Computing. 2019. URL: https://www.researchgate.net/publication/344000619_Data_Compression_ and_Visualization_Using_PCA_and_T-SNEGoar V., Kuri M., Kumar R., Senjyu T. Data Compression and Visualization Using PCA and T-SNE. Advances in Information Communication Technology and Computing. 2019. URL: https://www.researchgate.net/publication/344000619_Data_Compression_ and_Visualization_Using_PCA_and_T-SNEKolo B. Binary and Multiclass Classification. Weatherford Press. 2010. URL: https://www.amazon.com/Binary-Multiclass-Classification-Brian-Kolo/dp/1615800131Kolo B. Binary and Multiclass Classification. Weatherford Press. 2010. URL: https://www.amazon.com/Binary-Multiclass-Classification-Brian-Kolo/dp/1615800131Rawlings J., Pantula S., Dickey D. Polynomial Regression. Applied Regression Analysis. 1998. URL: https://link.springer.com/chapter/10.1007/0-387-22753-9_8Rawlings J., Pantula S., Dickey D. Polynomial Regression. Applied Regression Analysis. 1998. URL: https://link.springer.com/chapter/10.1007/0-387-22753-9_8Козина Н. И., Шиян Н. В., Чалченко М. Р. Современные достижения в области генерации изображений на примере нейронной сети MIDJOURNEY // Сборник материалов XVI-ой международной очно-заочной научно-практической конференции. М.: Научно-издательский центр «Империя», 2023. С. 121–125.Козина Н. И., Шиян Н. В., Чалченко М. Р. Современные достижения в области генерации изображений на примере нейронной сети MIDJOURNEY // Сборник материалов XVI-ой международной очно-заочной научно-практической конференции. М.: Научно-издательский центр «Империя», 2023. С. 121–125.

The authors declare that there are no conflicts of interest present.