基于單階段GANs的文本生成圖像模型
信息技術與網(wǎng)絡安全
胡 濤1，李金龍2
(1.中國科學技術大學 大數(shù)據(jù)學院，安徽 合肥230026； 2.中國科學技術大學 計算機科學與技術學院，安徽 合肥230026)
摘要： 針對目前生成以文本為條件的圖像通常會遇到生成質(zhì)量差、訓練不穩(wěn)定的問題，提出了通過單階段生成對抗網(wǎng)絡(GANs)生成高質(zhì)量圖像的模型。具體而言，在GANs的生成器中引入注意力機制生成細粒度的圖像，同時通過在判別器中添加局部-全局語言表示，來精準地鑒別生成圖像和真實圖像；通過生成器和判別器之間的相互博弈，最終生成高質(zhì)量圖像。在基準數(shù)據(jù)集上的實驗結果表明，與具有多階段框架的最新模型相比，該模型生成的圖像更加真實且取得了當前最高的IS值，能夠較好地應用于通過文本描述生成圖像的場景。
中圖分類號： TP391
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.06.009
引用格式： 胡濤，李金龍. 基于單階段GANs的文本生成圖像模型[J].信息技術與網(wǎng)絡安全，2021，40(6)：50-55.
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.06.009
引用格式： 胡濤，李金龍. 基于單階段GANs的文本生成圖像模型[J].信息技術與網(wǎng)絡安全，2021，40(6)：50-55.
Text to image generation based on single-stage GANs
Hu Tao1，Li Jinlong2
(1.School of Data Science，University of Science and Technology of China，Hefei 230026，China； 2.School of Computer Science and Technology，University of Science and Technology of China，Hefei 230026，China)
Abstract： For the current generation of images conditioned on text usually encounters the problems of poor quality and unstable training, a model for generating high-quality images through single-stage generative adversarial networks (GANs) is proposed. Specifically, the attention mechanism is introduced into the generator to generate fine-grained images, also, local language is added to the discriminator to indicate accurate discrimination between the generated image and the real image. Finally, a high-quality image is generated through the mutual game of the generator and the discriminator. The experimental results on the benchmark dataset show that, compared with the latest model with a multi-stage framework, the image generated by the model is more realistic and achieves the highest IS value, which can be better applied to scenes that generate images through text descriptions.
Key words : text to image generation；generative adversarial networks；attention mechanism
0 引言
生成以給定文本描述為條件的高分辨率逼真的圖像，已成為計算機視覺(CV)和自然語言處理(NLP)中具有挑戰(zhàn)性的任務。該課題具有各種潛在的應用，例如藝術創(chuàng)作、照片編輯和視頻游戲。
最近，由于生成對抗網(wǎng)絡(GANs)[1]在生成圖像中已經(jīng)取得了很好的效果，REEDS在2016年首次提出通過條件生成對抗網(wǎng)絡(cGANs)[2]從文字描述中生成合理的圖像[3]；ZHANG H在2017年通過堆疊多個生成器和判別器提出StackGAN++[4]模型，首次生成256×256分辨率圖像。當前，幾乎所有文本生成圖像模型都是基于StackGAN，這些模型有多對生成器和判別器，通過將文本嵌入和隨機噪聲輸入第一個生成器生成初始圖像，在后續(xù)的生成器中對初始圖像進行細化最終生成高分辨率圖像。例如，AttnGAN[5]在每個生成器中引入了跨模態(tài)注意力機制，以幫助生成器更詳細地合成圖像；MirrorGAN[6]從生成的圖像中重新生成文本描述，以實現(xiàn)文本-圖像語義一致性；DM-GAN[7]引入了動態(tài)記憶網(wǎng)絡[8]來解決堆疊結構訓練不穩(wěn)定的問題。
本文詳細內(nèi)容請下載：http://theprogrammingfactory.com/resource/share/2000003600
作者信息：
胡 濤1，李金龍2
(1.中國科學技術大學 大數(shù)據(jù)學院，安徽 合肥230026；
2.中國科學技術大學 計算機科學與技術學院，安徽 合肥230026)
此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權禁止轉(zhuǎn)載。