GAN卷土重来：10亿参数的GigaGAN效果堪比扩散模型世界快播-欧洲运动网

GAN卷土重来：10亿参数的GigaGAN效果堪比扩散模型世界快播

2023-04-13 15:52:56 | 来源：程序员客栈

(相关资料图)

点蓝色字关注“机器学习算法工程师”

设为星标，干货直达！

自从 DALL·E 2 之后，在图像生成方面扩散模型替代GAN成了主流方向，比如开源的文生图模型stable diffusion也是基于diffusion架构的。近日， Adobe研究者在论文Scaling up GANs for Text-to-Image Synthesis提出了参数量为10亿（1B）的GAN模型：GigaGAN，其在文生图效果上接近扩散模型效果，而且推理速度更快，生成512x512大小图像只需要0.13s，生成16M像素图像只需要 3.66s。同时GigaGAN也支持latent空间的编辑功能，比如latent插值，风格混合，以及向量运算等。

GigaGAN

改进了StyleGAN架构，采用两阶段训练策略：一个是64x64的图像生成器和一个512x512的图像超分2器，其图像生成器架构如下所示（这里也是采用CLIP text encoder来引入text condition）：

GigaGAN

在 LAION2B-en和 COYO-700M数据集上训练，其在COCO数据集上的FID达到9.09，超过stable diffusion 1.5，推理速度比stable diffusion快20倍多（2.9s vs 0.13s）：

GigaGAN

除了文生图能力，还可以实现可控的合成，比如风格混合，如下图所示：

更多效果图和技术细节见论文https://arxiv.org/abs/2303.05511和网站https://mingukkang.github.io/GigaGAN/

上一篇下一篇

相关新闻

GAN卷土重来：10亿参数的GigaGAN效果堪比扩散模型世界快播

说不出哪里别扭现代新款伊兰特正式亮相

2023年福建省莆田市公务员考录职位面试时间预安排表

2023秋石高架外地车限行吗？

商务休闲正当时，酒店如何成为“情绪经济”的局内人世界视点

女子西安机场登机，被发现携带步枪实弹！机场公安调查后将其拘留头条

东方甄选高激励背后的留人焦虑董宇辉有多少未明_当前滚动

法国巴黎股市CAC40指数12日上涨世界聚看点

华纳兄弟探索发布全新流媒体平台“Max”，结合HBO与Discovery+内容-每日时讯

今日视点：卡佩罗：我得向迪亚斯道歉，此前我认为他并不适合米兰

短讯！法国马赛市建筑物倒塌事故最终确认8人遇难

亚洲地区的中国、日本、韩国、泰国的主要饮料为_亚洲中国泰国韩国日本全球新要闻

观察 | 疫情后首届糖酒会厂商、渠道最关心什么？|环球视点

【全球新视野】江苏女医生遇医疗事故怀疑病历造假：处方药一次用量超最高限30倍，鉴定机构称无法判断病历真假

视讯！2025年我国旅游场所5G网络建设将基本完善

最新新闻

GAN卷土重来：10亿参数的GigaGAN效果堪比扩散模型世界快播

说不出哪里别扭现代新款伊兰特正式亮相

2023年福建省莆田市公务员考录职位面试时间预安排表

2023秋石高架外地车限行吗？

商务休闲正当时，酒店如何成为“情绪经济”的局内人世界视点

女子西安机场登机，被发现携带步枪实弹！机场公安调查后将其拘留头条

东方甄选高激励背后的留人焦虑董宇辉有多少未明_当前滚动

法国巴黎股市CAC40指数12日上涨世界聚看点

华纳兄弟探索发布全新流媒体平台“Max”，结合HBO与Discovery+内容-每日时讯

今日视点：卡佩罗：我得向迪亚斯道歉，此前我认为他并不适合米兰

短讯！法国马赛市建筑物倒塌事故最终确认8人遇难

亚洲地区的中国、日本、韩国、泰国的主要饮料为_亚洲中国泰国韩国日本全球新要闻

观察 | 疫情后首届糖酒会厂商、渠道最关心什么？|环球视点

【全球新视野】江苏女医生遇医疗事故怀疑病历造假：处方药一次用量超最高限30倍，鉴定机构称无法判断病历真假

视讯！2025年我国旅游场所5G网络建设将基本完善

当前焦点!汗脚脚臭用什么药最好最有效_脚臭用什么药最好最快

北京奥林匹克公园：北京半程马拉松赛事期间中心区暂停开放

天柱集团2×100万吨/年矿渣微粉项目顺利投产_最新

牙齿裂开一条缝修复戴牙套多少钱_牙齿裂开一条缝

银龙股份：公司拥有多年出口业务经验，生产的预应力钢材产品出口至巴西，具备一定的出口规模当前信息

【视频】普洱景谷：2023年采花泼水节即将启幕_热文

快报：2023年3月金融数据点评：3月信贷、社融超预期宽信用正在成为推动经济回升的关键因素

当前关注：接诉即办——夜间施工居民愁，迅速处置解民忧

长三角多地气温直冲30℃ “及时雨”减轻沙尘影响

快来看！航天员在轨拍祖国美景

比特币大幅反弹，MicroStrategy转为浮盈，萨尔瓦多仍亏30%

菜花和西兰花能一起炒么? 焦点关注

消博会有多好逛？八大展馆各有新亮点

焦点快播：铅山县气象台解除雷电黄色预警信号【III级/较重】

焦点信息:送妈妈什么生日礼物