Stability AI新文本到图像模型DeepFloyd IF 拥有深度文本理解能力-全球聚焦
编程客栈()5月8日 消息:Staphpbility AI及其多模态 AI 研究实验室 DeepFloandroidyd 宣布发布 DeepFloyd IF 研究版php,这是一种尖端的文本到图像级联像素android扩散模型,并且可以智能地将文本集成到图像中 该模型最初仅限于非商业、研究许可使用场景,但计划在未来发布开源版本。
DeepFloyd IF 拥有几个显着的特点,包括:
(资料图片)
深度文本指提示词理解能力:该模型使用T5-XXL-1.1作为文本编码器,具有多个文本-图像交叉注意力层,确保提示和图像之间更好的对齐。
连贯清晰的文本和生成的图像:DeepFloyd IF 可以生成包含具有不同属性和空间关系的对象的图像。
高度逼真:该模型在 COCO 数据集上取得了令人印象深刻的零样本 FID 分数6.66。
纵横比转换:该模型可以生成非标准纵横比的图像,包括垂直、水平和标准方形纵横比。
零样本迁移能力实现图像到图像的转换:该模型可以修改图像的样式、图案和细节,同时保留其基本形式。
以下是 DeepFloyd IF 创建的一些示例:
DeepFloyd IF 的模块化、级联、像素扩散设计由多个协同交互的神经模块组成。该模型在像素空间中工作,使用不同分辨率的单独训练模型以级联方式处理高分辨率数据。这涉及生成低分辨率样本的基本模型和生成高分辨率图像的连续超分辨率模型。
该模型是在包含10亿(图像、文本)对的自定义高质量 LAION-A 数据集上训练的,LAION-A 数据集是 LAION-5B 数据集英文部分的一个子集。DeepFloyd 的自定义过滤器用于删除带水印、NSFW 和其他不当内容。
最初,DeepFloyd IF 是根据研究许可发布的。研究人员旨在鼓励跨领域(如艺术、设计、讲故事、虚拟现实和可访问性)开发新颖的应用程序。为了激发潜在的研究,他们提出了几个技术、学术和伦理研究问题。
技术研究问题包括:
优化 IF 模型以增强性能、可扩展性和效率。
通过改进抽样、指导或微调模型来提高输出质量。
将用于修改稳定扩散输出的技术应用到 DeepFloyd IF。
学术研究问题包括:
探索预训练对迁移学习的作用。
增强模型对图像生成的控制。
通过集成多种模式,将模型的功能扩展到文本到图像合成之外。
评估模型的可解释性,以提高对生成图像视觉特征的理解。
伦理研究问题包括:
识别和减轻 DeepFloyd IF 中的偏差。
评估模型对社交媒体和内容生成的影响。
开发利用该模型的有效假js图像检测器。
DeepFloyd "s hugs Face空间网址: https://huggingface.co/DeepFloyd。
DeepFloyd IF 网址:https://deepfloyd.ai/deepfloyd-if
DeepFloyd IF github项目地址:https://github.com/deep-floyd/IF
标签:
精彩推送
天天热推荐:汉仪股份:5月4日融资净买入365.19万元,连续3日累计净买入826.42万元
5月4日,汉仪股份(301270)融资买入2211 62万元,融资偿还1846 43万元,融资净买入365 19万元,融资余额1
【全球聚看点】微软发布 Windows Server vNext Build 25357 预览版
IT之家5月5日消息,微软今天面向Canary频道发布Win11更新之后,再次推出了WindowsSe
新闻快讯
X 关闭
X 关闭
新闻快讯
- Stability AI新文本到图像模型DeepFloyd IF 拥有深度文本理解能力-全球聚焦
- 奇迹时代4兵种附魔有什么特点
- 天天热讯:西凤酒回应顾客称未开封酒瓶里有苍蝇 曾多次被曝出现类似情况
- 天天头条:长安马自达CX-50行也将于5月25日上市
- 海南省定安县2023-05-08 11:02发布暴雨橙色预警 全球短讯
- 横州市:“五一”小长假接待游客45.56万人次 文旅市场人气旺|天天观热点
- 2022海南海口市龙华区招聘中小学教师公示(十六)
- 环球视讯!德固特(300950):德固特关于举行2022年度业绩说明会
- 环球快资讯丨ETF基金日报(5月5日)丨地产相关ETF涨幅居前,机构:房地产行业整体维持“弱复苏”态势
- 施大宁_关于施大宁介绍
- 【天天快播报】最后的原始人最强阵容
- 【世界速看料】乌鲁木齐经开区 (头屯河区 ) 志愿者白鸟湖宣传关爱鸟类
- 多级泵原理与结构图_多级泵原理
- 世界热点评!利亚德:5月5日融资买入4428.39万元,融资融券余额7.75亿元
- 广西职校学生洗澡时身亡 校方通报:已排除案件可能 死因需进一步确认
- 2023年度总票房破200亿元《满江红》暂列票房榜首位
- 全球快讯:保护人民健康 国家中医药管理局规范中医养生保健服务
- 世界快看点丨老康佳,何时焕发新青春?
- 女子10万元雇凶教训人,“杀手”伪造现场骗佣金,二人均被刑拘
- 延谷12号
- 环球热门:粑粑柑是上火还是清火的_粑
- 《塞尔达传说:王国之泪》发售前惨遭偷跑!Epic:买不起可以玩《原神》
- 体外受孕辅助生育治疗_体外受孕 全球热点评
- 第十六届高技能人才表彰大会在北京举行
- 绝知此事要躬行的上一句是_绝知此事要躬行全诗
- 情况反转!越来越多的国家对美元失去了信心?
- 江西丰城京九线铁路桥下河堤溃口顺利合龙
- 很小很复杂!石斛种子竟这样萌发 资讯推荐
- 建功新时代 奋进新征程 2023年赤壁市庆“五一”“赤壁青砖茶杯”职工乒乓球赛开赛
- 全球快播:闽北各地全力应对强降雨天气,邵武雨量最大,转移两千多人
- 每日视点!“五一”假期微信运动全用户日均总步数达3万亿步
- 野蛮装修私拆承重墙,房子会塌吗?能修补回来吗?
- 中国朝代顺序顺口溜_中国最后一个封建朝代是什么
- 完美公主-可儿娃娃绚丽拼图-世界新动态
- 异辛醇/辛醇商品报价动态(2023-05-07)
- 世界视点!49人裁掉克里斯-斯莱顿
- 当前热点-中国森林旅游行业市场发展现状2023 预测市场综合产值将达4000亿元
- 环球热点评!全国春播粮食过四成
- remittance是什么意思_remittance 当前要闻
- 最资讯丨网友热议!好消息…金雪炫凭借电视剧《什么都不想做》在海外颁奖典礼上获最佳女主角奖
- 股票委比是什么意思啊 股票委比是什么意思 焦点速讯
- 市民监督员实地体验成都环城生态区
- 【速看料】近7成应届生求职最关注薪酬福利,46.7%毕业生首选国企
- 巴菲特开场白:曩昔几个月公司阅历了许多动摇,可能是二战以来最厉害的一次 是什么?-全球实时
- 热讯:自然数是否包括0_自然数包括0吗
- “万套时代”不再 杭州二手房4月成交量环比下滑30%
- 全省重点产业链优质中小企业上市培育首场活动在镇圆满落幕 每日观察
- 【当前热闻】ChartierCorbasson设计的有机摩天大楼将由办公室垃圾建成
- 环球微资讯!良心手游排行榜2020_良心手游
- 前沿热点:武汉市洪山区四易职业培训学校有限公司_关于武汉市洪山区四易职业培训学校有限公司简述