Meta开源AI模型厉害了!引入多模态转换 听音频就能画画

2023-05-11 19:18:53 来源:科创板日报 分享到:

财联社5月11日讯(编辑 周子意)Meta周二(5月9日)宣布了一个新的开源人工智能(AI)模型ImageBind,该模型可以将六种类型的数据流联系在一起。

ImageBind以视觉(图片和视频)为核心,结合文本声音3D深度温度运动读数(IMU),最终可以做到在六个模态之间的任意转换。

ImageBind为机器提供了一个整体的理解,将照片中的物体与它们的声音、3D形状、冷暖程度、以及它们的移动方式联系起来。


【资料图】

Meta称,ImageBind使机器能够更同步、更全面、更直接地从不同信息形式中学习,进一步向人类靠拢。

AI的未来

该研究的核心概念是将多种类型的数据连接到一个嵌入空间(Embedding Space)中,正是这个概念支撑着最近生成式AI的蓬勃发展。

例如,Meta的AI图像生成器Make-A-Scene可以在ImageBind模型的支持下,从音频中创建图像,例如根据雨林或熙熙攘攘的市场的声音创建图像。

ImageBind还可以提供一种丰富的方式来探索记忆,也就是使用文本、音频和图像的组合来搜索相关信息。

此外,ImageBind为研究人员开发新的整体系统提供了思路,例如结合3D和IMU传感器来设计或体验沉浸式虚拟世界。这不就是Meta一直以来追求的“元宇宙”吗?

上图是Meta在一篇博客文章中给出的案例:当输入一段企鹅的叫声后,ImageBind能生成企鹅的图片;当输入鸽子的照片和一段汽车轰鸣声后,ImageBind能生成一张“人开车惊动鸽群”的照片;ImageBind还可以根据一段火车的音频,生成火车的照片、相关的火车3D模型、以及一段形容火车车站的文本。

该模型目前还只是一个研究项目,没有直接的消费者或实际应用,不过它这种交叉引用数据的模型指明了生成式AI系统的未来,因为它可以创造身临其境的多感官体验。

Meta在博客文章中指出,其他感官输入流也可能会被添加到未来的模型中,包括“触觉、听觉、嗅觉和大脑功能磁共振成像信号”。

想象一下,在未来的一台设备上,你可以让它模拟一次漫长的海上航行,它不仅会让你置身于一艘以海浪为背景声音的船上,还会让你感受到脚下甲板的摇晃和海上空气的凉爽。

开源与限制

当然,这一切都是推测的,而且像这样的研究的直接应用可能会受到更多的限制。

然而,对于行业观察者来说,这项研究很有趣,因为Meta已将其ImageBind的代码开源,这一做法在AI领域受到愈发严格的审查。

OpenAI等反对开源的行业人士称,这种做法对创造者有害,因为竞争对手可以复制他们的作品,而且这种做法可能存在潜在危险,允许恶意行为者利用最先进的人工智能模型。

不过开源的支持者反击道,开源本质上是允许第三方开发人员作为无偿员工来对模型进行改进,从而进一步产生商业效益。迄今为止,Meta一直坚定地站在开源阵营。

标签:

Meta开源AI模型厉害了!引入多模态转换 听音频就能画画

来源:科创板日报 2023-05-11 19:18:53

中大卷短发图片_中大卷烫发发型图片|世界今日讯

来源:互联网 2023-05-11 18:00:35

【环球速看料】停息挂账是什么职位?如何和银行协商停息挂账?

来源:财报网 2023-05-11 17:29:21

全球观点:玉溪治疗白癜风的医院

来源:复禾健康 2023-05-11 16:52:37

德阳市高龄津贴发放标准 2023年老人多少岁可以领取?

来源:律法网 2023-05-11 16:04:58

全球视点!通化社保个人缴费比例及标准 通化社保2023年缴费金额是多少

来源:社保网 2023-05-11 15:35:05

阿里海外,还不到上市的最好时机|世界讯息

来源:创业邦 2023-05-11 15:17:04

精彩看点:截屏挑战!亚洲杯抽签 你希望第二档的国足和谁同组

来源:射门中国 2023-05-11 14:24:28

天天快资讯丨瑞信在与瑞银合并初期仍将保留其名称

来源:中国新闻网 2023-05-11 13:57:20

【天天新要闻】【省运会动态】省运会青少年组射击飞碟比赛圆满落幕

来源:燕赵体育 2023-05-11 13:16:24

焦点资讯:宁夏石嘴山:持续开展整治假冒牛羊肉行动

来源:中国消费者报•中国消费网 2023-05-11 12:32:16

环球精选!衡阳市蒸湘区考察团到蓝山考察综合医改工作

来源:红网 2023-05-11 12:19:19

天天动态:老人卧底“约死群”劝生400多人:原来孩子会有这么多烦恼

来源:人民日报 2023-05-11 11:57:52

全球视讯!不断激发全省旅游市场新活力

来源:安徽新闻网 2023-05-11 11:16:50

美国CPI来袭、为黄金市场劲爆行情做准备!分析师:这一幕恐刺激金价再大涨20美元

来源:指股网 2023-05-11 11:00:12

上新啦!瘦西湖唐风市集明日走起-全球时讯

来源:扬州晚报-扬州网 2023-05-11 10:33:41

移动td是什么意思网络用语_移动tdlte是什么意思简介介绍 环球今日讯

来源:互联网 2023-05-11 10:11:33

预制菜采购呈现日常化 闽粤菜系成交额增速居首

来源:环球网产经 2023-05-11 09:34:34

13+38+30,2023版“夜京城”打卡指南来了

来源:北京商报 2023-05-11 08:58:06

“官方中介”对二手房交易影响几何?

来源:齐鲁壹点 2023-05-11 08:51:09

创新方法守护绿色“活化石”-最资讯

来源:法治日报 2023-05-11 07:54:21

2.0T前驱5.7秒破百,轩逸的价格买AMG,国产家轿超值!

来源:七里河融媒 2023-05-11 07:02:50

武功县水利局_每日快报

来源:互联网 2023-05-11 06:25:16

脱口秀大会第三季冠军之战罗永浩_脱口秀大会第三季冠军

来源:互联网 2023-05-11 05:04:01

湖南工大工业包装专业90班校友举行毕业30周年返校聚会|世界今日报

来源:湖南日报 2023-05-11 03:20:23

雎字怎么读_雎字的含义

来源:互联网 2023-05-11 01:05:41

美国一车辆被困铁路道口遭撞 车内人员险境逃生 环球要闻

来源:央视新闻客户端 2023-05-10 22:38:42

术业有专攻前一句是啥 术业有专攻前面那句和后面那句是什么了

来源:元宇宙网 2023-05-10 22:00:42

重磅!西安“周至大学城”来了:四所高校官宣新校区! 天天最新

来源:腾讯网 2023-05-10 20:56:53

制止餐饮浪费 吉林市场监管在行动

来源:中国吉林网 2023-05-10 20:21:11

Copyright   2015-2023 港澳知识产权网 版权所有  备案号:京ICP备2023022245号-31   联系邮箱:435 226 40 @qq.com