AI见闻日报:将上下文学习能力从语言迁移到视觉,MetaVL开启下一个多模态时代 | 见智研究|讯息

2023-06-06 19:59:08 来源:华尔街见闻 分享到:

今日要点:

1、苹果在 iOS17 中加入transformer语言模型,用于提高文字和语音转文字时的准确性。

2、苹果开发人员:Vision Pro里用了“脑机接口”,通过检测眼睛等准确预测用户下一步要做什么


(资料图片)

3、MetaVL: 将上下文学习能力从语言模型迁移到视觉,开启下一个多模态时代

4、Runway获得1亿美元D轮融资,谷歌领投

见闻视角

海外AI

1、苹果在ios17中加入transformer语言模型,用于提高文字和语音转文字时的准确性。

苹果在今日更新的ios系统介绍中,阐述了使用transformer语言模型,用于提高文字和语音转文字时的准确性,通过用于单词预测——提高了用户每次键入时的体验和准确性。而这个模型如同苹果一直以来强调对用户的隐私保护一样,是在手机端的模型。

见智研究认为,苹果使用transformer模型用于一些基础应用符合苹果一直以来的务实精神,苹果从不强调某项技术是否先进,而是要在用户体验上做到极致。这也是苹果一直强调技术落地到应用的体现。

见智研究相信苹果设备在明年将会拥有自己的llm模型,而这个模型按照苹果一贯的隐私保护模式,应为纯本地化的模型。

2、苹果开发人员:Vision Pro里用了“脑机”,通过检测眼睛准确预测用户下一步要做什么

一位在AR/VR领域工作十年、担任苹果AR神经技术研究员的网友Sterling Crispin发推文,介绍了苹果AR的神经技术研发

根据Crispin的介绍和苹果的专利说明,苹果的神经技术可以做到预测用户行为、根据用户状态调整虚拟环境。

最酷的结果是在用户实际点击之前预测他们会点击什么,人们的瞳孔在点击之前往往有反应,原因是人们会期望在点击之后会发生什么。

这时可以通过监测用户的眼睛行为来创造生物反馈,并实时重新设计用户界面,以创造更多预期的瞳孔反应。这是一个通过眼睛实现的粗略“脑机接口”,用户不用接受侵入性的脑部外科手术。

推断认知状态的其他技术,包括以用户可能无法察觉的方式向他们快速闪现视觉或声音,然后测量他们的反应。

见智研究认为,苹果通过全新的神经技术对人的行为进行预测,从而大幅减小了vision产品整个UI操作的延迟,大幅提升用户体验。从无数细节中可以看到,苹果在用搬山能力处理每一个细节,这个软硬整合能力,不是谁能可以随便模仿的,它所体现的每一个细节,都看出苹果花费巨大的功夫在解决交互体验。这也是苹果之所以伟大的地方。

3、MetaVL: 将上下文学习能力从语言模型迁移到视觉,开启下一个多模态时代

动机:研究如何在视觉-语言领域实现上下文学习,将单模态的元学习知识转移到多模态中,以提高大规模预训练视觉-语言(VL)模型的能力。方法:首先在自然语言处理(NLP)任务上元训练一个语言模型,实现上下文学习,然后通过连接一个视觉编码器将该模型转移到视觉-语言任务上,以实现跨模态的上下文学习能力的转移。优势:实验证明,跨模态的上下文学习能力可以转移,该模型显著提高了视觉-语言任务上的上下文学习能力,并且在模型大小方面能够有显著的优化,例如在VQA、OK-VQA和GQA上,所提出方法在参数数量减少约20倍的情况下超过了基准模型。

见智研究一句话总结:

M Monajatipoor, L H Li, M Rouhsedaghat, L F. Yang, K Chang探索了将元学习的上下文学习能力从单模态迁移到多模态的可能性,证明了在视觉-语言任务中通过迁移可以显著提升上下文学习能力,甚至在模型大小方面实现优化。

这意味着多模态情况下的对话能力将得到加强,对于现有的文生图来说可能会带来新的变化,生成模式对用户将更友好。

4、Runway获得1亿美元D轮融资,谷歌领投

生成式AI平台Runway获得1亿美元D轮融资(约7亿元),估值15亿美元,本次由谷歌领投。谷歌投资Runway的最大原因之一是为了争夺云计算客户。

Runway曾在4月底与谷歌签订了7500万美元的3年商业协议,同时Runway已从谷歌获得了价值2000万美元的云计算资源用于产品运营和研发。

见智研究曾使用过GEN-1生成相应视频特效,但目前可玩性不算高。Gen-2是Runway在今年3月最新发布的,但目前手机客户端还未提供使用。Gen-2可以通过文本、图片、文本+图片直接生成视频,同时支持风格化和渲染添加好莱坞式大片特效,仅需要几分钟即可完成所有操作。

风险提示及免责条款 市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。
标签:

AI见闻日报:将上下文学习能力从语言迁移到视觉,MetaVL开启下一个多模态时代 | 见智研究|讯息

来源:华尔街见闻 2023-06-06 19:59:08

犀牛看市0606:两市大跌创业板指跌1.70% 房地产板块异动 每日聚焦

来源:GPLP 2023-06-06 19:26:41

菲律宾5月通胀率6.1% 连续第四个月环比下降-环球观点

来源:中国新闻网 2023-06-06 18:19:47

国家社会科学基金项目成果《清代国家统一史》出版-最新快讯

来源:新华网 2023-06-06 17:54:19

环球新资讯:重庆合川:多举措护航平安高考

来源:中国气象报社 2023-06-06 16:09:57

有70人技能竞赛入围决赛!佛山禅城网格员掀起职业化浪潮

来源:南方都市报 2023-06-06 15:04:56

每日速讯:桑植县经侦冻结银行卡

来源:华声投诉 2023-06-06 14:19:25

断奶后胸部下垂怎么办?

来源:南方养生网 2023-06-06 13:23:54

天天快看:比亚迪领跑以色列新能源电动车市场,连续七个月获得销冠!

来源:信息日报 2023-06-06 12:45:27

当前播报:【关注】2023年全国早稻病虫害发生趋势预报

来源:火爆农化招商网 2023-06-06 11:34:28

美股指紧跟其后 贵金属短期偏弱

来源:金投网 2023-06-06 10:35:41

地级市信用监测排名全国第三 南阳市信用体系建设实现突破 全球热议

来源:南阳日报 2023-06-06 09:47:48

全球讯息:哈里王子将出庭,成百年来英国王室法庭作证第一人

来源:澎湃新闻 2023-06-06 08:53:58

全球速读:赋智、赋值、赋能助力优质中小企业提档升级

来源:中国徐州网-徐州日报 2023-06-06 08:17:48

【天天报资讯】做网站租服务器一年多少钱(租服务器一年多少钱)

来源:互联网 2023-06-06 07:11:08

环球速递!笛膜胶怎么用视频教程_笛膜胶如何使用

来源:十分生活网 2023-06-06 06:10:54

队记:火箭可考虑用20号签打包侧翼球员换老将 大洛在名单内

来源:直播吧 2023-06-06 05:11:24

6项冠军!铜梁这支“王炸”队伍“666”~|焦点热文

来源:铜梁发布 2023-06-06 03:53:44

我国成功发射试验十六号A/B星和试验十七号卫星

来源:互联网 2023-06-06 02:52:17

交了预学位费能退吗(高中预交学位费怎么退)-天天微头条

来源:互联网 2023-06-06 01:54:54

天天实时:梅林街道:一次交友活动帮全市100人“找到对象”

来源:南方都市报 2023-06-06 01:27:54

央视一哥结婚9个月妻子闹离婚,他说:休想-全球微动态

来源:诸神的护佑 2023-06-06 00:38:20

阿尔法·罗密欧Stelvio实车到港 外观更具运动感|微头条

来源:易车原创报道 2023-06-05 23:38:40

全球快消息!水星家纺:董事李道想拟减持不超128.21万股公司股份

来源:和讯冀文超 2023-06-05 22:26:19

维宏股份:接受摩根士丹利等机构调研_全球热文

来源:每日经济新闻 2023-06-05 22:29:38

多种活动迎接世界环境日 微动态

来源:当代先锋网 2023-06-05 20:39:45

近期部分濒临退市ST公司“增持护盘” 投资者须睁大眼睛以防“被忽悠”|焦点速讯

来源:大河网 2023-06-05 19:46:47

【世界快播报】俄罗斯多地遭炮击,24小时内达179次,普京危险了!

来源:顶端新闻 2023-06-05 19:08:05

信用卡逾期起诉流程是什么?逾期还不上欠款会怎么样?-当前资讯

来源:金融啦 2023-06-05 18:57:50

创业板领跌1.39%就是诱空!

来源:中财网 2023-06-05 17:08:33

Copyright   2015-2023 港澳知识产权网 版权所有  备案号:京ICP备2023022245号-31   联系邮箱:435 226 40 @qq.com