30
2023
03

【Rose】领导好,今日马斯克等1000多位学者专家联名请愿暂停GPT-4为代表的模型训练,分享对该事件的观点。


【Rose】领导好,今日马斯克等1000多位学者专家联名请愿暂停GPT-4为代表的模型训练,分享对该事件的观点。



事件:3月29日,马斯克和1000多名人工智能专家及行业高管签署联名信,呼吁暂停训练比GPT-4更强大的人工智能系统至少六个月,理由是这种系统对社会和人类构成潜在风险。信中写道:“只有在我们确信它们的效果是积极的,风险是可控的情况下,才应该开发强大的人工智能系统。”马斯克此前曾多次表达对人工智能的担忧,本次请愿或许会引来美国政府强制介入。


核心观点:从GPT-1到GPT-4,OpenAI都没有对模型架构和算法策略进行较大的升级与改动,特别是GPT-2以后的阶段,基本上就是持续的训练获得新参数(参数包括机器对人类偏好的认知与对知识数据分类分布的认知等)与反馈给优化策略进行更新,通过持续的自我学习和训练获得更多的知识/参数从而完善输入输出。暂停GPT-4为代表的超级模型的训练将意味着当前数据黑盒的关闭,模型的“功能”暂时停留在现阶段。


就人工智能产业发展来讲,我们认为倘若美国以GPT-4为首的模型训练暂停禁令真的出台格局将会有以下影响:


【Sun】1. 目前的GPT-4已经100%准备好可以应用于以下应用场景,逻辑仍然存在:

- 搜索引擎(包括任何有搜索功能的应用,例如电商平台、视频平台、生活服务平台等)

- 泛娱乐产业(聊天机器人的本质)

- 自媒体行业(数字人接入全新交互模式已经成熟)

- 教育行业(拿chatGPT写作业的案例足以验证对人类的知识传授能力)

- 代码(GPT作为机器本身对代码语言的理解能力更强,相比自然语言它的代码能力是最强的)

- 容错率相对较高的行业降本增效(GPT衍生出的办公软件、音乐/美术/视频创作、游戏开发工具等已经发布,GPT目前阶段自身就是一款强大的工具,辅助工作人员大幅提高工作效率,甚至从之前需要高薪聘来的经验大佬替换为底薪会使用工具的小白在我们看来都是板上钉钉的)


【Sun】2. 注意以下市场预期过高,时间维度过长的生成式大模型应用场景风险:

- 多模态应用(代表就是讯飞、海康、大华等智能视觉/语言,市场给他们的预期在于接入大模型后拥有更加全面更加智能的处理能力,但GPT-4作为OpenAI首款多模态模型目前所知的训练周期仅仅才一年左右,相比积累了7年文本参数的前辈们,多模态的训练仍然拥有巨大欠缺,停止训练意味着模型中多模态的参数将发展更缓)

- 赋能低容错行业的降本增效(逻辑没错,但时间维度拉的太长了,我想市场冷静下来也会意识到这一点,让GPT这种生成式大模型做到极低出错率还需要更加巨量的训练,目前已经训练七年。像金融、医疗、建筑等这些算错一个浮点就可能损失巨额甚至造员伤亡的行业,GPT这种类别的大模型真的准备好了吗?)


【Sun】3. 国产大模型的机会:

- 美国的“竞争”并不影响中国的“发展”,反而GPT这种处于绝对领先地位的大模型暂停参数更新,更加给了起步缓慢,难以补上训练强度的国产大模型追赶的机会,对于中国来说,算法策略和模型架构都不是痛点,痛点在于训练的起点晚导致了参数累积的不够(你无法控制时间)以及算力的落后(制裁的硬伤)。至少美国暂停训练在训练量上给了国产大模型追赶的机会。


【Sun】4. 小模型与判别式的机会:

- 马斯克等学者畏惧的点其实在于GPT这种模型在不考虑硬件支撑和时间跨度的前提下,向上升级走向更加智能是无限的,且仅仅需要持续让训练运转就可以达到。哪怕OpenAI自己的开发人员都不可自由控制上限和黑盒内的参数。那么上限可预测、训练需求小的小模型我认为是更符合在这种“恐惧”下的选择,特别对于某些行业来说根本不需要额外的知识,所以就没有必要为超纲的训练买单,所以小模型在行业专用上面也更具性价比。

- 过去的十年全球企业更集中于判别式AI的研究,与小模型的逻辑相同,判别式也是更加可控和上限可见的,可以打消“恐惧”的顾虑。其次对于一些曾经预期的应用场景,例如图像/视觉识别、金融风控等,市场也会发现,曾经需要判别的场景,在很长一段时间里(加上生成式大模型的训练放缓),仍需要选择判别式AI来解决。


【Sun】算力方面:

1. 训练的暂停意味着参数集和数据库不再更新扩充,硬件设备支撑自然会在至少六个月中保持现状,大概率不会对硬件的需求如曾经预期的那样乐观,我建议关注微软链、英伟达链等海外巨头硬件设备或零件材料的供应商对未来三年盈利预测的变动,我们认为会不及预期。

2. 国内的算力设备从服务器到AI卡都不受影响,各大厂为了不被时代抛弃也在努力建设升级自家大模型,国产大模型对算力的需求仍然可观。

3. IDC已经预测至2025年,全球人工智能的资源消耗将远超全球人类,地球资源消耗也是海外本次“冷静期”该思考的问题之一,等冷静期巨头们讨论出结果达成共识是不会放任人工智能的大幅消耗不管的,大概率会有一些解决方案,建议关注CPO光模块板块,是低功耗节能方案的代表。


【Rose】欢迎交流指正

上一篇 » 下一篇 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。