?ChatGPT专家深度解读会议Keyupdates

?ChatGPT专家深度解读会议Keyupdates

1、ChatGPT和以前GPT大模型的区别：ChatGPT是基于GPT3.5的基础模型框架，核心变化在于通过真实的调用数据以及人类反馈的强化学习进行训练。

2、国内企业与ChatGPT的差距：百度、华为等头部厂商都有大模型，百度文心模型参数量已经达到2600亿，从技术能力上国内相比专家判断比chatGPT约晚1-2年，OpenAI第一梯队，Google第二梯队，百度第三梯队。从数据、算力、模型的维度上，主要是差在模型环节，包括清洗、标注、模型结构设计、训练推理的技术积累。

3、训练成本昂贵：GPT3.0离线训练成本高达1200万美元，大模型重新训练成本达400万美元，都是租用微软的计算资源，成本与训练数据量成比例，增加GPU也可提升训练速度，中小厂商或将无法承担高昂的大模型自研成本。

4、模型训练所依赖的高性能芯片被美国卡脖子的解决方案：1）采用国内自研GPU；2）用分布式CPU替代，部分大厂应用采用分布式CPU的方式进行训练。

5、未来商业模式：OpenAI或将对外输出模型能力，国内百度等企业也会跟进，国内应用软件企业未来可能采用OpenAI或百度等厂商的AI模型作为基础能力