【长江计算机】微软开源Deep Speed Chat,重视具有场景数据厂商!!!
Deep Speed Chat主要什么意义?
(1)拉低端到端门槛,用户可直接用自身数据进行RLHF调参,用户数据、场景数据成为重中之重
(2)从通用大模型到行业/用户专属模型成本初步被定义,在Azure云上只需9小时即可训练一个OPT-13B模型,只需18小时即可训练一个 OPT-30B模型。这两种训练分别花费不到300美元和600 美元。(这里训练非pre-train,而是fine-tune)
(3)训练效率提升可大幅优化训练成本,这是一项系统性工程
Deep Speed Chat有什么影响?
(1)小模型由于成本高、效果未来有望被超越,长期生存面临威胁,拥抱大模型逐渐是必然之路,犹豫就会败北!!
(2)初步Chat功能模型门槛降低,手握场景数据话语权更加重要
我们当前应该关注什么?
(1)什么样的厂商可以做到GPT-4,不仅仅技术问题,团队更重要
(2)什么样的厂商可以占住市场,技术目前不是首要,渠道和数据更重要
建议关注科大讯飞(教育数据闭环+真正投入+预期产品落地)、税友股份(税务数据+有场景可结合)、广联达(建筑IT龙头,数据闭环)、同花顺(金融数据+市场化客户)、新点软件(招采数据、政务数据)