【OpenAI开放ChatGPT API快评】国金计算机

【OpenAI开放ChatGPT API快评】国金计算机

?事件：当地3月1日，OpenAI官方宣布，开发者可通过API将ChatGPT和Wisper模型（语音识别）集成至他们的应用程序和产品中。本次接入的GPT-3.5-turbo模型费用为0.2美分/1000 tokens，较此前使用成本降低90%。

?点评：

✨推理成本测算：若按微软云原价进行测算，推理成本为0.177美分/千 tokens；若按云计算毛利率70%倒推，自建AIDC推理成本为0.053美分/千 tokens。微软云可能为OpenAI使用提供了部分折扣，因而0.2美分/千tokens的定价依然有盈利空间。

计算思路：1）参数规模：InstructGPT有多个参数版本，turbo与davinci版本相近，因而假设175B参数量；2）微软计算集群GPU数=1pod=8块GPU；3）NV A100峰值算力=312 PFlops；4）Flops利用率假设为30%；5）计算集群定价为10.88美元/h；6）计算集群闲置率假设为20%；7）计算精度因子=1，若未来进一步降低精度，可能带来推理成本下降

✨支持为高需用户提供专用实例（Dedicated instances），或进一步加速场景应用。开发者可上传数据由OpenAI为其进行云端微调，以获取大模型在特定场景下的能力。据官方口径，若开发者每日运营超过4.5亿tokens，dedicated instances可能是更经济的选择。

✨有海外场景的公司有可能率先与turbo进行对接，建议关注福昕软件、万兴科技等海外营收占比较高的应用公司。

联系人：孟灿/王倩雯/陈矣骄