07
2023
03

【AI服务器】交流核心要点:


【AI服务器】交流核心要点:


行业需求:

1)AI市场的整体增长相比去年会有40%的同比增长,AI服务器今年的需求量至少会有30%-40%的增长。


英伟达GPU:

1)A800和H800主要是针对于显卡的双精度浮点运算的功能进行了阉割,所以对于大规模集群的场景,就是超算包括高性能的场景上会有衰减。但针对大模型训练包括一些中小型模型训练上A800和H800和前期的A100和H100在性能上基本没有衰减。

2)H800的性能比A800要提高2.5-3倍左右,而H800的价格要比A800贵2倍左右。


国产替代:

1)国产显卡在推理端做的还是可以的,寒武纪的推理端显卡的性能是国外的一半,但售价是英伟达T4卡的1/4。昇腾推理端的卡,性能是T4卡的一倍,但是价格和T4卡是一样的。

2)目前训练端国产最好的是寒武纪和昇腾的卡。但实测下来的数据和A100相比还是有比较大的差距的,只能达到A100的13-15%。

上一篇 » 下一篇 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。