算力、GPU、AI服务器详解
聚焦算力、GPU、AI服务器详解。智算特征—训练算力集中高密部署 ,推理算力贴近客户快速交互o 训练: 需要较高计算性能及海量数据 ,集群内网络时延性能要求高 , 需要集中高密部署; 耗电量大 ,无需靠近最 终用户 , 电力供应充足、 能源成本低的蒙贵甘宁等西部区域数据中心有一定优势o 推理: 需要低时延、 高弹性的计算 , 需要与模型实时交互 , 可部署在贴近用户的数据中心 , 当前主要集中在训推 一体的京津冀、 长三角、 大湾区等重点区域推 理 过 程又称判断过程,是指利用训练好的模型,使用新数据推理出各种结论。