本文主要介绍各公司机器学习推理平台的架构设计以及优化措施。 包括CPU和GPU等异构计算的优化。
eBay
eBay机器学习推理平台。eBay关于在线推理平台从在线特征到在线预估打分的一系列文章系统地讲解了机器学习推理平台的设计。
“亿”想天开AI｜eBay 云原生人工智能推理平台：推理智能，推演“亿”生
“亿”论AI｜基于中心化元数据及配置驱动的eBay AI特征工程管理平台
百度
百度机器学习推理平台。
小红书
小红书机器学习推理平台。
集群 CPU 利用率均值达 45% ，揭秘小红书规模化混部技术实践