Inference on RuleMaker

Inference on RuleMaker http://rulemaker.cn:80/categories/inference/ Recent content in Inference on RuleMaker Hugo -- gohugo.io en-us Tue, 08 Oct 2024 00:00:00 +0000 机器学习推理平台 http://rulemaker.cn:80/p/inference_platform/ Tue, 08 Oct 2024 00:00:00 +0000 http://rulemaker.cn:80/p/inference_platform/ <p>本文主要介绍各公司机器学习推理平台的架构设计以及优化措施。包括CPU和GPU等异构计算的优化。</p> <h2 id="ebay">eBay </h2><p>eBay机器学习推理平台。eBay关于在线推理平台从在线特征到在线预估打分的一系列文章系统地讲解了机器学习推理平台的设计。</p> <p><a class="link" href="https://mp.weixin.qq.com/s?__biz=MzA3MDMyNDUzOQ==&mid=2650517067&idx=1&sn=b520e05c7e2a8093c16cc37540e4f2c7&chksm=8731961fb0461f09e6fac864b0d0c45bd7f67d1a68bb9ba748784698f80cd0701b8793da89ae&cur_album_id=2271456078435680258&scene=190#rd" target="_blank" rel="noopener" >“亿”想天开AI｜eBay 云原生人工智能推理平台：推理智能，推演“亿”生</a></p> <p><a class="link" href="https://mp.weixin.qq.com/s?__biz=MzA3MDMyNDUzOQ==&mid=2650514671&idx=1&sn=4119a94507f6adbd3dbbb4d8fd60271e&chksm=87319cbbb04615ade78597d3fe406b811eb9fcb2d91b8b0f2558769d6a05206b70b9137c53b3&cur_album_id=2271456078435680258&scene=190#rd" target="_blank" rel="noopener" >“亿”论 AI ｜统一在线特征服务</a></p> <p><a class="link" href="https://mp.weixin.qq.com/s?__biz=MzA3MDMyNDUzOQ==&mid=2650514591&idx=1&sn=6d07bceaeb9d2e7970327ff7e19d343f&chksm=87319ccbb04615ddb99a163d208060b17b7914e804a01b23548d019a44360baadfdb8f7faef2&cur_album_id=2271456078435680258&scene=190#rd" target="_blank" rel="noopener" >“亿”论AI｜基于中心化元数据及配置驱动的eBay AI特征工程管理平台</a></p> <h2 id="百度">百度 </h2><p>百度机器学习推理平台。</p> <p><a class="link" href="https://zhuanlan.zhihu.com/p/592328723" target="_blank" rel="noopener" >云原生 AI 的资源调度和 AI 工作流引擎设计分享</a></p> <h2 id="小红书">小红书 </h2><p>小红书机器学习推理平台。</p> <p><a class="link" href="https://zhuanlan.zhihu.com/p/630418545" target="_blank" rel="noopener" >让算力不再成为瓶颈，小红书机器学习异构硬件推理优化之道</a></p> <p><a class="link" href="https://zhuanlan.zhihu.com/p/669185508" target="_blank" rel="noopener" >集群 CPU 利用率均值达 45% ，揭秘小红书规模化混部技术实践</a></p> <h2 id="阿里">阿里 </h2><p><a class="link" href="https://zhuanlan.zhihu.com/p/448858199" target="_blank" rel="noopener" >广告深度学习计算：异构硬件加速实践</a></p> <h2 id="哔哩哔哩">哔哩哔哩 </h2><p><a class="link" href="https://zhuanlan.zhihu.com/p/699390555" target="_blank" rel="noopener" >GPU集合通信库在B站的应用和改进</a></p> <p><a class="link" href="https://mp.weixin.qq.com/s?__biz=Mzg3Njc0NTgwMg==&mid=2247498055&idx=1&sn=74cde1c88a24d13de34164f1185dc321&chksm=cf2f3c62f858b574d9c4e11da035b53133a01ee727b8e8900783088f6a0ea3c9bd73f10f2282&cur_album_id=2989251302771638276&scene=190#rd" target="_blank" rel="noopener" >浅谈B站效果广告在线推理服务的性能优化</a></p> <h2 id="腾讯">腾讯 </h2><p><a class="link" href="https://zhuanlan.zhihu.com/p/5747020695" target="_blank" rel="noopener" >新一代超级计算框架Ray在微信AI计算中的大规模实践</a></p>