Amazon SCOT团队:用技术解决最大、最复杂的运营问题

felix
felix 这家伙很懒,还没有设置简介

0 人点赞了该文章 · 8 浏览

原创 Fubing Insight 闻道-供应链思维 2024年12月02日  湖南

导读:在电子商务时代,亚马逊如何实现从下单到送达的"魔法"?这背后是一个鲜为人知的团队 - 供应链优化技术团队(SCOT)十余年的默默耕耘。从最初的10人小组发展到如今拥有200多名顶尖科学家,他们构建了世界上最大、最复杂的自动化决策系统之一。通过融合仿真技术、数学优化和机器学习,SCOT团队不仅让"两小时达"成为可能,更在疫情等危机中展现出卓越的供应链韧性。本文深入解析这个"供应链神经系统"的创新历程,揭示未来智慧供应链的发展方向。


如果将亚马逊庞大的电商王国比作一个人体,那么供应链优化技术团队(SCOT)就是其神经系统 - 默默运行却至关重要,在幕后自动优化着关键功能和流程。这个比喻来自SCOT团队本身,也恰如其分地描述了这个团队在亚马逊快速发展中扮演的核心角色。

在过去的十余年间,SCOT团队完成了一个令人瞩目的转型:从最初仅负责自动化采购和库存管理的小团队,发展成为掌控整个亚马逊供应链端到端运营的核心力量。正是这支默默耕耘的团队,通过融合仿真技术、数学优化和机器学习,创造了海量 商品数中实现快速配送的能力——在某些情况下,甚至可以在两小时内将商品送达顾客手中。

"在SCOT,利用科学和技术优化供应链不仅仅是一种手段,而是我们的核心关注点,"履约优化副总裁Ashish Agiwal如此强调。这种专注体现在团队的显著成长上:从2011年的10人小组发展到如今拥有超过200名专家的科技团队。更重要的是,这支团队构建了世界上最大、最复杂的自动化决策系统之一。

SCOT的职责范围令人生畏:计算亚马逊顾客下单时看到的配送承诺时间,预测数亿种商品的需求,决定储存什么商品及其数量,根据区域顾客需求将库存分配到仓库和配送中心,在必要时提供降价策略,设计如何最高效地整合顾客订单,协调来自全球数百万卖家的入库和库存管理等等。

这种全方位的供应链掌控能力并非一蹄而就。SCOT副总裁Deepak Bhatia回忆道,2011年时的情况截然不同。当时,虽然亚马逊年收入已达480亿美元,但团队的主要任务还局限于尝试实现产品采购和库存管理的自动化。面对快速增长的业务规模,高层管理者已经清楚认识到,通过电子表格监控的方式已不足以应对长期发展需求。

转型始于一个大胆的决定。在经过逐个产品类别的试点后,管理层决定"全力以赴"实现自动化。这个决定体现了亚马逊敢于承担风险的文化特质。正如Bhatia所说:"一次重要会议上,有人提出:'如果我们全面推进这些类别的100%自动化会怎样?'另一个人回应说'那一切都会失控。'"但正是这种勇于尝试的精神推动了变革的发生。

从那时起,SCOT开始了一段令人瞩目的演进之旅。从2011年到2016年,团队完成了第一阶段的自动化转型,将技术快速推广到整个零售业务。2016年到2020年,面对Prime一日达等新的业务挑战,团队开发并实施了突破性的多层级系统。2020年至今,在新冠疫情的考验下,团队进一步强化了供应链的韧性。

 今天的SCOT已经发展成为一个独特的组织。"我们在利用内部构建的解决方案来解决一些最大、最复杂的运营问题,"Agiwal说。"我们拥有世界上最优秀的科学家、工程师和产品经理,他们共同合作并掌控自己的命运。我们有大规模和多样化数据集的优势,能够在大规模范围内创新和实验,对客户体验和成本产生直接、可衡量的影响。这确实令人欣慰。"

SCOT的成功不仅仅在于技术创新,更在于它展示了如何将科学方法应用于实际业务问题的解决。正如库存规划和控制副总裁Jeffrey Maurer所说:"SCOT是一个非常适合那些被极其复杂的问题空间所吸引,并且渴望产生高产出影响的人的地方。"

这个开创性团队的故事,展示了科技创新如何重塑现代供应链管理。接下来,让我们深入探讨支撑这一转型的核心技术创新。

 

需求预测技术的演进

当一位顾客访问亚马逊网站时,他们几乎理所当然地期待商品是有货的。这个看似简单的期待背后,是对销售超过4亿种商品、覆盖185个国家的电商巨头的巨大考验。维持每种商品的充足库存显然在成本上是不可行的,而这正是需求预测发挥关键作用的地方。

对于消费模式可预测的产品,可以利用历史模式来决定库存水平,例如洗衣粉或垃圾袋等家庭必需品。然而,由于亚马逊无法控制的因素,大多数产品的需求都会发生变化。

以米歇尔·奥巴马的《成为》一书或最近热销的运动服为例,运动服在 2020 年成为一种既舒适又时尚的服装选择。很难解释奥普拉·温弗瑞 (Oprah Winfrey) 的巡回宣传之旅所导致的销量飙升,也几乎不可能预见到 COVID-19 对居家服装趋势等的影响。

如今,亚马逊的预测团队利用深度学习、图像识别和自然语言处理等领域的先进技术,开发出一种能够针对不同产品类别做出准确决策的预测模型。这一统一预测模型的诞生并非一蹴而就,而是经过了十多年的历程。

SCOT团队在需求预测领域的探索之路,展现了一个从传统统计到人工智能的精彩演进过程。正如预测科学总监Ping Xu所说:"当我们在亚马逊启动预测团队时,我们只有10个人,没有科学家。科学和技术创新的专注让我们能够准确估计未来需求的巨大变化。"

最初的预测系统采用标准的时间序列预测方法。正如资深首席研究科学家Kari Torkkola回忆:"这个系统在时间序列可预测且稳定的情况下表现良好。然而,它无法准确预测新产品或具有高度季节性销售模式的产品。"团队不得不为每种特殊情况开发新的方法:一个专门的组件来模拟季节性模式,另一个处理价格弹性,还有一个称为分配引擎的组件来模拟预测分布。

这种"拼凑式"的预测系统维护起来异常困难。突破出现在Torkkola的一个看似简单的洞察:"不同类别的产品可能表现出相同的行为模式。"例如,新品和有历史销售记录的产品之间存在明显的区别。新的视频游戏或笔记本电脑的预测可以部分基于类似产品过去的表现。

基于这一洞察,团队开发了稀疏分位数随机森林(SQRF)。这个创新允许单一预测系统为不同产品线做出预测,每条产品线可能具有不同的特征。SQRF能够扩展到数百万种产品,标志着亚马逊实现大规模预测的重要一步。

但系统仍然存在一个严重缺陷:它需要团队手动设计特征工程。2013年深度学习的突破为团队带来了新的启发。在2014年和2015年的实验中,团队尝试了前馈神经网络和循环神经网络(RNN)。虽然早期迭代并未超越SQRF的表现,但一个关键洞察推动了突破性进展。

"我们在多个预测周期上训练网络以最小化分位数损失,"Torkkola解释道。"当你用同样的指标来训练和评估系统时,系统表现会更好。"新的前馈网络相对于SQRF带来了显著改进。这是团队期待已久的突破:终于可以开始淘汰旧模型,利用统一的预测模型为多种场景产生准确预测。

2018年,团队发表了具有里程碑意义的论文《多层次分位数循环预测器》,介绍了MQ-RNN/CNN方法。这个突破建立在循环网络(RNN)和卷积网络(CNN)的最新进展之上,不再需要手动特征工程。正如高级应用科学家Ruofeng Wen指出:"预测基于过去的序列模式,而RNN/CNN非常擅长捕捉这些模式。"

最新的进展来自自然语言处理领域的启发。团队开发了MQ Transformer,采用解码器-编码器注意力机制来实现上下文对齐。这意味着系统可以研究自己的历史来提高预测准确性并降低波动性。正如首席应用科学家Dhruv Madeka解释:"句子是单词的序列。许多NLP模型中的注意力机制会查看单词序列,并确定哪些其他部分对给定上下文和任务重要。通过引入这些上下文感知机制,我们现在可以让预测系统关注其历史并理解它过去犯过的错误。"

这种持续创新带来的不仅是技术突破,更重要的是实际业务价值。预测准确性的提升意味着更好的客户体验和更低的运营成本。正如Xu所说:"在亚马逊,科学家的与众不同之处在于专注于以创新为基础的实际影响。远大愿景不仅仅是有一个大胆的设想,而是要播下种子,通过快速失败不断成长,一旦成功的证据变得明显就加倍扩大规模。"

 

多层级库存计划系统的突破

对于在亚马逊商店下达的每一份订单,SCOT团队开发的数学模型都会在幕后工作,以确保产品库存处于最佳位置来完成订单。 

SCOT 开发的预测模型可以预测每种产品的需求。采购系统决定从不同供应商处采购的适当产品水平,而库存系统则决定产品在亚马逊全球配送网络的数百个设施中的最佳位置。

"有时候,做出巨大改变的唯一方式就是意识到你别无选择。"这句来自亚马逊首席应用科学家Yan Xia的话,完美概括了SCOT团队在面对Prime一日达服务挑战时的处境。在2016年,亚马逊的供应链网络主要为两日达服务而设计。但随着公司的快速扩张和客户期望的不断提升,这种设计已经不能满足新的业务需求。

SCOT高级首席研究科学家Salal Humair将这一挑战称为"全球化-本地化两难"。当时,亚马逊拥有175个配送中心,服务于185个国家的客户。面对Prime一日达和Prime Now两小时达等服务承诺,团队意识到他们不仅要服务全球客户,还需要从国家级网络转向本地网络,将库存放置在更靠近客户的位置。

这种转变带来了前所未有的复杂性。为了满足客户对不同配送速度的需求,亚马逊的配送网络开始包含各种类型和规模的建筑:从普通配送中心到专门处理大件商品的非分拣配送中心,从服务同日达订单的小型配送中心到为下游配送中心供货的分销中心。网络变得越来越分层,一个层级(或梯次)的配送中心开始作为其他层级的供应商。

从科学的角度来看,这个挑战的规模令人生畏。亚马逊的订单履行通过复杂的动态优化过程完成,实时订单分配系统可以选择最优的配送中心来满足客户承诺。这种实时订单分配使库存规划变得极其复杂。同时,相同的库存池经常用于服务不同配送速度的订单,这进一步增加了复杂性。

SCOT团队资深首席科学家Alp Muharremoglu解释道:"虽然学术界对多层级库存优化研究已久,但大多数文献都集中于单产品模型,为更简单的网络提供解决方案,或者对库存补货使用过于简化的假设。亚马逊的规模和复杂性意味着没有现成的解决方案可用。这需要建立一个定制解决方案,它依赖于健全的科学原理和严谨性,借鉴学术文献中的想法作为构建模块,但需要突破性的内部创新来推动学术研究的边界。"

团队的解决方案是开创性的。核心是一个多产品、多配送中心、容量受限的模型,用于在动态履约政策下优化多种配送速度的库存水平。该框架使用类拉格朗日分解框架来实时控制和优化亚马逊网络中的库存水平。

"我们计算了每个配送中心的存储和流量机会成本,"Humair说。"使用拉格朗日分解,我们用这些成本来计算这些位置的相关库存位置。关键是,我们在可扩展的优化模型中纳入了随机动态履约政策,使亚马逊能够计算网络中每一层的库存水平。"

系统于2020年上线,在过去一年中,多层级系统在将产品放置在更靠近客户的位置方面产生了巨大且具有统计显著性的影响。这一成功不仅证明了技术创新的力量,也展示了组织在面对重大挑战时坚持和适应的能力。

 

供应链韧性的新范式

"疫情就像一个持续了两年的峰值。"亚马逊软件开发总监Keith Zackrone如此形容疫情对供应链的冲击。对SCOT团队来说,这场危机既是对其技术能力的严峻考验,也是推动创新的催化剂。

在疫情之前,亚马逊已经建立了应对需求峰值的成熟机制。像Prime Day这样的大促活动虽然带来巨大挑战,但因为可以提前规划,相对更容易管理。然而,疫情带来的是一个完全不同的挑战:持续的需求波动、供应链中断和劳动力短缺。

所有根据预测做出的决策(产能规划、采购、布局、存储和履行)都合并到一个大型分布式模拟系统中,该系统可帮助 SCOT 团队在需求波动时管理库存。

“它可以说是世界上最大的模拟平台,” SCOT 库存规划与控制团队首席应用科学家Yan Xia说道。“底层动态非常复杂,决策者众多。不可能通过一组数学方程式来捕捉。”

ACC工具最初是为处理Black Friday等季节性峰值而设计的。在疫情之前,团队通常会在假日促销前几周运行该工具来确定库存。但疫情改变了一切。正如首席应用科学家Yan Xia描述:"我们必须将这个工具推向极限,来解决团队从未遇到过的容量相关问题。我们从每年在两个国家解决8周的容量问题,转变为在十几个国家全年52周都要解决这个问题—而且要以更精细的粒度。"

团队迅速改进了ACC工具,开发了"热启动"功能,使用历史数据持续更新容量控制输入,而不是像以前那样每次都从零开始。更重要的是,团队开始对库存进行抽样模拟。这使他们能够通过模拟不到5%的总库存来预测更大的库存流动将如何响应控制信号。

"我们现在在抽样方面非常有效,"Xia说。"这对我们来说是一个重大突破,能够在市场内的如此多不同类型的容量上执行这一点—而且还要跨市场执行。"

 

未来展望:供应链数字化的下一个前沿

SCOT团队回顾过去十年的历程时,他们看到的不仅是一系列技术突破,更是供应链管理范式的根本转变。然而,正如任何前沿性的工作一样,每个解决方案都带来新的挑战和机遇。

首要挑战之一是系统可解释性。"我们有数百名员工需要回答来自销售合作伙伴和其他利益相关者的问题,"Salal Humair解释道。"为什么我的库存水平发生了变化?为什么我的库存增加了?每个这样的问题都需要手动深入研究,需要数百小时的人力来回答。"团队目前正在开发新方法,使其系统更具可解释性。

另外一大挑战是通过亚马逊不断增长的卡车、飞机、分拣中心和配送站来管理运输。SCOT 的配送优化团队由 Agiwal 领导,负责运行做出出站配送决策的系统。

“这些系统每秒优化数百万个客户承诺,每天优化数十亿个客户订单履行计划。这是通过评估整个网络中数亿条潜在运输路线并每天跟踪超过十亿条实时库存更新来实现的,”他说。

亚马逊运营自己的运输网络,创造了阿吉瓦尔所说的“一个非常令人兴奋的问题空间”,他的团队目前正在解决这个问题。他指出:“设计网络拓扑、优化多层多式联运网络中的连接,以及协调亚马逊规模的所有运营资源,都是前所未有的。”

巴蒂亚说:“我们的新任务是确保我们自己的送货卡车或货机尽可能满载,同时满足我们的客户送货时间。”

SCOT的故事展示了科技创新如何重塑现代供应链管理。从最初的人工决策到如今的端到端自动化优化,从单一预测模型到综合的多层级系统,从被动响应到主动预测,这些进步不仅改变了亚马逊的运营方式,也为整个行业提供了宝贵的经验。

"在亚马逊,科学家的独特之处在于专注于基于创新产生实际影响。远大思维不仅仅是拥有大胆的愿景,它涉及播下种子,通过快速失败持续成长,一旦成功的证据变得明显就加倍扩大规模。"


发布于 6 天前

免责声明:

本文由 felix 原创发布于 大董知识库 ,著作权归作者所有。

登录一下,更多精彩内容等你发现,贡献精彩回答,参与评论互动

登录! 还没有账号?去注册

暂无评论

All Rights Reserved Powered BY WeCenter V4.1.0 © 2024 京ICP备16065701号