为其订阅平台从 SQS 和 Redis 抓取开关到 Temporal。

Grab基于GrabUnlimited的新架构在Temporal上构建。该公司通过增强订阅平台的用户体验，将生产事故减少80%，该平台服务于数百万用户。新架构显著提高了系统的健壮性和可扩展性，解决了之前解决方案的诸多问题。

GrabUnlimited是Grab的订阅计划，为支付月费的会员提供福利。支持GrabUnlimited的平台实现了两个主要流程，用于将会员纳入该计划并续订他们的会员资格。随着订阅会员基础的增长，公司开始遇到问题和系统故障。根据运营指标，Grab观察到由于数据库中的会员状态损坏，用户被锁定；会员未自动续订；或用户在续订后未收到福利等问题。

Michel Parreno，工程经理，和Theodore Felix Leo，Grab的首席工程师，描述了在最初架构中遇到的问题：

从2022年1月到2023年6月，订阅者数量在最初的成功和显著增长（超过1000%）之后，支持GrabUnlimited的架构开始显示出压力的迹象。诸如未能获得会员福利等常见订阅者问题，以及由服务中断增加所标志的开发者问题，表明该系统的低韧性。罪魁祸首是一个虽然可以正常工作但没有被设计用来高效管理快速扩展的会员模型复杂性的后端服务。

GrabUnlimited的原始架构依赖于Amazon RDS进行数据存储，SQS进行消息传递，以及Redis进行缓存和分布式锁。它采用状态机模式来跟踪会员状态。随着时间的推移，由于订阅者数量的不断增加，用于检索到期会员的每日定时任务变得越来越慢。团队不得不将任务拆分为批处理，并最终垂直扩展数据库。此外，由于5分钟Redis锁的限制，续订过程可能导致会员状态损坏。

GrabUnlimited的原始架构（来源：Grab的工程博客）

该解决方案也存在弹性问题，上游服务的故障与SQS的重试结合在一起，没有指数级回退，会导致服务在恢复在线时被过度加载。最后，初始架构中的订阅服务随着状态转换数量的增加变得过于复杂。它缺乏幂等性保证，导致在流程重试时重复发放福利。

在考虑原始架构的问题及其对用户体验和运营成本的影响后，团队开始寻找解决方案。工程师们没有选择对现有系统进行重构，而是决定用一个基于Grab另一团队之前采用的Temporal开源工作流编排引擎的新架构来替换现有的架构。

团队对 Temporal 在多个方面进行了细致评估，包括可扩展性、可靠性、性能、安全性以及开发工作量、成本和测试性。新架构受益于 Temporal 的许多内置功能，例如无限重试、指数级退避、速率限制和可观测性。

GrabUnlimited的新架构使用了Temporal (来源：Grab的工程博客)

在新架构中，每日的cron作业被定时器取代，这使得更新过程可以根据用户的订阅时间分散在全天进行，并大大提高了可扩展性。先前的并发问题通过利用Temporal内置的工作流执行能力得到了解决，使用相同的工作流ID被分配到多个运行互斥操作的工作流实例中。

团队还利用了 Temporal 的容错机制，如无限重试和指数级回退，来配置适当的重试策略，以保护外部服务在短暂可用性问题出现时不会被淹没。 上述架构中的幂等性问题通过设计工作流步骤来处理不同的职责，并利用 Temporal 来处理错误和排序工作流执行来解决。

GrabUnlimited团队在采用Temporal的过程中学到了很多，不得不调整他们的系统设计方法，以充分利用Temporal的功能。工程师们指出，这个转变使他们能够专注于产品平台的重要方面，而不是花时间去实现基本的构建模块。尽管在采用新技术时面临挑战，团队认为“学习曲线是值得的”。