函数计算异步任务能力介绍-任务触发去重

作者 |  渐意,无论是在大数据处理领域，还是在消息处理领域，任务系统都有一个很关键的能力 – 任务触发去重。这个能力在一些对准确性要求极高的场景(如金融领域)中是必不可少的。作为 Serverless 化任务处理平台，Serverless Task 也需要提供这类保障，在用户应用层面及自身系统内部两个维度具备任务的准确触发语义。本文主要针对消息处理可靠性这一主题来介绍函数计算异步任务功能的技术细节，并展示如何在实际应用中使用函数计算所提供的这方面能力来增强任务执行的可靠性。
,在讨论异步消息处理系统时，消息处理的基本语义是无法绕开的话题。在一个异步的消息处理系统(任务系统)中，一条消息的处理流程简化如下图所示：,图 1,用户下发任务 – 进入队列 – 任务处理单元监听并获取消息 – 调度到实际 worker 执行。,在任务消息流转过程中，任何组件(环节)可能出现的宕机等问题会导致消息的错误传递。一般的任务系统会提供至多 3 个层级的消息处理语义：,函数计算能够提供任务分发的 Exactly Once 语义，即无论在何种情况下，重复的任务将被系统认为是相同的触发，进而只进行一次的任务分发。,结合图 1，如果要做到任务去重，系统至少需要提供两个维度的保障：,下面，我们将结合简化的 Serverless Task 系统架构，谈一谈函数计算是如何做到上面的能力的。,函数计算的任务系统架构如下图所示：,图 2,首先，用户调用函数计算 API 下发一个任务(步骤 1)进入系统的 API-Server 中，API-Server 进行校验后将消息传入内部队列(步骤 2.1)。后台有一个异步模块实时监听内部队列(步骤 2.2)，之后调用资源管理模块获取运行时资源(步骤 2.2-2.3)。获取运行时资源后，调度模块将任务数据下发到 VM 级别的客户端中(步骤 3.1)，并由客户端将任务转发至实际的用户运行资源(步骤 3.2)。为了做到上文中所提到的两个维度的保障，我们需要在以下层面进行支持：
,当用户的消息进入函数计算系统中(即完成步骤 2.1)后，用户的请求将收到 HTTP 状态码 202 的 Response，用户可以认为已经成功提交一次任务。从该任务消息进入 MQ 起，其生命周期便由 Scheduler 维护，所以 Scheduler 的稳定性及 MQ 的稳定性将直接影响系统 Exactly Once 的实现方案。
,在大多数开源消息系统中(如 MQ、Kafka)一般都提供消息多副本存储及唯一消费的语义。函数计算所使用的消息队列(最底层为 RocketMQ)也是同样的，底层存储的 3 副本实现使得我们无需关注消息存储方面的稳定性。除此之外，函数计算所使用的的消息队列还具有以下特性：
,因此，消息在队列中的的整个生命周期如下图所示：,图 3,Scheduler 主要负责消息的处理，其任务主要有以下几个部分组成：,在队列的调度模型方面，函数计算对于普通用户采用“单队列”的管理模式;即每一个用户的所有异步执行请求由一个独立队列相互隔离，并且由一个 Scheduler 固定负责。这个负载的映射关系由函数计算的负载均衡服务进行管理，如下图所示(我们在后续文章中还会更为详细的介绍这部分内容)：
,图 4,当 Scheduler 1 发生宕机或升级时，任务由两种执行状态：,函数计算系统能够做到对于单点故障下的每条消息准确的消费能力，但是如果用户侧对于同一条业务数据反复触发函数执行的话，函数计算无法识别不同消息是否在逻辑上是同一个任务。这种情况往往发生在网络分区。在图 2 中，如果用户调用 1 发生超时，此时有可能有两种情况：
,大多数情况下用户会对此次的提交进行重试。如果是第 2 种情况，那么同一个任务将被提交并执行多次。因此函数计算需要提供一种机制，保证这种场景下业务的准确性。
,函数计算提供了 TaskID 这一任务概念(StatefulAsyncInvocationID)。该 ID 全局唯一。用户每次提交任务均可以指定这样一个 ID。当发生请求超时时，用户可以进行无限次重试。所有的重复重试将在函数计算侧进行校验。函数计算内部使用 DB 对任务 Meta 数据进行存储;当有相同 ID 进入系统时该次请求将被拒绝，并返回 400 错误。此时客户端即可得知任务的提交情况。
,在实际使用中以 Go SDK 为例，您可以编辑如下触发任务的代码：,便提交了一个独一无二的任务。,本文介绍了函数计算 Serverless Task 对于任务触发去重的相关技术细节，以便支持对于任务执行准确性有严格要求的场景。在使用 Serverless Task 后，您无需担心任何系统组件的 Failover，您每次提交的任务将被准确执行一次。为了支持业务侧语义的分发去重，您可以在提交任务时设置任务的全局唯一 ID，使用函数计算提供的能力帮您对任务进行去重处理。