SLS 数据加工全面升级，集成 SPL 语法
作者：灵圣
数据加工概述
在系统开发、运维过程中，日志是最重要的信息之一，其最大的优点是简单直接。不过在整个日志的生命周期里有一对很难调和的矛盾：输出和采集日志要求尽可能的简单便捷 vs 日志分析时需要数据格式化并能够按需存储。
- 为了解决前者，保证服务的稳定和效率，提出了不同的高性能数据管道解决方案，比如阿里云 SLS 这样的云服务、还有 Kafka 这样的开源中间件。
- 而对于后者，需要提供给下游规范化的、完整的数据，用于比如业务分析等场景，SLS 数据加工即是达成这一需求的功能。
如上图所示，SLS 数据加工的常见场景：
- 规整： 这是使用频率最高的场景，比如从文本日志数据中提取出关键信息，将其转为规范化的数据。
- 富化： 比如用户的点击数据中只包含商品 ID，在分析时需要从数据库关联起详细信息。
- 脱敏： 随着我国信息安全相关法律的完善，对于敏感数据（比如个人信息）的处理要求越来越高。
- 分裂： 在数据写出时，处于性能、便捷性考虑会将多条数据合并输出，在分析前则需要拆分出独立数据条目。
- 分发： 将不同类型的数据分别写到不同的特定目标中，以供下游定制化使用。
新版数据加工提升
-
集成 SPL，统一语法
SPL 是 SLS 为日志采集、交互式查询、流式消费、数据加工等数据处理的场景，提供的统一的数据处理语法，语法细节可参考 SPL 语法 [ 1] 。新版数据加工 SPL 编写过程支持按行调试和代码提示，更接近 IDE 编码体验。
-
性能提升 10+ 倍，大数据量、数据洪峰处理更平滑
在处理无规则日志数据场景中，相同的处理复杂度，新版数据加工相对于旧版有 10+ 倍的性能提升，能够支撑更高的数据吞吐量。另外，通过调度系统的升级，面对平常流量上千倍的数据洪峰时，新版数据加工能够更加敏捷的实现计算并发扩展，尽可能减少洪峰带来的积压。
-
成本更优，降至旧版 1/3
通过数据加工服务的技术迭代升级，新版数据加工提供了更具优势的使用成本，仅为旧版数据加工的 1/3。所以，在需求场景已经支持时，推荐使用数据加工（新版）。
集成 SPL、统一语法
新版数据加工原理
新版数据加工通过托管实时数据消费的任务，结合日志服务 SPL 规则消费功能，实现对日志数据的实时加工处理，原理如下图。
-
调度机制
对每一个加工任务，加工服务的调度器会启动一个或多个运行实例，并发执行数据处理，每个运行实例扮演一个消费者角色消费 1 个或者多个源 Logstore 的 Shard。调度器根据运行实例资源消耗、以及处理进度决定运行实例数目，实现弹性并发。单个任务的并发上限为源 Logstore 的 Shard 数量。
-
运行实例
根据任务的 SPL 规则和目标 Logstore 等配置信息，从数据加工服务分配的 Shard 中，使用 SPL 规则消费源日志数据，将基于 SPL 规则处理后的结果分发写入对应的目标 Logstore。运行实例运行过程中，自动保存 Shard 的消费点位，确保任务停止重启时，从断点处继续消费。
SPL 语法对比旧版 DSL
相对于数据加工（旧版）DSL 语言，日志服务 SPL 语法提升了易用性，具体如下：
-
数据加工（旧版）DSL 语法作为 Python 语法子集，需要函数式编程，使用过程中存在较多语法符号冗余。相较而言，日志服务 SPL 语言是类 Shell 指令式语法，在最大程度减少语法符号的冗余。如下案例：
- 旧版本使用函数 v 引用字段值 v("field")，SPL 则直接引用字段，比如 | where field='ERROR'。
- 旧版本函数调用 func(arg1, arg2)，转为 SPL 指令 | cmd arg1, arg2，编写更简洁。
-
SPL 语言支持处理过程中临时字段类型保持，数据类型转换 [ 2] ；与之相反，数据加工（旧版）DSL 的定义中，字段值固定为字符串类型，类型转换的中间结果不支持保留。比如，如下 DSL 脚本，需两次调用 ct_int 函数：
e_set("ms", ct_float(v("sec"))*1000)
e_keep(ct_float(v("ms")) > 500)
对应的 SPL 逻辑则更为简洁，无需两次转换类型，参考如下：
| extend ms=cast(sec as double)*1000
| where ms>1024
- 另外，SPL 语言可以无缝使用日志服务 SQL 函数，无需额外的理解和学习成本，SPL 所支持的 SQL 函数参考 SQL 函数概览 [ 3] 。
数据加工 SPL 代码调试
调试菜单
数据加工（新版）SPL 调试菜单参考，菜单按钮定义如下：
- 运行按钮： 完整运行编辑框中的 SPL 规则。
- 调试按钮： 开启调试模式，并执行运行至第一个断点，开启后可以执行按行、或者断点调试。
- 下个断点按钮： 调试运行至下一个断点。
- 下一行按钮： 调试运行至下一行。
- 停止调试按钮： 停止当前调试过程。
代码编辑框的行号前的空白区域为断点区域，在断点区域单击鼠标，即可在单击点对应的行添加调试断点，效果如下图。单击已添加的调试断点，即可将其移除。
调试过程
-
准备测试数据和编写 SPL 规则。
-
在需要调试的行添加断点。
-
单击调试按钮，开启调试模式，如下图。黄色背景行表示当前暂停的位置（语句未执行），蓝色背景行表示已经执行的 SPL 语句。
-
在加工结果标签页中查看运行结果是否满足需求。
- 如果符合需求：进入第 5 步，继续调试运行。
- 否则，单击停止调试按钮，回到第 1 步，修改 SPL 规则，重新开始调试过程。
持续迭代升级
接下来，新版数据加工将持续进行迭代升级，这里我们仅聊一下近期即将推出的两个升级。
1. 支撑完备的数据处理场景
目前新版数据加工专注于无规则数据处理场景，即偏计算型，对于数据流转场景暂未覆盖，比如数据分发至多目标或动态目标、维表富化、IP 解析、跨地域同步数据。
接下来，新版数据加工将着重支持这些场景，并通过架构升级，提供更稳定、更易用的服务，比如跨区域同步的加速能力、基于数据集的分发等。
2. 旧版数据加工任务无缝升级
对于线上在运行的旧版数据加工任务，需要应用如上所述的新版本提升，数据加工服务将从两个技术角度支撑已有任务的原地升级：
第一，数据加工服务保证数据的完整性，自动将当前的数据消费点位迁移至新版数据加工，升级后将从该点位继续消费数据。第二，基于 AST 语法树解析，自动翻译旧版数据加工任务的 DSL 脚本，至同等数据处理逻辑的 SPL。
相关链接：
[1] SPL 语法
https://help.aliyun.com/zh/sls/user-guide/spl-syntax/
[2] 数据类型转换
https://help.aliyun.com/zh/sls/user-guide/spl-general-reference?#9f3d943aa1ceb
[3] SQL 函数概览
