在数据处理和转换场景中，经常需要对JSON结构中的数值字段进行聚合计算，例如求和。Jolt作为一款强大的JSON转换工具，能够通过其灵活的转换规范（Spec）实现复杂的结构重塑和数据操作。本文将深入探讨如何使用Jolt，将一个JSON对象中所有账户的数值进行求和，并将总和作为一个新的字段添加到输出中。
核心问题：JSON对象内数值求和
假设我们有以下JSON输入，其中accounts对象包含多个账户及其对应的数值：
{
"accounts": {
"canara": 1,
"sbi": 0,
"axis": 1,
"hdfc": 0
}
}我们的目标是计算accounts对象中所有数值（1, 0, 1, 0）的总和，并将结果（2）添加到一个名为total accounts的新字段中，同时保留原始的账户信息。期望的输出结构如下：
{
"canara": 1,
"sbi": 0,
"axis": 1,
"hdfc": 0,
"total accounts": 2
}Jolt求和转换详解
要实现上述转换，我们需要一个包含三个操作步骤的Jolt Spec。这三个步骤协同工作，分别负责数据扁平化、数值聚合计算以及最终的结构整理。
第一步：扁平化并收集待求和数据
此步骤使用shift操作，其目的是将accounts对象中的所有键值对提升到根级别，同时将所有数值收集到一个临时数组中，以便后续求和。
[
{
"operation": "shift",
"spec": {
"accounts": {
"*": [
".&",
"accountsAccumulator"
]
}
}
},
// ... 后续步骤
]解释：
- "accounts"：匹配输入JSON中的accounts字段。
- "*"：匹配accounts对象下的所有键（如canara, sbi等）。
- ".&"：这是一个重要的Jolt路径表达式，它表示将当前匹配到的值（例如1、0）以及其对应的键（例如canara、sbi）一起输出。.代表当前值，&代表当前键。在这里，它会将accounts.canara: 1转换为canara: 1，accounts.sbi: 0转换为sbi: 0，以此类推，从而实现扁平化。
- "accountsAccumulator"：这是一个自定义的临时字段名。当accounts下的每个值被处理时，它们不仅通过.&被扁平化，还会被收集到名为accountsAccumulator的数组中。例如，accountsAccumulator会变成[1, 0, 1, 0]。
经过这一步，中间输出大致会是：
{
"canara": 1,
"sbi": 0,
"axis": 1,
"hdfc": 0,
"accountsAccumulator": [1, 0, 1, 0]
}第二步：利用modify-overwrite-beta计算总和
此步骤使用modify-overwrite-beta操作，它是Jolt中用于执行数学计算、字符串操作等复杂逻辑的关键。我们将在这里计算accountsAccumulator数组的总和。
[
// ... 前一步骤
{
"operation": "modify-overwrite-beta",
"spec": {
"total accounts": "=intSum(@(1,accountsAccumulator))"
}
},
// ... 后续步骤
]解释：
- "total accounts"：这是我们希望在最终输出中添加的新字段名。
- "=intSum(@(1,accountsAccumulator))"：
- =：表示这是一个函数调用。
- intSum()：Jolt内置的数学函数，用于计算整数数组的总和。如果需要处理浮点数，可以使用doubleSum()。
- @(1,accountsAccumulator)：这是一个Jolt的相对路径引用。@表示引用数据，1表示向上回溯一层父级（因为accountsAccumulator是在前一步骤中在根级别创建的），accountsAccumulator指定了要引用的字段。因此，它引用了上一步骤生成的accountsAccumulator数组。
经过这一步，中间输出将变为：
{
"canara": 1,
"sbi": 0,
"axis": 1,
"hdfc": 0,
"accountsAccumulator": [1, 0, 1, 0],
"total accounts": 2
}第三步：清理临时字段并重塑结构
最后一步再次使用shift操作，其目的是移除不再需要的临时字段accountsAccumulator，并确保所有其他字段都保留在最终输出中。
[
// ... 前两步骤
{
"operation": "shift",
"spec": {
"accountsAccumulator": null,
"*": "&"
}
}
]解释：
- "accountsAccumulator": null：将accountsAccumulator字段映射到null，这意味着它将从最终输出中被移除。
- "*": "&"：这是一个通配符规则，表示将当前层级（根级别）的所有其他字段（即canara, sbi, axis, hdfc, total accounts）原样保留并输出到最终结果的根级别。
完整Jolt Spec示例
将上述三个步骤组合起来，就得到了完整的Jolt转换规范：
[
{
"operation": "shift",
"spec": {
"accounts": {
"*": [
".&",
"accountsAccumulator"
]
}
}
},
{
"operation": "modify-overwrite-beta",
"spec": {
"total accounts": "=intSum(@(1,accountsAccumulator))"
}
},
{
"operation": "shift",
"spec": {
"accountsAccumulator": null,
"*": "&"
}
}
]注意事项与最佳实践
- 多步转换的必要性：对于涉及聚合计算的复杂转换，通常需要分解为多个Jolt操作步骤。每个步骤完成特定的任务，如数据提取、计算、清理等。
- 临时字段的使用：在Jolt中，创建临时字段（如本例中的accountsAccumulator）是常见的模式，用于存储中间结果，以便后续步骤进行处理。
- modify-overwrite-beta操作：这是Jolt中进行数学运算、字符串处理等高级逻辑的核心。务必熟悉其内置函数（如intSum, doubleSum, min, max等）和相对路径引用语法。
- 路径引用@(level, field)：理解@符号和level参数对于正确引用前一步骤生成的数据至关重要。level表示向上回溯的层级数。
- null的妙用：在shift操作中，将字段映射到null是移除不需要的字段的常用方法。
- *通配符`和&**：它们是Jolt中实现灵活匹配和数据保留的关键。*匹配所有键，&`表示引用当前匹配到的键名。
总结
通过本教程，我们详细展示了如何使用Jolt实现JSON对象内数值的求和操作。这不仅涉及简单的结构重塑，更利用了Jolt强大的modify-overwrite-beta操作和多步转换的策略。掌握这种方法，将有助于您在各种数据集成和转换场景中，更高效、灵活地处理JSON数据，实现复杂的聚合和计算需求。
