1. 问题背景与挑战
在处理JSON数据时，我们经常会遇到需要验证数据一致性或查找冗余信息的情况。一个常见的场景是在一个包含多个JSON对象的JSON文件中，识别出那些在不同对象中重复出现的键值对。例如，如果 {"object1": {"key_1": "value_1"}} 和 {"object2": {"key_1": "value_1"}} 都存在，那么 key_1:value_1 就是一个重复的键值对。
传统的解决方案通常涉及手动遍历JSON结构，将每个键值对存储到 HashMap 或 HashSet 中进行比对。这种方法虽然可行，但在面对大型或深层嵌套的JSON结构时，代码会变得冗长、复杂且难以维护。此外，手动管理这些数据结构也容易出错。
2. 引入Josson库：声明式JSON处理的利器
为了解决上述挑战，我们可以借助功能强大的开源Java库——Josson。Josson 提供了一种声明式的查询语言，类似于XPath或JSONPath，但功能更为强大，能够对JSON数据进行复杂的转换、过滤和聚合操作。
Josson库的优势：
- 简洁性： 使用类似SQL的表达式进行JSON查询和转换。
- 灵活性： 支持复杂的路径导航、数据过滤、映射和聚合。
- 高效性： 优化了内部实现，能够处理大规模JSON数据。
您可以在GitHub上找到Josson库的详细信息和源代码：https://www.php.cn/link/6792ca026fefaf3a63297638dca900e9
3. 使用Josson识别重复键值对
以下是使用Josson库识别JSON文件中重复键值对的详细步骤和示例代码。
3.1 准备JSON数据
假设我们有以下JSON文件内容，其中包含 object1 和 object2 两个顶层对象：
本地项目发布到GitHub的完整工作流助手。自动执行：安全检查（.gitignore、排除敏感.env/凭据文件）、补齐开源文件（LICENSE、.gitignore）、git init/commit/branch、创建远程仓库、首次推送、可选打tag。支持git filter-repo历史敏感信息重写、force push、tag管理。Windows下走Credential Manager自动认证。触发词："发布到GitHub"、"上传到github"、"
{
"object1": {
"key_1": "value_1",
"key_2": "value_2",
"key_3": "value_3",
"key_5": "value_5",
"key_6": "value_6"
},
"object2": {
"key_1": "value_1",
"key_2": "value_2",
"key_4": "value_4",
"key_5": "value_5"
}
}从上述数据中，我们可以观察到 key_1:value_1、key_2:value_2 和 key_5:value_5 是重复的键值对。
3.2 Josson查询实现
我们将通过以下步骤构建Josson查询：
- 加载JSON数据： 将JSON字符串解析为Josson对象。
- 提取所有键值对： 递归地查找所有对象，并将其键值对提取出来。
- 标准化键值对： 将每个键值对转换为一个统一的JSON对象格式，以便进行比较和分组。
- 分组并过滤： 对标准化后的键值对进行分组，并筛选出那些出现次数大于一次（即重复）的组。
- 提取结果： 从过滤后的组中提取出重复的键值对。
import com.fasterxml.jackson.databind.JsonNode;
import com.octomix.josson.Josson;
public class DuplicateKeyValueFinder {
public static void main(String[] args) {
// 1. 准备JSON数据字符串
String jsonString =
"{" +
" \"object1\": {" +
" \"key_1\": \"value_1\"," +
" \"key_2\": \"value_2\"," +
" \"key_3\": \"value_3\"," +
" \"key_5\": \"value_5\"," +
" \"key_6\": \"value_6\"" +
" }," +
" \"object2\": {" +
" \"key_1\": \"value_1\"," +
" \"key_2\": \"value_2\"," +
" \"key_4\": \"value_4\"," +
" \"key_5\": \"value_5\"" +
" }" +
"}";
// 2. 反序列化JSON字符串为Josson对象
Josson josson = Josson.fromJsonString(jsonString);
// 3. 构建Josson查询表达式
// 详细解释见下文
JsonNode node = josson.getNode(
"**.entries().map(key::value).group(obj:?).[elements.size()>1]*.obj"
);
// 4. 打印结果
System.out.println(node.toPrettyString());
}
}3.3 Josson查询表达式解析
**.entries().map(key::value).group(obj:?).[elements.size()>1]*.obj
- **: 这是一个递归下降运算符，它会遍历JSON树中的所有节点。在这里，它用于查找所有嵌套的对象。
- .entries(): 对于每个找到的对象，此操作会将其所有的键值对（Entry）提取出来。例如，{"key_1": "value_1"} 会被视为一个Entry。
- .map(key::value): 这是一个映射操作。它将每个Entry (key, value) 转换成一个新的JSON对象 {"key": "value"}。这样做是为了标准化每个键值对的表示形式，使得它们可以被正确地比较和分组。例如，key_1:value_1 会被映射为 {"key_1": "value_1"}。
- .group(obj:?): 这个操作会根据 map 阶段生成的标准化JSON对象进行分组。所有相同的 {"key": "value"} 对象会被归为一组。obj:? 是一个占位符，表示分组后的每个元素（即重复的键值对）将以 obj 的形式出现。
- .[elements.size()>1]: 这是一个过滤操作。它会筛选出那些组内元素数量大于1的组。这意味着只有那些至少出现两次的键值对（即重复的键值对）才会被保留下来。
- *.obj: 最后，这个操作从过滤后的组中提取出 obj 元素。由于每个组中的 obj 都是相同的，所以这会为每个重复的键值对返回一个实例。
3.4 运行结果
执行上述Java代码，将得到以下输出：
[ {
"key_1" : "value_1"
}, {
"key_2" : "value_2"
}, {
"key_5" : "value_5"
} ]这个输出精确地列出了在输入JSON数据中所有重复的键值对。
4. 注意事项与总结
-
Josson依赖管理： 在您的Maven或Gradle项目中，需要添加Josson库的依赖。通常，它会依赖于Jackson库。
-
Maven:
<dependency> <groupId>com.github.octomix</groupId> <artifactId>josson</artifactId> <version>1.5.1</version> <!-- 使用最新版本 --> </dependency> -
Gradle:
implementation 'com.github.octomix:josson:1.5.1' // 使用最新版本
-
Maven:
- 性能考量： 对于非常大的JSON文件，Josson的性能通常优于手动解析和处理，因为它内部进行了优化。然而，极度复杂的查询可能会增加处理时间。
- 灵活性： Josson查询的强大之处在于其可组合性。您可以根据具体需求调整 map、group 和 filter 表达式，以实现更复杂的JSON数据分析。
- 错误处理： 在实际应用中，应考虑对 Josson.fromJsonString() 和 josson.getNode() 方法可能抛出的异常进行捕获和处理，例如JSON格式错误等。
通过Josson库，我们能够以一种声明式、简洁且高效的方式解决在JSON文件中查找重复键值对的问题。这种方法不仅提高了开发效率，也使得代码更易于理解和维护，是处理复杂JSON数据时的有力工具。
