文件数据集市是按主题组织的结构化文件集合（如JSON、CSV），供C#程序快速读取分析；它非数据库也非缓存，不支持SQL查询，需用System.Text.Json等解析，强调主题隔离、模式一致与原子替换更新。
什么是文件数据集市，它和数据库有啥区别
文件数据集市不是数据库，也不是临时缓存；它是用一组结构化文件（比如 JSON、CSV、Parquet）按主题组织的数据集合，供 C# 程序快速读取、筛选、聚合。关键在于“主题驱动”——比如只放用户行为日志，或只存某季度销售明细，不混杂无关字段。你不能直接 SELECT 它，但可以用 System.Text.Json 或 Microsoft.Data.Analysis 做等价操作。
常见错误现象：FileNotFoundException 频发，或加载后发现字段缺失、类型错乱——往往是因为把“一堆原始日志文件”当成了“数据集市”，没做清洗与模式对齐。
- 使用场景：离线分析、CI/CD 中的测试数据快照、嵌入式设备无数据库时的轻量查询
- 性能影响：JSON 文件 >10MB 后，
JsonSerializer.Deserialize<t>()</t>会明显卡顿；建议拆成小文件 + 索引元数据（如_index.json） - 兼容性注意：.NET 6+ 支持
JsonNode动态解析，但 .NET 5 只能靠JsonDocument手动遍历，别在旧项目里硬套新 API
如何用 C# 自动构建主题目录结构
核心是“命名即契约”：目录名 = 主题名，文件名 = 时间/版本标识，内容 = 严格一致的 schema。别依赖注释或文档，让路径自己说话。
示例结构：data/users/2024-09-01.json、data/users/2024-09-02.json，所有文件都必须含 id、email、created_at 字段，且 created_at 是 ISO8601 字符串。
- 实操建议：写个校验工具，在写入前调用
JsonSerializer.Deserialize<userrecord>()</userrecord>，捕获JsonException并拒绝非法文件 - 参数差异：
JsonSerializerOptions.PropertyNamingPolicy = JsonNamingPolicy.CamelCase要全局统一，否则同一主题下不同日期文件字段大小写不一致，后续 LINQ 查询会漏数据 - 容易踩的坑：Windows 下路径忽略大小写，Linux 下敏感——如果用
users和Users混用，跨平台部署时Directory.GetFiles("data/users")可能返回空
怎么高效查文件数据集市而不爆内存
别一次性 File.ReadAllText() 加载整个目录。真实场景中，你只关心“9月活跃用户”，而不是全部三年数据。
正确做法是分层过滤：先按路径筛选日期范围，再流式解析单个文件，最后用 LINQ 抽取字段。用 JsonSerializer.DeserializeAsync<t>()</t> + FileStream，比全量反序列化省 60%+ 内存。
- 使用场景：Web API 返回分页用户列表，后端从
data/users/*.json中捞最近 7 天数据 - 性能关键点：用
Directory.EnumerateFiles()替代GetFiles()，避免生成大数组；对每个匹配文件开using var fs = File.OpenRead(path) - 容易踩的坑：
DeserializeAsync不支持StreamReader包裹的 UTF-8 BOM，若文件带 BOM，会抛JsonException: '' is invalid—— 用File.OpenRead绕过
更新和版本控制怎么不搞乱数据一致性
文件数据集市没有事务，所以“更新”本质是原子替换：生成新文件 → 校验 → File.Replace() 替换旧文件。绝不用 File.WriteAllText() 直接覆盖。
错误现象：InvalidOperationException 提示“无法访问正由另一进程使用的文件”，或某次查询拿到半截写入的 JSON（开头是 {"id":1,，结尾没了）——这就是没走原子替换。
- 实操建议：所有写入逻辑封装进一个方法，强制走
File.Replace(tempPath, finalPath, backupPath)，backupPath 可设为null省空间 - 版本控制：在目录下放
_manifest.json，记录每个文件的hash和schema_version，程序启动时校验，不匹配就拒用该主题 - 复杂点在于：多线程写同一主题时，
File.Replace本身线程安全，但校验和写临时文件需加lock或用ConcurrentDictionary<string semaphoreslim></string>控制主题粒度并发
最易被忽略的是 schema 演进——比如新增 is_premium 字段。老文件没这个字段，Deserialize<userrecord>()</userrecord> 会静默设为 false 或 null，但你得确认这是业务预期，而不是 bug。
