讲师中心 微信公众号
AI工具推荐 视频效率加速

c++如何读取parquet文件_使用Apache Arrow库进行高效解析【深度】

夏强姑娘_1690

夏强姑娘_1690

发布时间:2026-04-14 21:20:34

|

723人浏览过

|

来源于php中文网

原创

直接用 parquet-cpp 会编译失败或链接报错,因其自2019年起已并入Arrow项目,头文件、命名空间和构建方式全面变更;应改用Arrow的Parquet模块,包含对应头文件、链接arrow和arrow_parquet库,并确保运行时库路径正确。

c++如何读取parquet文件_使用apache arrow库进行高效解析【深度】

为什么直接用 parquet-cpp 会编译失败或链接报错

Apache 官方已将 Parquet C++ 实现完全并入 Arrow 项目,parquet-cpp 仓库自 2019 年起归档,头文件路径、命名空间、构建方式全部变更。你现在看到的旧教程里写的 #include "parquet/reader.h" 或链接 -lparquet,大概率会触发 fatal error: parquet/reader.h: No such file or directory 或未定义引用错误。

正确做法是统一使用 Arrow 的 Parquet 模块:

  • 头文件全走 #include <arrow></arrow> 和 #include <arrow></arrow>,Parquet 相关接口在 <arrow></arrow>
  • CMake 中必须 find_package(Arrow REQUIRED) 且 link arrow + arrow_parquet(不是 parquet)
  • 运行时需确保 libarrow_parquet.so(Linux)或 arrow_parquet.dll(Windows)在 LD_LIBRARY_PATH / PATH 中

如何用 parquet::ParquetFileReader 同步读取单个文件

Arrow 的 Parquet 读取分两步:先打开文件获取元数据和 schema,再按行组(RowGroup)或整列拉取数据。不推荐一次性读全——内存爆炸风险高,且失去列裁剪优势。

基础流程示例:

立即学习“C++免费学习笔记(深入)”;

#include <arrow/parquet/api.h>
#include <arrow/io/file.h>

std::shared_ptr<arrow::io::ReadableFile> infile;
arrow::io::ReadableFile::Open("data.parquet", &infile).AbortNotOk();

std::unique_ptr<parquet::ParquetFileReader> reader =
    parquet::ParquetFileReader::Open(infile);

// 获取 schema(Arrow 格式)
std::shared_ptr<arrow::Schema> schema = reader->metadata()->schema();

// 读第 0 个 RowGroup(可循环读多个)
std::shared_ptr<arrow::Table> table;
reader->ReadRowGroup(0, &table).AbortNotOk(); // 注意:返回的是 Table,非原始 Parquet 数据

关键点:

  • ReadRowGroup() 返回 arrow::Table,列已自动解码为 Arrow 原生类型(如 arrow::Int32Array),无需手动 cast
  • 若只需某几列,用 ReadRowGroup({0, 2, 4}) 传列索引列表,避免加载无关列
  • 不调 ReadTable() —— 它会读全部 RowGroup,内存占用不可控

遇到 ArrowNotImplementedError: Dictionary decoding not supported for type 怎么办

这是 Arrow 5.x+ 默认禁用字典解码导致的常见报错,尤其出现在用 Python(pyarrow)写入、C++ 读取的混合场景中。Parquet 文件若含字典编码列(string / enum 等高频值),Arrow C++ 默认不处理该编码格式。

C++ Code Review Master
C++ Code Review Master

组合式C++代码评审方案,融合静态分析、AI推理、多轮迭代评审和C++专项检查,适用于PR审查、增量代码审查、全项目评审和代码质量评分,触发词包括review cpp、cpp代码评审、C++review、代码审查。

下载

解决方法是在打开 reader 时显式启用字典支持:

parquet::ReaderProperties props;
props.set_use_dictionary(true); // 关键

std::unique_ptr<parquet::ParquetFileReader> reader =
    parquet::ParquetFileReader::Open(infile, props);

其他相关配置:

  • props.set_pre_buffer(true):预读底层页,提升小文件随机访问性能
  • props.set_threads(4):开启多线程解码(仅对大 RowGroup 有效)
  • 若确定无字典列,设 set_use_dictionary(false) 可略降初始化开销

如何把 arrow::Table 转成原生 C++ 结构(如 std::vector<int32_t>)

Arrow 的 Table 是零拷贝视图,直接转 std::vector 需显式拷贝。别试图 reinterpret_cast —— Arrow 内存布局含 offset / validity bitmap,结构不兼容。

安全提取整列 int32 示例:

std::shared_ptr<arrow::ChunkedArray> col = table->column(0);
std::shared_ptr<arrow::Int32Array> arr =
    std::static_pointer_cast<arrow::Int32Array>(col->chunk(0));

std::vector<int32_t> data(arr->length());
arr->CopyUnslicedData(data.data()); // 自动跳过 null 值?不,这行只拷贝有效数据(含 null 占位)

更稳妥的做法(处理 null):

  • 用 arr->raw_values() + arr->null_count() > 0 判断是否含 null
  • 若需过滤 null,遍历 arr->IsValid(i) 手动 push_back
  • 字符串列务必用 arr->GetString(i),不能直接取 raw_values —— Arrow string 是 offset-based

真正麻烦的是嵌套类型(struct / list)和时区感知 timestamp —— 这些得逐层 unpack,没通用捷径。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

5819

2023.08.02

c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

549

2023.09.22

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

1678

2024.03.01

scripterror怎么解决
scripterror怎么解决

scripterror的解决办法有检查语法、文件路径、检查网络连接、浏览器兼容性、使用try-catch语句、使用开发者工具进行调试、更新浏览器和JavaScript库或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

949

2023.10.18

500error怎么解决
500error怎么解决

500error的解决办法有检查服务器日志、检查代码、检查服务器配置、更新软件版本、重新启动服务、调试代码和寻求帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2680

2023.10.25

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1638

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2464

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

5944

2023.10.24

FrankenPHP集成Laravel详细教程
FrankenPHP集成Laravel详细教程

本专题提供FrankenPHP集成Laravel的详细配置指南,全面解析运行原理、开发环境搭建、Caddyfile配置、Octane工作模式、数据库连接、队列任务、定时任务和生产环境优化,解决部署过程中常见的报错与兼容性问题。

40

2026.10.08

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Apache Maven 官方安装指南
Apache Maven 官方安装指南

共0课时 | 0人学习

Apache Maven 官方用户中心
Apache Maven 官方用户中心

共0课时 | 0人学习

Apache Subversion 官方手册
Apache Subversion 官方手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn