首先配置ONNX Runtime环境并加载模型，然后创建会话、准备输入张量、执行推理并获取输出。具体包括：下载对应平台库文件，配置头文件和链接库路径；使用Ort::Env和Ort::Session初始化会话；根据模型输入形状创建Ort::Value张量，注意数据布局为行优先及CHW格式；调用Run方法传入输入输出名称进行推理；最后从输出张量中提取结果数据并处理。整个流程需确保内存管理正确、模型输入输出匹配，并建议使用高opset版本导出经验证的ONNX模型。
要在C++中使用ONNX Runtime运行AI模型，关键在于正确配置环境、加载模型并处理输入输出张量。整个过程不复杂，但需要注意内存管理与数据布局的细节。
安装ONNX Runtime库
ONNX Runtime官方提供了预编译的C++库，支持Windows、Linux和macOS。你可以从GitHub发布页下载对应平台的动态库或静态库。
以Windows为例，下载onnxruntime-win-x64-gpu（若使用GPU）或onnxruntime-win-x64（仅CPU），解压后获得include、lib和dll文件。
在项目中配置：
立即学习“C++免费学习笔记（深入）”；
- 将include目录加入编译器头文件搜索路径
- 将lib目录加入链接器路径，并链接onnxruntime.lib
- 确保运行时能找到onnxruntime.dll（放在exe同目录或系统PATH中）
加载模型并创建会话
使用ONNX Runtime C++ API的第一步是初始化环境和会话。
示例代码：
#include <onnxruntime/core/session/onnxruntime_cxx_api.h> <p>Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "test"); Ort::SessionOptions session_options; session_options.SetIntraOpNumThreads(1); session_options.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_ALL);</p><p>// Windows下使用wchar_t<em>，Linux用const char</em> Ort::Session session(env, L"model.onnx", session_options);
这里创建了一个优化开启的会话，可根据实际需求调整线程数或关闭某些图优化。
准备输入张量
你需要根据模型输入定义创建对应的Ort::Value对象。
假设模型输入为[1, 3, 224, 224]的float类型图像数据：
const int input_shape[] = {1, 3, 224, 224};
auto memory_info = Ort::MemoryInfo::CreateCpu(OrtDeviceAllocator, OrtMemTypeDefault);
std::vector<float> input_tensor_values(1 * 3 * 224 * 224); // 填充你的数据
<p>Ort::Value input_tensor = Ort::Value::CreateTensor(
memory_info, input_tensor_values.data(),
input_tensor_values.size() <em> sizeof(float),
const_cast<int64_t</em>>(input_shape), 4, ONNX_TENSOR_ELEMENT_DATA_TYPE_FLOAT
);
注意：数据必须按行优先（row-major）排列，如果是图像，通常需要将HWC转为CHW，并归一化。
执行推理并获取输出
调用Run方法执行推理：
const char* input_names[] = {"input"}; // 替换为模型实际输入名
const char* output_names[] = {"output"}; // 替换为实际输出名
<p>Ort::RunOptions run_options;
auto output_tensors = session.Run(run_options,
input_names, &input_tensor, 1,
output_names, 1
);</p><p>// 获取输出数据
Ort::Value& output_tensor = output_tensors[0];
float* float_output = output_tensor.GetTensorMutableData<float>();
int64_t num_outputs = output_tensor.GetTensorElementCount();</p><p>for (int i = 0; i < std::min(10LL, num_outputs); ++i) {
printf("Output[%d] = %f\n", i, float_output[i]);
}
输出张量的内容取决于模型结构，可能是分类概率、检测框或特征向量。
基本上就这些。只要模型输入输出维度和类型匹配，推理流程很稳定。建议先用Python导出ONNX模型时加上opset_version=12以上，并使用onnx.checker验证模型有效性，避免运行时报格式错误。
