GPU内存不能直接用C++原生指针访问，必须通过CUDA API（如cudaMalloc、cudaMemcpy）显式分配、传输和释放；设备指针仅能在kernel中或CUDA函数内使用，主机代码解引用会触发段错误。
GPU内存不能直接用C++原生指针访问
你无法像 int* p = new int[100] 那样，用裸指针直接读写GPU显存。C++标准不定义GPU内存模型，所有GPU内存操作必须通过特定厂商的运行时API（如CUDA、HIP）或跨平台抽象层（如Vulkan、SYCL）完成。
常见错误是试图对 cudaMalloc 返回的地址做 ++ 或 reinterpret_cast<int>(d_ptr)</int> 后直接解引用——这会触发段错误或未定义行为，因为该地址不在CPU可寻址空间内。
- CUDA中，
cudaMalloc返回的是设备指针（void*类型），仅能传给CUDA API函数（如cudaMemcpy、kernel launch）或在device kernel中使用 - 主机代码（host code）不能对设备指针执行
*p、p[0]、p + 1等操作 - 若需调试查看内容，必须先用
cudaMemcpy拷贝回主机内存，再用普通指针访问
cudaMalloc + cudaMemcpy 是最安全的入门组合
这是控制GPU内存生命周期和数据流动的最小可行路径。不要跳过显式拷贝步骤去追求“零拷贝”——那需要PCIe一致性支持且有严格对齐/分配约束。
典型流程：
立即学习“C++免费学习笔记（深入）”；
float *h_data = new float[N]; // 主机端普通内存 float *d_data; // 设备指针变量（只是个地址容器） cudaMalloc(&d_data, N * sizeof(float)); // 分配GPU内存，d_data 现在持有设备地址 cudaMemcpy(d_data, h_data, N * sizeof(float), cudaMemcpyHostToDevice); // 拷入 my_kernel<<<blocks, threads>>>(d_data); // 在kernel里用它 cudaMemcpy(h_data, d_data, N * sizeof(float), cudaMemcpyDeviceToHost); // 拷出 cudaFree(d_data); // 必须用 cudaFree，不能用 delete
-
cudaMalloc和cudaFree必须成对出现；用delete释放d_data会导致崩溃 -
cudaMemcpy的第四个参数决定方向：cudaMemcpyHostToDevice/cudaMemcpyDeviceToHost/cudaMemcpyDeviceToDevice - 若数据只在GPU上计算、不返回主机，可省略第二次
cudaMemcpy，但依然要cudaFree
统一虚拟地址（UVA）让指针“看起来像通用”但仍有约束
CUDA 6.0+ 支持 cudaMallocManaged，它返回一个可在CPU和GPU两端直接访问的指针，底层由系统自动迁移页。但它不是“无代价的通用指针”。
典型误用：
int *ptr; cudaMallocManaged(&ptr, size); // 在主机线程里直接读写 —— 可以，但慢（可能触发迁移） // 在多个CPU线程并发读写 —— 危险，UVA不提供原子性或锁
- UVA指针可被
cudaMemcpy当作源或目标，但此时行为退化为普通拷贝（失去自动迁移意义） - 在kernel中使用前，建议调用
cudaMemPrefetchAsync(ptr, size, cudaCpuDeviceId)或cudaCpuDeviceId显式预取，避免首次访问时卡顿 - UVA不能跨进程共享；多GPU环境下，需用
cudaMemAdvise设置访问偏好（如cudaMemAdviseSetAccessedBy）
别把 std::vector::data() 当作GPU指针用
这是新手高频踩坑点：以为 std::vector<float> v(N); float* p = v.data();</float> 得到的指针能传给CUDA kernel——完全不行。该指针指向主机堆内存，GPU无法直接访问。
- 即使你用
cudaHostAlloc分配了page-locked主机内存，也仍需用cudaMemcpy把数据送进GPU，v.data()本身仍是主机地址 - 没有“把 vector 绑定到 GPU”的语法糖；所有GPU内存必须显式申请、显式同步
- 若想封装，可写一个 RAII wrapper（如
gpu_vector<T>），内部管理cudaMalloc/cudaFree，但其data()返回的仍是设备指针，不能在host code里解引用
实际项目中，最容易被忽略的是错误检查。每个 cudaMalloc、cudaMemcpy、kernel launch 后都应该接 cudaGetLastError() 或用 CUDA_CHECK 宏捕获异步错误——很多“程序没报错但结果不对”的问题，都源于GPU侧已发生越界写入却未被及时发现。
