要使用CUDA进行GPU编程，需安装CUDA Toolkit并在支持的NVIDIA显卡上配置开发环境，通过nvcc编译包含主机与设备代码的.cu文件，利用__global__函数在GPU上执行并行核函数，合理管理内存与线程结构以优化性能。
要在C++中使用CUDA进行GPU编程，你需要借助NVIDIA提供的CUDA Toolkit。CUDA（Compute Unified Device Architecture）是一种并行计算平台和编程模型，允许开发者利用NVIDIA GPU的强大算力进行通用计算（GPGPU）。以下是实现的基本步骤和关键概念。
1. 开发环境准备
要开始CUDA开发，需满足以下条件：
- NVIDIA显卡：支持CUDA的GPU（如GTX/RTX系列、Tesla、A系列等）。
- CUDA Toolkit：从NVIDIA官网下载并安装，包含编译器（nvcc）、库和头文件。
- 支持的系统：Windows、Linux或macOS（macOS支持有限，建议使用Linux或Windows）。
- 编译器：在Windows上通常使用Visual Studio配合CUDA插件；Linux上使用GCC。
2. 编写第一个CUDA程序
一个典型的CUDA程序包含主机代码（CPU）和设备代码（GPU）。使用.cu作为源文件扩展名，通过nvcc编译。
立即学习“C++免费学习笔记（深入）”；
示例：向量加法
#include <iostream>
#include <cuda_runtime.h>
<p><strong>global</strong> void add(int <em>a, int </em>b, int <em>c, int n) {
int idx = blockIdx.x </em> blockDim.x + threadIdx.x;
if (idx < n) {
c[idx] = a[idx] + b[idx];
}
}</p><p>int main() {
const int N = 1024;
const int size = N * sizeof(int);</p><pre class="brush:php;toolbar:false;">// 主机内存分配
int *h_a = (int*)malloc(size);
int *h_b = (int*)malloc(size);
int *h_c = (int*)malloc(size);
// 初始化数据
for (int i = 0; i < N; i++) {
h_a[i] = i;
h_b[i] = i * 2;
}
// 设备内存分配
int *d_a, *d_b, *d_c;
cudaMalloc(&d_a, size);
cudaMalloc(&d_b, size);
cudaMalloc(&d_c, size);
// 主机到设备数据拷贝
cudaMemcpy(d_a, h_a, size, cudaMemcpyHostToDevice);
cudaMemcpy(d_b, h_b, size, cudaMemcpyHostToDevice);
// 配置执行配置
dim3 blockSize(256);
dim3 gridSize((N + blockSize.x - 1) / blockSize.x);
// 启动核函数
add<<<gridSize, blockSize>>>(d_a, d_b, d_c, N);
// 等待GPU执行完成
cudaDeviceSynchronize();
// 结果拷贝回主机
cudaMemcpy(h_c, d_c, size, cudaMemcpyDeviceToHost);
// 验证结果（前几个）
for (int i = 0; i < 5; i++) {
std::cout << h_a[i] << " + " << h_b[i] << " = " << h_c[i] << std::endl;
}
// 释放内存
free(h_a); free(h_b); free(h_c);
cudaFree(d_a); cudaFree(d_b); cudaFree(d_c);
return 0;}
说明：
Teleport tsh SSH (Identity-First SSH Access, no passwords/static keys)
下载
使用tbot机器ID身份文件配合tsh CLI，通过Teleport访问控制SSH登录托管主机或执行远程命令。
-
__global__函数在GPU上执行，由CPU调用。 -
__device__函数只能在GPU上调用，不能从主机调用。 -
blockIdx, blockDim, threadIdx用于计算线程唯一索引。 - 使用
>>语法启动核函数。
3. 内存管理与数据传输
CUDA程序需手动管理主机与设备间的内存：
-
cudaMalloc：在GPU上分配内存。 -
cudaMemcpy：在主机与设备之间复制数据（方向由参数指定）。 -
cudaFree：释放GPU内存。
频繁的数据传输会成为性能瓶颈，应尽量减少主机与设备之间的拷贝次数。
4. 并行执行模型理解
CUDA采用线程层次结构：
- 线程（Thread）：最基本的执行单元。
- 线程块（Block）：包含多个线程，可协作（共享内存、同步）。
- 网格（Grid）：包含多个线程块。
合理设置blockSize（如128、256、512）和gridSize，使GPU资源充分利用。
5. 错误处理与调试
CUDA API调用可能失败，应检查返回值：
#define CUDA_CHECK(call) \
do { \
cudaError_t err = call; \
if (err != cudaSuccess) { \
std::cerr << "CUDA error at " << __FILE__ << ":" << __LINE__ << " - " \
<< cudaGetErrorString(err) << std::endl; \
exit(1); \
} \
} while(0)
<p>// 使用示例
CUDA_CHECK(cudaMalloc(&d_a, size));
CUDA_CHECK(cudaMemcpy(d_a, h_a, size, cudaMemcpyHostToDevice));
调试工具包括cuda-memcheck、Nsight Systems 和 Nsight Compute。
6. 性能优化建议
- 使用共享内存减少全局内存访问。
- 确保内存访问合并（coalesced access）以提高带宽利用率。
- 避免线程分支发散（divergence）。
- 重叠计算与数据传输（使用流Stream）。
