本文详解如何使用 pytorch 构建一个极简 mlp 模型来学习实数加法，涵盖数据生成、模型训练、推理预测及结果验证，并指出关键实现细节（如学习率调整、前向调用方式）以确保模型准确收敛并支持任意新样本预测。
本文详解如何使用 pytorch 构建一个极简 mlp 模型来学习实数加法，涵盖数据生成、模型训练、推理预测及结果验证，并指出关键实现细节（如学习率调整、前向调用方式）以确保模型准确收敛并支持任意新样本预测。
在深度学习入门实践中，“让神经网络学会加法”是一个经典而富有启发性的任务——它虽简单，却能清晰揭示模型拟合本质、优化行为与泛化能力。本文将基于 PyTorch 实现一个仅含单层线性变换的多层感知机（MLP），从零开始训练其精确学习函数 $ f(x_1, x_2) = x_1 + x_2 $，并重点解决用户提出的核心问题：如何对训练好的模型进行推理（inference），即输入任意两个新数字，获取预测和结果？
✅ 正确的推理方式：前向传播即预测
与生成式模型（如 GAN、Diffusion）不同，本任务中的 MLP 是一个确定性回归模型，不提供 .generate() 方法（该方法常见于 torch.nn.Transformer 或 Hugging Face 的 GenerationMixin 模型）。正确做法是直接调用模型对象传入输入张量：
y_pred = model(X_new) # X_new shape: (batch_size, 2)
这是 PyTorch 中所有 nn.Module 子类的标准前向接口，无需额外封装或特殊方法。
? 完整可运行示例（含训练+推理+验证）
以下代码实现了端到端流程，已修复原问题中两个关键点：
- 将学习率从 1e-2 提升至 1e-1，显著加速收敛；
- 移除错误的 model.generate(...) 调用，改用标准前向传播。
import torch
import torch.nn as nn
import torch.optim as optim
torch.manual_seed(42)
# 数据配置
N, D, C = 1000, 2, 1
X = torch.rand(N, D) # 形状: [1000, 2]
y = X.sum(dim=1, keepdim=True) # 形状: [1000, 1]
print(f"X.shape: {X.shape}, y.shape: {y.shape}")
print(f"X[:5]:\n{X[:5]}")
print(f"y[:5]:\n{y[:5]}")
# 模型定义：单层线性层（等价于 y = w1*x1 + w2*x2 + b）
model = nn.Sequential(nn.Linear(D, C))
criterion = nn.MSELoss()
optimizer = optim.Adam(model.parameters(), lr=1e-1) # 关键：更高学习率提升收敛速度
# 训练循环
print("\n▶ 开始训练...")
for epoch in range(500):
y_pred = model(X)
loss = criterion(y_pred, y)
loss.backward()
optimizer.step()
optimizer.zero_grad()
if epoch % 50 == 0:
print(f"Epoch {epoch+1:3d} | Loss: {loss.item():.2e}")
# ✅ 推理阶段：对全新随机样本进行预测
print("\n▶ 在未见数据上测试模型...")
with torch.no_grad(): # 推理时禁用梯度，节省内存并加速
for _ in range(5):
X_new = torch.rand(1, D) # 单样本，形状 [1, 2]
y_pred = model(X_new).item() # 获取标量预测值
true_sum = X_new.sum().item()
print(f"{X_new[0, 0].item():.2f} + {X_new[0, 1].item():.2f} "
f"= {true_sum:.2f} | 预测: {y_pred:.2f}")
# 查看模型学到了什么
print(f"\n? 模型参数解析:")
state_dict = model.state_dict()
print(f"权重 w = {state_dict['0.weight'].flatten().tolist()}") # 应趋近 [1.0, 1.0]
print(f"偏置 b = {state_dict['0.bias'].item():.2e}") # 应趋近 0⚠️ 注意事项与原理说明
为什么不用 .generate()？
generate() 是为自回归序列生成（如文本、语音）设计的高级接口，依赖 forward() + logits + sampling 等复杂逻辑。本任务是单步回归，直接调用 model(input) 即完成预测。为何学习率需调高？
原 lr=1e-2 下损失下降缓慢（见原始日志），而 lr=1e-1 可在约 200 轮内使 MSE 降至 $10^{-15}$ 量级，表明模型已近乎完美拟合目标函数。模型本质是线性回归
由于加法是线性操作，单层线性模型（无激活函数）理论上可精确表示。训练后权重收敛至 [1.0, 1.0]、偏置接近 0，印证了模型成功归纳出数学规律。泛化能力验证
测试样本来自相同分布（torch.rand），但完全独立于训练集。预测误差通常小于 $10^{-6}$，证明模型不仅记忆训练样本，更掌握了加法的通用映射关系。
✅ 总结
通过本实践，你已掌握：
✅ 使用 model(X) 进行标准前向推理；
✅ 合理设置超参（如学习率）以保障收敛；
✅ 利用 torch.no_grad() 提升推理效率；
✅ 解析 state_dict() 验证模型是否学到预期规律。
这不仅是“学会加法”，更是理解神经网络作为通用函数逼近器的最小可行范例——下一步，可尝试加入非线性激活、扩展至三数相加，或引入噪声检验鲁棒性。
