本文手把手演示如何构建、训练并推理一个仅含单层线性变换的多层感知机（mlp），使其准确学会两个实数相加；涵盖数据构造、模型定义、训练流程及预测验证全过程，并解释模型为何能收敛到理想权重。
本文手把手演示如何构建、训练并推理一个仅含单层线性变换的多层感知机（mlp），使其准确学会两个实数相加；涵盖数据构造、模型定义、训练流程及预测验证全过程，并解释模型为何能收敛到理想权重。
在深度学习入门实践中，用神经网络拟合简单数学函数（如加法）是理解模型表达能力与优化行为的经典范例。本教程以 PyTorch 为基础，构建一个极简但功能完备的 MLP，仅通过一个 nn.Linear(2, 1) 层即可学会 $ y = x_1 + x_2 $。
✅ 核心思路：加法即线性映射
加法本质上是线性操作：$ y = 1 \cdot x_1 + 1 \cdot x_2 + 0 $。因此，一个无隐藏层的线性模型（即单层感知机）理论上足以精确建模——关键在于训练过程能否让权重收敛至 [1.0, 1.0]，偏置接近 0.0。
? 数据与模型构建
我们生成 1000 组二维随机输入 $ \mathbf{X} \in [0,1)^2 $，对应标签为行和并重塑为列向量：
import torch torch.manual_seed(42) N, D, C = 1000, 2, 1 X = torch.rand(N, D) # shape: (1000, 2) y = X.sum(dim=1, keepdim=True) # shape: (1000, 1) —— 更简洁写法替代 .reshape(-1, C)
模型定义极为简洁：
model = torch.nn.Sequential(torch.nn.Linear(D, C)) # 等价于：y_pred = model(X) → y_pred = X @ W.T + b, 其中 W.shape=(1,2), b.shape=(1,)
⚠️ 注意：原问题中误用了 model.generate()（该方法属于 Hugging Face Transformers 库，不适用于 nn.Sequential）。正确预测方式就是直接调用 model(input)，无需任何额外生成逻辑。
? 训练优化技巧
- 学习率调整：将 lr 从 1e-2 提升至 1e-1，显著加速收敛（见输出中 loss 在 100 轮内降至 $10^{-5}$ 量级）；
- 梯度清零：每次迭代后必须调用 optimizer.zero_grad()，否则梯度会持续累积导致训练失败；
- 损失监控：使用 loss.item() 安全提取标量值用于打印。
完整训练循环如下：
criterion = torch.nn.MSELoss()
optimizer = torch.optim.Adam(model.parameters(), lr=1e-1)
for epoch in range(500):
y_pred = model(X)
loss = criterion(y_pred, y)
loss.backward()
optimizer.step()
optimizer.zero_grad() # 关键！不可省略
if epoch % 50 == 0:
print(f"Epoch: {epoch+1:<5} loss: {loss.item():.3e}")? 推理与验证：真正“使用”训练好的模型
训练完成后，即可对任意新样本进行前向推理：
print("\nTesting trained model on new random numbers")
for _ in range(5):
x_new = torch.rand(1, D) # 新输入，shape=(1,2)
y_pred = model(x_new).item() # 直接调用，获取标量预测值
true_sum = x_new.sum().item()
print(f"{x_new[0,0]:.2f} + {x_new[0,1]:.2f} = {true_sum:.2f}, predicted: {y_pred:.2f}")运行结果表明模型高度准确（误差
print(model.state_dict())
# 输出示例：
# OrderedDict([('0.weight', tensor([[1.0000, 1.0000]])),
# ('0.bias', tensor([2.37e-09]))])
这证实模型已成功归纳出加法规则：权重严格趋近 [1,1]，偏置数值上可视为零。
? 总结与延伸思考
- ✅ 极简有效：无需非线性激活（如 ReLU）、无需隐藏层——加法的线性本质决定了最简架构即最优解；
- ⚠️ 泛化保障：训练数据覆盖 $[0,1)^2$ 区域，模型在相同分布的新样本上表现稳健；若需外推（如输入 >1），建议归一化或扩展训练范围；
- ? 进阶方向：可尝试添加隐藏层+ReLU，观察是否仍收敛至相同解（通常会，但路径更复杂）；或引入噪声标签，测试鲁棒性。
掌握此类“白盒可解释”的小任务，是建立对神经网络工作原理直观信任的关键一步。
