本文详解如何用单层感知机逼近 cos(x) 在 [0, π/4] 上的二次多项式，指出原始代码不收敛的根本原因（缺失学习率），给出可运行的修正方案，并阐明其与线性回归的本质区别及适用边界。
在函数逼近任务中，初学者常尝试用感知机（单神经元）拟合简单非线性函数（如 cos(x)），误以为输出权重可直接作为多项式系数。但需明确：标准感知机+sigmoid激活 ≠ 多项式回归——前者学习的是经非线性变换后的映射，后者才是真正的线性参数化逼近。本文以 cos(x) 在 [0, π/4] 区间上的二次逼近为例，系统梳理实现逻辑、常见陷阱与专业优化路径。
? 核心问题定位：为何原始代码不收敛？
原始实现中，权重更新为 w += deltaw，隐含学习率为 1。这极易导致梯度下降发散：当损失曲面存在局部陡峭区域时，过大的步长会使参数在最优解附近剧烈震荡甚至越界。数学上，梯度更新应满足： $$ \mathbf{w}_{t+1} = \mathbf{w}t - \eta \nabla{\mathbf{w}} \mathcal{L}(\mathbf{w}_t) $$ 其中 $\eta$ 为学习率（$\eta \in (0, 1)$）。修正后，关键更新行变为：
learning_rate = 0.01 # ... w += learning_rate * deltaw # 或更规范地：w -= learning_rate * (-deltaw)
✅ 推荐写法（数学严谨）：显式体现负梯度方向 grad = -numpy.dot(training_inputs.T, errors * sigmoid_prime(outputs)) w -= learning_rate * grad
? 完整可运行修正代码
以下为修复学习率、增强数值稳定性并添加可视化验证的完整实现：
import numpy as np
import matplotlib.pyplot as plt
import math
# 1. 数据生成
np.random.seed(42)
R = np.random.uniform(0, math.pi/4, 1000)
# 2. 特征矩阵：[x², x, 1]
X = np.column_stack([R**2, R, np.ones_like(R)]) # shape: (1000, 3)
# 3. 目标输出：sigmoid(cos(x)) —— 注意：这是归一化到 (0,1) 的标签
y_true = 1.0 / (1.0 + np.exp(-np.cos(R))) # sigmoid(cos(x))
# 4. 感知机训练（带学习率 & 规范梯度）
def train_perceptron(X, y, lr=0.01, n_iter=5000):
w = np.random.normal(0, 0.1, (3, 1)) # 随机初始化更鲁棒
errors_history = []
for i in range(n_iter):
# 前向传播
z = X @ w
y_pred = 1.0 / (1.0 + np.exp(-z)) # sigmoid
# 计算误差与梯度（交叉熵风格的导数）
error = y_pred - y.reshape(-1, 1)
grad = X.T @ (error * y_pred * (1 - y_pred)) # sigmoid'(z) = y_pred*(1-y_pred)
# 权重更新（负梯度方向）
w -= lr * grad
errors_history.append(np.mean(np.abs(error)))
return w, errors_history
# 执行训练
weights, errors = train_perceptron(X, y_true, lr=0.01, n_iter=3000)
print("Learned weights [w2, w1, w0]:", weights.flatten())
# 输出示例：[ 0.12, -0.85, 0.97] → 对应 w2*x² + w1*x + w0⚠️ 关键注意事项与深层解读
激活函数限制决定输出范围：
sigmoid 输出恒在 (0,1)，而 cos(x) 在 [0, π/4] ∈ [√2/2, 1] ≈ [0.707, 1.0]，虽可覆盖，但若扩展至 [0, π]（cos∈[-1,1]），必须改用 tanh（输出 [-1,1]）或线性激活（直接回归）。否则会因目标值域不匹配导致严重拟合偏差。-
权重 ≠ 多项式系数：
感知机输出为 sigmoid(w₂x² + w₁x + w₀)，不能将 weights 直接代入 w₂x² + w₁x + w₀ 作为 cos(x) 近似！它只是 sigmoid 映射下的参数。若需纯多项式逼近，应使用线性回归：from sklearn.linear_model import LinearRegression reg = LinearRegression().fit(X[:, :2], np.cos(R)) # 用 x²,x 拟合 cos(x) print("Linear regression coeffs:", reg.coef_, reg.intercept_) 为什么不用感知机做多项式拟合？
感知机本质是分类器/非线性回归器，引入 sigmoid 会扭曲误差曲面，增加优化难度；而线性回归在多项式特征下是凸优化问题，有解析解，更快更稳。
✅ 总结：何时用感知机？何时用线性回归？
| 场景 | 推荐方法 | 理由 |
|---|---|---|
| 用多项式基函数逼近连续函数（如 cos, sin） | 线性回归 | 解析解、无超参、物理意义明确、高效稳定 |
| 学习复杂非线性映射（无先验函数形式） | 多层感知机（MLP） | 表达能力强，可自动学习特征交互 |
| 强制要求输出在 (0,1) 或 (-1,1) 区间 | 单层+sigmoid/tanh | 激活函数提供天然约束 |
? 实践建议：对 cos(x) 这类光滑函数，优先尝试泰勒展开（1 - x²/2 + x⁴/24）或最小二乘多项式拟合；感知机更适合教学演示梯度下降过程，而非实际函数逼近任务。
