梯度下降：从公式到交互实验

用一个一维二次函数观察优化轨迹：

$f(x)=(x-3{)}^2+1,f^{\prime }(x)=2(x-3)$

梯度下降更新：

$x_{t+1}=x_t-\eta 2(x_t-3)$

令 $e_t=x_t-3$，得到：

$e_{t+1}=(1-2\eta )e_t$

对于这个函数，$0<\eta <1$ 时误差逐步缩小；$\eta =0.5$ 时一步到达最小点；$\eta =1$ 时误差幅度不变；$\eta >1$ 时，非零误差逐渐放大。

亲手试试

打开梯度下降交互实验 ↗（实验室需要解锁）。

调整初始位置、学习率和迭代次数，比较轨迹与最终函数值。该示例使用 marimo，Python 在浏览器的 WebAssembly 环境中运行。

这个收敛区间依赖目标函数，不能照搬到任意神经网络。

留下记录

把三组参数与观察写进 实验记录模板；尝试更复杂问题时，先核对 复现检查清单。