深度科普：神经网络的权重初始化原理
深度科普：神经网络的权重初始化原理
权重初始化是神经网络训练中最基础却最容易被忽视的环节。新手常误以为“随便给个小随机数就行”，但实际上，初始化不当会导致梯度消失或爆炸，模型根本学不动。本文通过8个高频问题，帮你搞懂背后的数学直觉和实操技巧。
1. 为什么不能把所有权重初始化为0？
如果所有权重都设为0，每个神经元在正向传播时输出相同，反向传播时梯度也完全相同。这会导致所有隐藏单元对称更新，永远学不到不同特征。更严重的是，某些激活函数（如tanh）在0点梯度饱和，直接锁死训练。唯一能全零初始化的只有偏置项。
2. 随机初始化范围怎么定？太大或太小会怎样？
权重太大会让激活值进入饱和区（如sigmoid的平坦区），梯度趋近0；太小则信号逐渐消失，深层网络前几层几乎无更新。经验法则是：从均值为0、标准差为1/sqrt(输入神经元数)的正态分布采样。这样能保持每层输出的方差稳定，避免信号指数级放大或衰减。
3. Xavier初始化和He初始化有什么区别？
Xavier初始化（Glorot）适用于tanh/sigmoid等对称激活函数，标准差设为sqrt(1/输入数)或sqrt(2/(输入+输出数))。He初始化针对ReLU及其变体，因为ReLU会丢弃负半轴信号，所以标准差放大到sqrt(2/输入数)。选错会导致深层网络输出方差剧增（He用在tanh上）或剧减（Xavier用在ReLU上）。
4. 批归一化（BN）能替代好的初始化吗？
不能完全替代。BN虽然能强制每层输出均值0方差1，缓解梯度问题，但糟糕的初始化仍会带来两个麻烦：一是初始阶段BN统计量不稳定，需要更多迭代收敛；二是极端初始化可能导致激活值全为0（如ReLU全负），BN也救不活。所以好的初始化是BN的“前置保险”。
5. 对LSTM/GRU这类循环网络，初始化有什么特殊讲究？
循环网络容易梯度爆炸/消失。通常建议：输入-隐藏层权重用均匀小随机数；隐藏-隐藏层权重（循环核）用正交矩阵初始化，并对遗忘门偏置设大值（如1.0）。这样初始状态更易保留长期记忆，避免梯度指数衰减。切忌用全零初始化循环核。
6. 初始化后需要立即看到梯度更新吗？
是的。验证技巧：用一个小批量数据做一次前向和反向传播，检查各层梯度的均值和方差。如果梯度值<1e-7或>1e+3，说明初始化有问题。理想情况是梯度方差在0.01~1之间，各层梯度量级相近。如果发现某层梯度全0，优先检查该层权重是否过大/过小。
7. 用预训练权重做微调时，新层怎么初始化？
新增的随机初始化层会破坏预训练特征。正确做法：预训练层用原权重（冻结或低学习率），新分类层用He/Xavier初始化乘以0.01（缩小小扰动）。或者直接全连接层用0均值0.01标准差的截断正态分布。之后用较小学习率（1e-4量级）微调，避免新层梯度冲垮预训练特征。
8. 现代框架（PyTorch/TF）默认初始化够用吗？
够用但非最优。框架默认通常用均匀分布[-sqrt(6/输入数), sqrt(6/输入数)]（即Xavier均匀版），对常见任务有效。但若遇到：①深层网络（>50层）②自定义激活函数（如Leaky ReLU参数特殊）③不均衡数据分布，建议手动覆盖初始化策略。框架也提供kaiming_uniform_等专用方法。
总结：权重初始化不是玄学，核心是控制信号方差在各层间稳定传递。新手从Xavier（tanh）或He（ReLU）的标准实现入手，配合梯度检查工具，就能避开90%的初始训练陷阱。深度学习的战争，在参数更新前就已开始。