全连接层详解

发布网友 发布时间：2024-10-23 03:22

我来回答

共1个回答

热心网友 时间：2天前

要理解nn.Linear()函数，它创建的是一个线性全连接层，其基本原理是输入（w:权重参数）与输出（bias：偏置）之间遵循线性关系，这里通过一个实例进行详细说明：

实例中，通过lea = nn.Linear(3, 2, False) 建立了一个全连接层，它接受3个特征（神经元）的输入（如a的3列），并输出2个神经元（特征）。输入神经元数必须与输入数据（如a）的最后一维特征数相匹配。

在矩阵视角下，输入a形状为（样本数，3），每一行代表一个样本，而weight参数的形状为（2，3），经过转置后为（3，2），这意味着计算后的输出大小为（样本数，2）。全连接层的作用是为每个输入特征附加权重，从而生成新的特征，但样本数量保持不变，只改变神经元（特征）的数量。

总结nn.Linear()函数的几个关键点：

in_channels（或in_features）参数应与输入x的特征数（最后一维）匹配。
weight参数的形状是（in_channels，out_channels），即从输入到输出的权重映射。
全连接后的输出形状为（样本数，out_channels），特征数（神经元数）发生了变化，但样本数量不变。
当输入x是*时，如多通道图像，全连接层会改变最后一个维度（通道数）为特征数。