深入理解PyTorch nn.Linear的使用方法和工作原理，以及全连接层的介绍与实践应用

假设我们的一次输入三个样本A,B,C（即batch_size为3），每个样本的特征数量为5：

A: [0.1,0.2,0.3,0.3,0.3]
B: [0.4,0.5,0.6,0.6,0.6]
C: [0.7,0.8,0.9,0.9,0.9]

则我们的输入向量$X_{3\times 5}$为：

X = torch.Tensor([
    [0.1,0.2,0.3,0.3,0.3],
    [0.4,0.5,0.6,0.6,0.6],
    [0.7,0.8,0.9,0.9,0.9],
])
X

tensor([[0.1000, 0.2000, 0.3000, 0.3000, 0.3000],
        [0.4000, 0.5000, 0.6000, 0.6000, 0.6000],
        [0.7000, 0.8000, 0.9000, 0.9000, 0.9000]])

定义线性层，我们的输入特征为5，所以in_feature=5，我们想让下一层的神经元个数为10，所以out_feature=10，则模型参数为：$W_{5\times 10}$

model = nn.Linear(in_features=5, out_features=10, bias=True)

经过线性层，其实就是做了一件事，即：
$$Y_{3\times 10}=X_{3\times 5}{W}_{5\times 10}+b$$
具体表示为：
$$\begin{array}{c}\left[\begin{array}{ccccc}{Y}_{00}& Y_{01}& \cdots & Y_{08}& Y_{09}\\ Y_{10}& Y_{11}& \cdots & Y_{18}& Y_{19}\\ Y_{20}& Y_{21}& \cdots & Y_{28}& Y_{29}\end{array}\right]=\left[\begin{array}{ccccc}{X}_{00}& X_{01}& X_{02}& X_{03}& X_{04}\\ X_{10}& X_{11}& X_{12}& X_{13}& X_{14}\\ X_{20}& X_{21}& X_{22}& X_{23}& X_{23}\end{array}\right]\left[\begin{array}{ccccc}{W}_{00}& W_{01}& \cdots & W_{08}& W_{09}\\ W_{10}& W_{11}& \cdots & W_{18}& W_{19}\\ W_{20}& W_{21}& \cdots & W_{28}& W_{29}\\ W_{30}& W_{31}& \cdots & W_{38}& W_{39}\\ W_{40}& W_{41}& \cdots & W_{48}& W_{49}\end{array}\right]+b\end{array}$$

个人的理解：比如$X$第一行和$W$矩阵的第一列相乘就相当于对样本A做了全局卷积，最后得到了1个特征，因为$W$有10列，所以最后得到10个特征，也就是把5个特征转变为了10个特征。

其中$X_i.$就表示第i个样本，$W_{.j}$表示所有输入神经元到第j个输出神经元的权重。

注意：这里图有点问题，应该是$W_{00},W_{01},W_{02},...,W_{07},W_{08},W_{09}$（我没觉得图有问题）

因为有三个样本，所以相当于依次进行了三次$Y_{3\times 10}=X_{3\times 5}{W}_{5\times 10}+b$，然后再将三个$Y_{1\times 10}$叠在一起

经过线性层后，我们最终的到了3×10维的矩阵，即 输入3个样本，每个样本维度为5，输出为3个样本，将每个样本扩展成了10维

model(X).size()

torch.Size([3, 10])