学做烘培的网站宁波seo排名公司

gcn

gcn_out = self.gcn(A_hat, D_hat, X) 的公式实际上是图卷积网络（GCN）层的核心操作。具体来说，这一步的计算基于图卷积的基本公式：

$$H^{(l+1)}=\sigma \left({\hat{D}}^{-1/2}\hat{A}{\hat{D}}^{-1/2}{H}^{(l)}{W}^{(l)}\right)$$

在这个公式中：

• $H^{(l)}$ 是第 $l$ 层的节点特征矩阵，$H^{(0)}=X$ 即输入的节点特征矩阵。
• $\hat{A}$ 是加入自环后的图的邻接矩阵。
• $\hat{D}$ 是 $\hat{A}$ 的度矩阵。
• $W^{(l)}$ 是第 $l$ 层的权重矩阵。
• $\sigma$ 是激活函数（例如ReLU）。

GCN的公式推导

我们可以具体推导出计算步骤：

1. 邻接矩阵和度矩阵：假设图的邻接矩阵为 $A$，我们首先加入自环得到 $\hat{A}=A+I$，其中 $I$ 是单位矩阵。然后计算 $\hat{A}$ 的度矩阵 $\hat{D}$，其对角线元素为 ${\hat{D}}_{ii}={\sum }_j{\hat{A}}_{ij}$。

2. 归一化的邻接矩阵：接下来计算 ${\hat{D}}^{-1/2}\hat{A}{\hat{D}}^{-1/2}$，用于对邻接矩阵进行归一化，使得卷积操作不会改变特征的尺度。

3. 图卷积操作：最后，将归一化后的邻接矩阵与输入特征矩阵相乘，再与权重矩阵 $W$ 相乘，并通过激活函数 $\sigma$ 得到输出特征矩阵 $H^{(l+1)}$。

tcn

在Temporal Convolutional Network（TCN）中，关键操作包括卷积操作、激活函数、丢弃和跳跃连接。以下是TCN中TemporalBlock的推理公式：

1. 卷积操作：使用扩展卷积对输入进行时间卷积。

$$y^{(1)}=\text{ReLU}(\text{Dropout}(\text{Chomp}(\text{Conv1d}(x,W_1))))$$

2. 第二次卷积操作：再次使用扩展卷积，并应用相同的操作。

$$y^{(2)}=\text{ReLU}(\text{Dropout}(\text{Chomp}(\text{Conv1d}(y^{(1)},W_2))))$$

3. 跳跃连接：如果输入和输出的维度不同，则使用 $1\times 1$ 卷积对输入进行下采样。

$$\text{res}=\{\begin{array}{ll}x,& \text{if }{n}_{\text{inputs}}=n_{\text{outputs}}\\ \text{Conv1d}(x,W_{\text{downsample}}),& \text{otherwise}\end{array}$$

4. 输出计算：将卷积操作后的输出与跳跃连接的结果相加，并通过ReLU激活函数。

$$\text{output}=\text{ReLU}(y^{(2)}+\text{res})$$

总结起来，TemporalBlock的推理公式如下：

$$\text{output}=\text{ReLU}(\text{Conv1d}(\text{ReLU}(\text{Dropout}(\text{Chomp}(\text{Conv1d}(x,W_1)))),W_2)+\text{res})$$

其中：

• $\text{Conv1d}(x,W)$ 表示对输入 $x$ 进行卷积操作，卷积核权重为 $W$。
• $\text{Chomp}$ 用于去除卷积后多余的填充部分。
• $\text{Dropout}$ 是丢弃层，用于防止过拟合。
• $\text{ReLU}$ 是激活函数。
• $\text{res}$ 是跳跃连接的结果。

transformer

在TransformerBlock中，关键操作包括多头自注意力机制、前馈神经网络层、层归一化和跳跃连接。以下是TransformerBlock的推理公式：

1. 多头自注意力机制：

$$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$$

其中，$Q=K=V=x$，$d_k$ 是键的维度。多头自注意力输出为：

$$\text{attn\_output}=\text{MultiHeadAttention}(x,x,x)$$

2. 第一跳跃连接和层归一化：

$$x_1=\text{LayerNorm}(x+\text{Dropout}(\text{attn\_output}))$$

3. 前馈神经网络层：

$$\text{ff\_output}={\text{Linear}}_2(\text{Dropout}(\text{ReLU}({\text{Linear}}_1(x_1))))$$

4. 第二跳跃连接和层归一化：

$$\text{output}=\text{LayerNorm}(x_1+\text{Dropout}(\text{ff\_output}))$$

总结起来，TransformerBlock的推理公式如下：

1. 多头自注意力机制：

$$\text{attn\_output}=\text{MultiHeadAttention}(x,x,x)$$

2. 第一跳跃连接和层归一化：

$$x_1=\text{LayerNorm}(x+\text{Dropout}(\text{attn\_output}))$$

3. 前馈神经网络层：

$$\text{ff\_output}={\text{Linear}}_2(\text{Dropout}(\text{ReLU}({\text{Linear}}_1(x_1))))$$

4. 第二跳跃连接和层归一化：

$$\text{output}=\text{LayerNorm}(x_1+\text{Dropout}(\text{ff\_output}))$$