题目：详细阐述残差连接的定义、计算公式、主要作用和典型应用。
残差连接（Residual Connection）是深度学习中一种重要的网络架构设计，最初由何恺明等人在2015年提出，主要用于解决深度神经网络的退化问题。
通过引入跳跃连接（Skip Connection），让信息可以直接从前层传递到后层，而不必经过中间的非线性变换。这样网络可以学习残差映射，而不是直接学习目标映射。
残差连接的基本计算公式为：
其中：
当输入和输出的维度不匹配时，通常会使用投影矩阵 \(W_s\) 来调整维度：
其中 \(W_s\) 是一个线性投影矩阵，用于将输入 \(x\) 的维度调整到与 \(F(x)\) 相同。
import torch
import torch.nn as nn
class ResidualBlock(nn.Module):
def __init__(self, in_channels, out_channels):
super(ResidualBlock, self).__init__()
# 残差函数 F(x)
self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1)
self.bn1 = nn.BatchNorm2d(out_channels)
self.relu = nn.ReLU(inplace=True)
self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, padding=1)
self.bn2 = nn.BatchNorm2d(out_channels)
# 投影矩阵（当维度不匹配时）
self.shortcut = nn.Sequential()
if in_channels != out_channels:
self.shortcut = nn.Sequential(
nn.Conv2d(in_channels, out_channels, kernel_size=1),
nn.BatchNorm2d(out_channels)
)
def forward(self, x):
# 残差函数 F(x)
residual = self.conv1(x)
residual = self.bn1(residual)
residual = self.relu(residual)
residual = self.conv2(residual)
residual = self.bn2(residual)
# 跳跃连接
shortcut = self.shortcut(x)
# 残差连接：y = F(x) + x
out = residual + shortcut
out = self.relu(out)
return out在反向传播时，梯度可以直接通过恒等映射传递：
即使 \(\frac{\partial F(x)}{\partial x}\) 很小，梯度仍然可以通过 \(+1\) 项传递。
如果某一层不需要学习任何东西，残差函数 \(F(x)\) 可以学习为0，这样：
网络可以轻松学习恒等映射，不会因为增加层数而性能下降。
残差连接最著名的应用，包括：
ResNet-152在ImageNet上取得了突破性的成果，证明了残差连接的有效性。
在多头注意力层和前馈网络中广泛使用：
# Transformer中的残差连接
class TransformerBlock(nn.Module):
def forward(self, x):
# 多头注意力 + 残差连接
attn_output = self.attention(x)
x = x + attn_output # 残差连接
x = self.norm1(x)
# 前馈网络 + 残差连接
ffn_output = self.ffn(x)
x = x + ffn_output # 残差连接
x = self.norm2(x)
return x残差连接将学习目标从学习完整映射 \(H(x)\) 改为学习残差 \(F(x) = H(x) - x\)。通常学习残差比学习完整映射更容易，因为残差往往接近于0。
残差连接提供了一条"高速公路"，让梯度可以直接流向前层，避免了梯度消失问题。
残差网络可以看作是多个浅层网络的集成。每个残差块都提供了一条可选的路径，网络可以选择使用或跳过某些层。
跳跃连接确保了输入信息不会在深层网络中完全丢失，保留了原始特征的信息。
残差连接已成为深度学习中最重要和广泛使用的技术之一，是构建深层网络架构的核心组件。它通过简单而优雅的设计，解决了深度神经网络训练中的关键问题，使得训练数百层甚至上千层的网络成为可能。