改进yolo11-FocalModulation等200+全套创新点大全：足球运动员球守门员裁判检测系统源码＆数据集全套
1.图片效果展示
项目来源 人工智能促进会 2024.10.28
注意：由于项目一直在更新迭代，上面“1.图片效果展示”和“2.视频效果展示”展示的系统图片或者视频可能为老版本，新版本在老版本的基础上升级如下：（实际效果以升级的新版本为准）
（1）适配了YOLOV11的“目标检测”模型和“实例分割”模型，通过加载相应的权重（.pt）文件即可自适应加载模型。
（2）支持“图片识别”、“视频识别”、“摄像头实时识别”三种识别模式。
（3）支持“图片识别”、“视频识别”、“摄像头实时识别”三种识别结果保存导出，解决手动导出（容易卡顿出现爆内存）存在的问题，识别完自动保存结果并导出到tempDir中。
（4）支持Web前端系统中的标题、背景图等自定义修改。
另外本项目提供训练的数据集和训练教程,暂不提供权重文件（best.pt）,需要您按照教程进行训练后实现图片演示和Web前端界面演示的效果。
2.视频效果展示
2.1 视频效果展示
3.背景
研究背景与意义
随着足球运动的普及和发展，足球比赛的裁判判罚和球员表现对比赛结果的影响愈发显著。因此，如何高效、准确地监测比赛中的关键角色——球员、守门员和裁判，成为了一个重要的研究课题。传统的人工监测方式不仅效率低下，而且容易受到主观因素的影响，导致判罚的公正性和准确性受到质疑。基于此，利用计算机视觉技术进行自动化检测显得尤为重要。
本研究旨在基于改进的YOLOv11模型，构建一个高效的足球运动员、守门员及裁判检测系统。YOLO（You Only Look Once）系列模型因其高效的实时检测能力而广泛应用于目标检测领域。相较于前几代模型，YOLOv11在精度和速度上都有了显著提升，能够在复杂的比赛环境中快速识别多个目标。通过对YOLOv11的改进，我们希望进一步提高模型在特定场景下的表现，尤其是在足球比赛中多目标的快速识别和分类。
本研究所使用的数据集包含372张图像，涵盖了9个类别，包括足球、守门员、球员和裁判等。这些数据的多样性和丰富性为模型的训练提供了良好的基础。通过对这些数据的深入分析和处理，我们将能够提高模型的泛化能力，使其在不同比赛场景下都能保持高效的检测性能。
综上所述，基于改进YOLOv11的足球运动员、守门员及裁判检测系统的研究，不仅有助于提升比赛的公正性和透明度，还能为未来的智能体育应用提供技术支持。随着技术的不断进步，这一系统的实现将为足球比赛的裁判工作提供有力的辅助工具，推动足球运动的进一步发展。
4.数据集信息展示
4.1 本项目数据集详细数据（类别数＆类别名）
nc: 4
names: [‘ball’, ‘goalkeeper’, ‘player’, ‘referee’]
该项目为【目标检测】数据集，请在【训练教程和Web端加载模型教程（第三步）】这一步的时候按照【目标检测】部分的教程来训练
4.2 本项目数据集信息介绍
本项目数据集信息介绍
本项目所使用的数据集名为“football-players-detection”，旨在为改进YOLOv11的足球运动员、守门员及裁判检测系统提供高质量的训练数据。该数据集包含四个主要类别，分别是“ball”（足球）、“goalkeeper”（守门员）、“player”（球员）和“referee”（裁判），这些类别的设置充分考虑了足球比赛中的关键角色与元素，为模型的训练提供了全面的场景覆盖。
在数据集的构建过程中，收集了大量的足球比赛图像，这些图像涵盖了不同的比赛场景、光照条件和角度，以确保模型能够在多样化的环境中进行有效的检测。每个类别的样本数量经过精心设计，以保证模型在训练时能够充分学习到每个类别的特征。例如，守门员和裁判在比赛中的动作和位置往往具有特定的模式，而球员和足球的动态变化则需要模型具备较强的时序感知能力。
数据集中的图像经过标注，确保每个类别的对象在图像中都被准确地框出。这些标注不仅包括对象的边界框信息，还涵盖了对象的类别标签，为后续的模型训练提供了必要的监督信号。此外，数据集还考虑到了不同球队的球衣颜色和样式，以提高模型对球员的识别能力，确保其在实际应用中能够准确区分不同的球员。
通过使用“football-players-detection”数据集，我们期望改进YOLOv11模型在足球场景中的检测精度和实时性，从而为足球比赛的分析、裁判辅助和观众体验提升提供有力支持。数据集的多样性和丰富性将为模型的训练打下坚实的基础，使其能够在复杂的比赛环境中表现出色。
文档 ： _ https://docs.ultralytics.com/models/yolo11/_
代码链接 ： _ https://github.com/ultralytics/ultralytics_
Performance Metrics
** 关键特性**
◆ ** 增强的特征提取能力** ：YOLO11采用了改进的主干和颈部架构，增强了 ** 特征提取**
能力，能够实现更精确的目标检测和复杂任务的执行。
◆ ** 优化的效率和速度**
：YOLO11引入了精细化的架构设计和优化的训练流程，提供更快的处理速度，并在准确性和性能之间保持最佳平衡。
◆ ** 参数更少、精度更高**
：通过模型设计的改进，YOLO11m在COCO数据集上实现了更高的平均精度（mAP），同时使用的参数比YOLOv8m少22%，使其在计算上更加高效，而不牺牲准确性。
◆ ** 跨环境的适应性** ：YOLO11可以无缝部署在各种环境中，包括边缘设备、云平台和支持NVIDIA
GPU的系统，确保最大的灵活性。
◆ ** 支持广泛任务**
：无论是目标检测、实例分割、图像分类、姿态估计还是定向目标检测（OBB），YOLO11都旨在应对一系列计算机视觉挑战。
支持的任务和模式
YOLO11建立在YOLOv8中引入的多功能模型范围之上，为各种计算机视觉任务提供增强的支持:
该表提供了YOLO11模型变体的概述，展示了它们在特定任务中的适用性以及与Inference、Validation、Training和Export等操作模式的兼容性。从实时检测到复杂的分割任务
，这种灵活性使YOLO11适用于计算机视觉的广泛应用。
yolov11的创新
■ yolov8 VS yolov11
YOLOv5，YOLOv8和YOLOv11均是ultralytics公司的作品，ultralytics出品必属精品。
具体创新点 ：
① 深度（depth）和宽度 （width）
YOLOv8和YOLOv11是基本上完全不同。
② C3k2机制
C3k2有参数为c3k，其中在网络的浅层c3k设置为False。C3k2就相当于YOLOv8中的C2f。
③ C2PSA机制
下图为C2PSA机制的原理图。
④ 解耦头
解耦头中的分类检测头增加了两个 DWConv 。
▲Conv
def autopad(k, p=None, d=1): # kernel, padding, dilation
"""Pad to 'same' shape outputs."""
if d > 1:
k = d * (k - 1) + 1 if isinstance(k, int) else [d * (x - 1) + 1 for x in k] # actual kernel-size
if p is None:
p = k // 2 if isinstance(k, int) else [x // 2 for x in k] # auto-pad
return p
class Conv(nn.Module):
"""Standard convolution with args(ch_in, ch_out, kernel, stride, padding, groups, dilation, activation)."""
default_act = nn.SiLU() # default activation
def __init__(self, c1, c2, k=1, s=1, p=None, g=1, d=1, act=True):
"""Initialize Conv layer with given arguments including activation."""
super().__init__()
self.conv = nn.Conv2d(c1, c2, k, s, autopad(k, p, d), groups=g, dilation=d, bias=False)
self.bn = nn.BatchNorm2d(c2)
self.act = self.default_act if act is True else act if isinstance(act, nn.Module) else nn.Identity()
def forward(self, x):
"""Apply convolution, batch normalization and activation to input tensor."""
return self.act(self.bn(self.conv(x)))
def forward_fuse(self, x):
"""Perform transposed convolution of 2D data."""
return self.act(self.conv(x))
▲Conv2d
torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros')
▲DWConv
DWConv ** 代表 Depthwise Convolution（深度卷积）**
，是一种在卷积神经网络中常用的高效卷积操作。它主要用于减少计算复杂度和参数量。
class DWConv(Conv):
"""Depth-wise convolution."""
def __init__(self, c1, c2, k=1, s=1, d=1, act=True): # ch_in, ch_out, kernel, stride, dilation, activation
"""Initialize Depth-wise convolution with given parameters."""
super().__init__(c1, c2, k, s, g=math.gcd(c1, c2), d=d, act=act)
8.200+种全套改进YOLOV11创新点原理讲解
8.1 200+种全套改进YOLOV11创新点原理讲解大全
由于篇幅限制，每个创新点的具体原理讲解就不全部展开，具体见下列网址中的改进模块对应项目的技术原理博客网址【Blog】（创新点均为模块化搭建，原理适配YOLOv5~YOLOv11等各种版本）
改进模块技术原理博客【Blog】网址链接
8.2 精选部分改进YOLOV11创新点原理讲解
这里节选部分改进创新点展开原理讲解(完整的改进原理见上图和改进模块技术原理博客链接【如果此小节的图加载失败可以通过****或者Github搜索该博客的标题访问原始博客，原始博客图片显示正常】
MS-Block简介
实时目标检测，以YOLO系列为例，已在工业领域中找到重要应用，特别是在边缘设备（如无人机和机器人）中。与之前的目标检测器不同，实时目标检测器旨在在速度和准确性之间追求最佳平衡。为了实现这一目标，提出了大量的工作：从第一代DarkNet到CSPNet，再到最近的扩展ELAN，随着性能的快速增长，实时目标检测器的架构经历了巨大的变化。
尽管性能令人印象深刻，但在不同尺度上识别对象仍然是实时目标检测器面临的基本挑战。这促使作者设计了一个强大的编码器架构，用于学习具有表现力的多尺度特征表示。具体而言，作者从两个新的角度考虑为实时目标检测编码多尺度特征：
从局部视角出发，作者设计了一个具有简单而有效的分层特征融合策略的MS-Block。受到Res2Net的启发，作者在MS-Block中引入了多个分支来进行特征提取，但不同的是，作者使用了一个带有深度卷积的 Inverted Bottleneck Block块，以实现对大Kernel的高效利用。
从全局视角出发，作者提出随着网络加深逐渐增加卷积的Kernel-Size。作者在浅层使用小Kernel卷积来更高效地处理高分辨率特征。另一方面，在深层中，作者采用大Kernel卷积来捕捉广泛的信息。
基于以上设计原则，作者呈现了作者的实时目标检测器，称为YOLO-MS。为了评估作者的YOLO-MS的性能，作者在MS COCO数据集上进行了全面的实验。还提供了与其他最先进方法的定量比较，以展示作者方法的强大性能。如图1所示，YOLO-MS在计算性能平衡方面优于其他近期的实时目标检测器。
具体而言，YOLO-MS-XS在MS COCO上获得了43%+的AP得分，仅具有450万个可学习参数和8.7亿个FLOPs。YOLO-MS-S和YOLO-MS分别获得了46%+和51%+的AP，可学习参数分别为810万和2220万。此外，作者的工作还可以作为其他YOLO模型的即插即用模块。通常情况下，作者的方法可以将YOLOv11的AP从37%+显著提高到40%+，甚至还可以使用更少的参数和FLOPs。
CSP Block是一个基于阶段级梯度路径的网络，平衡了梯度组合和计算成本。它是广泛应用于YOLO系列的基本构建块。已经提出了几种变体，包括YOLOv4和YOLOv11中的原始版本，Scaled YOLOv4中的CSPVoVNet，YOLOv11中的ELAN，以及RTMDet中提出的大Kernel单元。作者在图2(a)和图2(b)中分别展示了原始CSP块和ELAN的结构。
上述实时检测器中被忽视的一个关键方面是如何在基本构建块中编码多尺度特征。其中一个强大的设计原则是Res2Net，它聚合了来自不同层次的特征以增强多尺度表示。然而，这一原则并没有充分探索大Kernel卷积的作用，而大Kernel卷积已经在基于CNN的视觉识别任务模型中证明有效。将大Kernel卷积纳入Res2Net的主要障碍在于它们引入的计算开销，因为构建块采用了标准卷积。在作者的方法中，作者提出用 Inverted Bottleneck Block替代标准的3 × 3卷积，以享受大Kernel卷积的好处。
MS-Block
基于前面的分析，参考该博客提出了一个带有分层特征融合策略的全新Block，称为MS-Block，以增强实时目标检测器在提取多尺度特征时的能力，同时保持快速的推理速度。
MS-Block的具体结构如图2©所示。假设是输入特征。通过1×1卷积的转换后，X的通道维度增加到n*C。然后，作者将X分割成n个不同的组，表示为，其中。为了降低计算成本，作者选择n为3。
注意，除了之外，每个其他组都经过一个 Inverted Bottleneck Block层，用表示，其中k表示Kernel-Size，以获得。的数学表示如下：
根据这个公式，作者不将 Inverted Bottleneck Block层连接到，使其作为跨阶段连接，并保留来自前面层的信息。最后，作者将所有分割连接在一起，并应用1×1卷积来在所有分割之间进行交互，每个分割都编码不同尺度的特征。当网络加深时，这个1×1卷积也用于调整通道数。
Heterogeneous Kernel Selection Protocol
除了构建块的设计外，作者还从宏观角度探讨了卷积的使用。之前的实时目标检测器在不同的编码器阶段采用了同质卷积（即具有相同Kernel-Size的卷积），但作者认为这不是提取多尺度语义信息的最佳选项。
在金字塔结构中，从检测器的浅阶段提取的高分辨率特征通常用于捕捉细粒度语义，将用于检测小目标。相反，来自网络较深阶段的低分辨率特征用于捕捉高级语义，将用于检测大目标。如果作者在所有阶段都采用统一的小Kernel卷积，深阶段的有效感受野（ERF）将受到限制，影响大目标的性能。在每个阶段中引入大Kernel卷积可以帮助解决这个问题。然而，具有大的ERF的大Kernel可以编码更广泛的区域，这增加了在小目标外部包含噪声信息的概率，并且降低了推理速度。
在这项工作中，作者建议在不同阶段中采用异构卷积，以帮助捕获更丰富的多尺度特征。具体来说，在编码器的第一个阶段中，作者采用最小Kernel卷积，而最大Kernel卷积位于最后一个阶段。随后，作者逐步增加中间阶段的Kernel-Size，使其与特征分辨率的增加保持一致。这种策略允许提取细粒度和粗粒度的语义信息，增强了编码器的多尺度特征表示能力。
正如图所示，作者将k的值分别分配给编码器中的浅阶段到深阶段，取值为3、5、7和9。作者将其称为异构Kernel选择（HKS）协议。
作者的HKS协议能够在深层中扩大感受野，而不会对浅层产生任何其他影响。第4节的图4支持了作者的分析。此外，HKS不仅有助于编码更丰富的多尺度特征，还确保了高效的推理。
如表1所示，将大Kernel卷积应用于高分辨率特征会产生较高的计算开销。然而，作者的HKS协议在低分辨率特征上采用大Kernel卷积，从而与仅使用大Kernel卷积相比，大大降低了计算成本。
在实践中，作者经验性地发现，采用HKS协议的YOLO-MS的推理速度几乎与仅使用深度可分离的3 × 3卷积相同。
如图所示，作者模型的Backbone由4个阶段组成，每个阶段后面跟随1个步长为2的3 × 3卷积进行下采样。在第3个阶段后，作者添加了1个SPP块，与RTMDet中一样。在作者的编码器上，作者使用PAFPN作为Neck来构建特征金字塔[31, 35]。它融合了从Backbone不同阶段提取的多尺度特征。Neck中使用的基本构建块也是作者的MS-Block，在其中使用3 × 3深度可分离卷积进行快速推理。
此外，为了在速度和准确性之间取得更好的平衡，作者将Backbone中多级特征的通道深度减半。作者提供了3个不同尺度的YOLO-MS变体，即YOLO-MS-XS、YOLO-MS-S和YOLO-MS。不同尺度的YOLO-MS的详细配置列在表2中。对于YOLO-MS的其他部分，作者将其保持与RTMDet相同。
9.系统功能展示
图9.1.系统支持检测结果表格显示
图9.2.系统支持置信度和IOU阈值手动调节
图9.3.系统支持自定义加载权重文件best.pt(需要你通过步骤5中训练获得)
图9.4.系统支持摄像头实时识别
图9.5.系统支持图片识别
图9.6.系统支持视频识别
图9.7.系统支持识别结果文件自动保存
图9.8.系统支持Excel导出检测结果数据
10. YOLOv11核心改进源码讲解
10.1 rep_block.py
以下是经过简化和注释的核心代码部分，主要集中在 DiverseBranchBlock 类及其相关的功能函数上。这些部分实现了多分支卷积块的核心逻辑，包括卷积、批归一化、以及不同分支的融合。
import torch
import torch.nn as nn
import torch.nn.functional as F
def transI_fusebn(kernel, bn):
"""
将卷积核和批归一化层的参数融合为一个卷积层的参数。
:param kernel: 卷积核
:param bn: 批归一化层
:return: 融合后的卷积核和偏置
"""
gamma = bn.weight # 获取批归一化的缩放因子
std = (bn.running_var + bn.eps).sqrt() # 计算标准差
# 返回融合后的卷积核和偏置
return kernel * ((gamma / std).reshape(-1, 1, 1, 1)), bn.bias - bn.running_mean * gamma / std
def conv_bn(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1):
"""
创建一个卷积层和批归一化层的组合。
:param in_channels: 输入通道数
:param out_channels: 输出通道数
:param kernel_size: 卷积核大小
:param stride: 步幅
:param padding: 填充
:param dilation: 膨胀
:param groups: 分组卷积
:return: 包含卷积和批归一化的序列
"""
conv_layer = nn.Conv2d(in_channels, out_channels, kernel_size, stride=stride, padding=padding, dilation=dilation, groups=groups, bias=False)
bn_layer = nn.BatchNorm2d(num_features=out_channels, affine=True)
return nn.Sequential(conv_layer, bn_layer)
class DiverseBranchBlock(nn.Module):
def __init__(self, in_channels, out_channels, kernel_size, stride=1, padding=None, dilation=1, groups=1):
"""
多分支卷积块的构造函数。
:param in_channels: 输入通道数
:param out_channels: 输出通道数
:param kernel_size: 卷积核大小
:param stride: 步幅
:param padding: 填充
:param dilation: 膨胀
:param groups: 分组卷积
"""
super(DiverseBranchBlock, self).__init__()
if padding is None:
padding = kernel_size // 2 # 默认填充为卷积核大小的一半
# 原始卷积和批归一化
self.dbb_origin = conv_bn(in_channels, out_channels, kernel_size, stride, padding, dilation, groups)
# 平均池化分支
self.dbb_avg = nn.Sequential(
nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=1, padding=0, groups=groups, bias=False),
nn.BatchNorm2d(out_channels),
nn.AvgPool2d(kernel_size=kernel_size, stride=stride, padding=0)
)
# 1x1 卷积分支
self.dbb_1x1_kxk = nn.Sequential(
nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=1, padding=0, groups=groups, bias=False),
nn.BatchNorm2d(out_channels)
)
def forward(self, inputs):
"""
前向传播函数。
:param inputs: 输入张量
:return: 输出张量
"""
out = self.dbb_origin(inputs) # 原始卷积分支
out += self.dbb_avg(inputs) # 平均池化分支
out += self.dbb_1x1_kxk(inputs) # 1x1 卷积分支
return out # 返回最终输出
# 其他类和函数可以根据需要进行类似的简化和注释
代码说明：
- transI_fusebn: 该函数将卷积层和批归一化层的参数融合，返回融合后的卷积核和偏置。
- conv_bn: 创建一个包含卷积层和批归一化层的序列，便于构建网络结构。
- DiverseBranchBlock: 这是多分支卷积块的核心类，包含多个分支（原始卷积、平均池化和1x1卷积），并在前向传播中将它们的输出相加。
注意事项：
- 代码中的其他部分（如不同的转换函数和其他分支）可以根据具体需求进行进一步的简化和注释。
- 在实际应用中，可能需要根据具体的网络架构和任务需求进行调整。
这个文件 rep_block.py 是一个实现了多种卷积块的 PyTorch 模块，主要用于深度学习中的卷积神经网络（CNN）。文件中定义了多个类和函数，旨在提供不同类型的卷积块，包括多分支卷积块和宽卷积块等。
首先，文件中导入了必要的库，包括 PyTorch 的核心库和一些常用的功能模块。接着，定义了一些辅助函数，这些函数主要用于处理卷积核和偏置的转换，特别是在与批归一化（Batch Normalization）结合时的处理。这些函数的功能包括将卷积核与批归一化参数融合、将多个卷积核和偏置相加、以及处理不同尺寸的卷积核等。
接下来，定义了几个主要的卷积块类。DiverseBranchBlock 是一个多分支卷积块，支持多种卷积操作，包括常规卷积、1x1 卷积和平均池化等。这个类的构造函数中，根据输入的参数初始化不同的卷积层和批归一化层。它还提供了一个 get_equivalent_kernel_bias 方法，用于获取等效的卷积核和偏置，以便在推理阶段使用。
DiverseBranchBlockNOAct 类是一个类似的卷积块，但不包含非线性激活函数。这使得它在某些情况下更灵活，特别是在需要将其与其他层组合时。
DeepDiverseBranchBlock 类则是一个更深层次的多分支卷积块，继承了 DiverseBranchBlockNOAct，并在此基础上增加了更多的功能。它的构造函数允许更复杂的结构，并且提供了与 DiverseBranchBlock 类似的功能。
WideDiverseBranchBlock 类实现了宽卷积块，特别适用于处理具有不同宽度和高度的输入数据。它包含了水平和垂直卷积的实现，并通过 _add_to_square_kernel 方法将这些卷积核合并到一个方形卷积核中。
每个类都实现了 forward 方法，定义了前向传播的逻辑。在推理阶段，类会根据是否处于部署模式（deploy）来选择使用预先计算的卷积核和偏置，或者执行实际的卷积操作。
此外，文件中还包含了一些初始化方法，用于设置批归一化层的权重和偏置，确保在训练过程中能够得到合适的参数。
总体来说，这个文件提供了一种灵活的方式来构建和使用多种类型的卷积块，适用于不同的深度学习任务，尤其是在图像处理和计算机视觉领域。通过这些模块，用户可以轻松地构建复杂的神经网络架构，并进行高效的训练和推理。
10.2 kan_conv.py
以下是经过简化和注释的核心代码部分：
import torch
import torch.nn as nn
class KANConvNDLayer(nn.Module):
def __init__(self, conv_class, norm_class, input_dim, output_dim, spline_order, kernel_size,
groups=1, padding=0, stride=1, dilation=1,
ndim: int = 2, grid_size=5, base_activation=nn.GELU, grid_range=[-1, 1], dropout=0.0):
super(KANConvNDLayer, self).__init__()
# 初始化参数
self.inputdim = input_dim # 输入维度
self.outdim = output_dim # 输出维度
self.spline_order = spline_order # 样条阶数
self.kernel_size = kernel_size # 卷积核大小
self.padding = padding # 填充
self.stride = stride # 步幅
self.dilation = dilation # 膨胀
self.groups = groups # 分组数
self.ndim = ndim # 维度
self.grid_size = grid_size # 网格大小
self.base_activation = base_activation() # 基础激活函数
self.grid_range = grid_range # 网格范围
# 初始化 dropout
self.dropout = None
if dropout > 0:
if ndim == 1:
self.dropout = nn.Dropout1d(p=dropout)
elif ndim == 2:
self.dropout = nn.Dropout2d(p=dropout)
elif ndim == 3:
self.dropout = nn.Dropout3d(p=dropout)
# 验证 groups 参数
if groups <= 0:
raise ValueError('groups must be a positive integer')
if input_dim % groups != 0:
raise ValueError('input_dim must be divisible by groups')
if output_dim % groups != 0:
raise ValueError('output_dim must be divisible by groups')
# 创建基础卷积层和样条卷积层
self.base_conv = nn.ModuleList([conv_class(input_dim // groups,
output_dim // groups,
kernel_size,
stride,
padding,
dilation,
groups=1,
bias=False) for _ in range(groups)])
self.spline_conv = nn.ModuleList([conv_class((grid_size + spline_order) * input_dim // groups,
output_dim // groups,
kernel_size,
stride,
padding,
dilation,
groups=1,
bias=False) for _ in range(groups)])
# 创建归一化层和激活层
self.layer_norm = nn.ModuleList([norm_class(output_dim // groups) for _ in range(groups)])
self.prelus = nn.ModuleList([nn.PReLU() for _ in range(groups)])
# 初始化网格
h = (self.grid_range[1] - self.grid_range[0]) / grid_size
self.grid = torch.linspace(
self.grid_range[0] - h * spline_order,
self.grid_range[1] + h * spline_order,
grid_size + 2 * spline_order + 1,
dtype=torch.float32
)
# 使用 Kaiming 均匀分布初始化卷积层权重
for conv_layer in self.base_conv:
nn.init.kaiming_uniform_(conv_layer.weight, nonlinearity='linear')
for conv_layer in self.spline_conv:
nn.init.kaiming_uniform_(conv_layer.weight, nonlinearity='linear')
def forward_kan(self, x, group_index):
# 对输入应用基础激活函数并进行线性变换
base_output = self.base_conv[group_index](self.base_activation(x))
# 扩展维度以进行样条操作
x_uns = x.unsqueeze(-1)
target = x.shape[1:] + self.grid.shape
grid = self.grid.view(*list([1 for _ in range(self.ndim + 1)] + [-1, ])).expand(target).contiguous().to(x.device)
# 计算样条基
bases = ((x_uns >= grid[..., :-1]) & (x_uns < grid[..., 1:])).to(x.dtype)
# 计算多阶样条基
for k in range(1, self.spline_order + 1):
left_intervals = grid[..., :-