使用多臂老虎机在卷积神经网络中进行损失感知特征图修剪

arXiv:2607.22564v1 公告类型：新 摘要：卷积神经网络通常包含冗余特征图，这会增加存储和推理成本。本文提出了一种使用多臂老虎机的丢失感知特征图修剪框架。特征图修剪是结构化的，因为它删除了完整的卷积输出通道及其产生的滤波器，而不是孤立的标量权重。每个候选特征图被视为一个臂。在每次游戏时，一张地图会被临时屏蔽并在采样的小批量上进行评估；然后恢复地图，并将观察到的损失变化转换为安全移除奖励。在固定的播放预算之后，候选地图根据学习分数进行排名，并且前 k 个地图及其过滤器、偏差和相应的下一层输入通道内核将被永久删除。该研究评估了 UCB1 和 Thompson Sampling，将它们与 LeNet/MNIST 上的直接/预言式评估进行比较，并将评估扩展到 MNIST、CIFAR-10、CIFAR-100、SVHN、CUB-200-2011 和 Oxford Flowers 102。结果表明，UCB1 和 Thompson Sampling 保持了接近未剪枝模型的精度，同时删除了特征图并减少了卷积计算。 Friedman 和 Nemenyi 检验表明 UCB1 获得最高平均等级，其次是 Thompson Sampling；两者都显着优于贪婪和基于幅度的剪枝，同时在统计上与原始未剪枝模型保持可比性。