步态是人类在行走时身体各部分运动所产生的图像。行人的步态周期可以被看作是一系列重复的步骤，依赖于肌肉、骨骼及神经等多个系统的协同运作。步态是人类在生活中固有的一部分，因此可以用其识别出重点人群，即步态识别。步态识别是目前远距离复杂场景下几乎唯一可用于身份识别的生物特征识别技术，具有非侵犯性和非接触性、难于隐藏和伪装、易于采集等独特的优点。
目前智能安防技术逐渐被关注，特别是智能监控系统，最流行的是人脸识别技术，但其对样本要求高，视角偏差、分辨率不高、伪装和遮挡等都产生影响。监控一般用于公共场所，特别是机场、车站等。机场逃逸事件的频繁发生，涉及恐怖主义、犯罪行为或其他公共安全，嫌疑人反侦查能力逐渐增强，采用遮挡、伪装等措施后，公安机关无法基于人脸或人工监控识别出来，实施抓捕困难。因此，步态识别技术发挥了重要的作用，能够在远距离情况下获得范围内目标人群的信息，实现重要场合的提前预警。但是，通过步行和移动来识别人类不是一项简单的任务。传统的步态识别方法，常使用数据预处理并以人工方式提取特征，往往受到外观变化、视角变化、遮挡等条件影响，从而制约了其进一步推广与应用［1］。
早在1836年，Weber等提出了分析步态周期和距离等参数的定量模型，推动了人类步态的研究。1964年，Murray开发了一种简单、经济的方法记录人体运动。研究发现，与年轻人相比，60~65岁的老年人步幅更短，脚角更宽，但个体的步态在其诸多要素上具有高度的一致性和稳定性。这些研究为人类步态识别领域的研究奠定了基础。1994年，Niyogi等［2］成功地通过计算机对个体进行步态识别后，步态识别备受国内外研究者关注，持续研究出新的步态识别算法。近年来，卷积神经网络（convolutional neural network，CNN）［3］、人工神经网络（artificial nerual network，ANN）、循环神经网络（recurrent neural network，RNN）和跨视图人类识别等深度学习技术已经成为研究热点。深度学习可以弥补传统步态识别的不足并提高识别精度和模型鲁棒性［4］，因此基于深度学习的步态识别是值得讨论的方向。
近几年有很多关于步态识别的综述文章。刘晓芳等［5］围绕行人检测、步态周期、特征提取和识别分类4个方面进行综述。王科俊等［6］基于三维建模和基于二维图像或视频序列特征介绍多视角步态识别研究方法。许文正等［7］从三维信息、视角转换模型、视角不变、深度学习4个方面梳理了跨视角步态识别方法。Rani等［8］梳理了步态识别的各种技术和方法、数据集和发展前景，介绍了该领域使用的传统和基于深度学习的不同分类器。陈福仕等［9］从基于GAN、聚类、无监督域适应和其他的步态识别方法梳理了无监督学习步态识别发展现状及趋势。
但这些学者仅总结了每个领域传统方法的主要成就，没有提供基于深度学习的步态识别方法的最新进展。因此，本文对近几年步态识别的新进展进行全面整理，介绍了其在识别过程中的应用，整理了典型的数据集，然后梳理了基于深度学习的步态识别方法的研究现状，较为全面地分析了步态识别的原理及其在未来民航安防领域的发展方向。
1 步态数据集
表1 常用步态数据集的属性汇总 |
| 场景 | 数据集 | 规模/人*视角*序列 | 年份 | 数据类型 | 数据内容 |
|---|---|---|---|---|---|
| 室内 | CMU MoBo | 25*6*600 | 2001 | 剪影、RGB | 携带、行走速度 |
| 室内 | CASIA-B | 124*11*13640 | 2006 | 剪影、RGB | 携带、穿着 |
| 室内 | OU-ISIR LP［15］ | 4007*2*7842 | 2012 | 剪影 | 无 |
| 室内 | OU-ISIR LP-Age［16］ | 63846*1*63846 | 2017 | 剪影 | 年龄 |
| 室内 | OU-MVLP | 10307*14*288596 | 2018 | 剪影 | 无 |
| 室外 | CASIA-A［17］ | 20*3*240 | 2003 | RGB | 无 |
| 室内外 | SOTON［18］ | 115*2*2128 | 2004 | 剪影、RGB | 室内跑步机、室外无 |
| 室外 | USF［19］ | 122*2*1870 | 2005 | RGB | 不同地面、携带、不同鞋 |
| 室外 | CASIA-C［20］ | 153*1*1530 | 2006 | 剪影、红外图 | 行走速率、带包 |
| 室外 | OU-ISIR［21］ | 4010*4*31368 | 2012 | 剪影 | 无 |
| 室外 | GREW | 26345*882*128671 | 2021 | 剪影、GEI、2D/3D姿态图、光流图 | 干扰、背景、携带、穿着、遮挡、照明、不同地面 |
| 室外 | Gait3D | 4000*39*25309 | 2022 | 剪影、RGB、2D/3D骨架 | 遮挡、行走速度 |
| 室外 | CASIA-E | 1014*26*778752 | 2023 | RGB、剪影、红外图 | 场景、携带、穿着、属性 |
早期数据集主要集中在室内固定场景下采集，未涉及到真实环境的复杂变化。多种因素如视角、遮挡、穿着、光照变化及复杂动态物体背景将影响步态识别结果。另外，摄像头视角固定、受试者需按指定动作进行等，该设定与现实生活视频相差较大。为了解决这些问题，新的大规模户外步态数据集（如CASIA-E、GREW和Gait3D）被提出，以促进步态识别技术从实验室环境向现实场景过渡。尽管如此，许多最新研究仍然过度依赖室内步态数据集，这限制了步态识别系统的发展和应用。因此，采用户外场景数据集进行研究是下一步的工作方向。
2 步态识别的深度学习方法
步态识别主要针对含有一个或多个行人运动的视频序列进行分析研究，通常包括数据采集预处理、特征提取、特征表示、降维和分类4个阶段。数据采集预处理阶段收集包含行人步态信息的视频或传感器数据，并进行去噪、归一化、裁剪等处理。特征提取和表示阶段需要描述个体的独特特征，并对不断变化的条件具有鲁棒性。降维阶段主要是通过降低特征向量的维数，来解决计算成本、耗时等问题，同时保留基本信息。分类阶段是指给步态序列贴标签或分类，将特征向量输入到分类算法，根据步态信息进行识别和区分不同类别。
2.1 基于CNN的识别方法
CNN是步态识别领域中最常见的一种深度学习模型，由卷积层、池化层和全连接层组成。首先，通过卷积层自动提取步态图像特征，并使用激活函数增强非线性，如ReLU或tanh［22］。然后，通过池化层去边处理来降低特征图维度，得到关键特征图。最后，采用全连接层将生成的二维特征图转换为一维向量，并归类为不同的步态模式或个体。CNN在训练时能够有效地处理图像数据，准确预测个人身份；能够有效提取时间特征，保持输入数据之间的空间位置关系，因此，CNN适用于视图不变性和跨视角识别问题。
Song等［23］联合两个卷积神经网络学习训练，提出了一种基于两个卷积神经网络联合训练的端到端步态识别网络GaitNet。采用高精度的分割模型（fully convolutional network，FCN）分割步态轮廓图，并通过7层卷积提取时空特征。第1层使用48个5×5的卷积核对N个64×64×3的输入图像进行卷积，并进行最大池化和归一化操作，第2层结构与之相同，第3~5层只进行卷积，最后第6、7层则输出高级特征。然后学习步态能量图的思想，采用空间平均池化作为默认的时间融合方法。式（1） 为时间融合的输出。
式中： 为N帧的分割输出，利用两个CNN建模分别对应步态分割和步态分类任务，简化了传统识别方法的分布程序，提高了实际应用的识别效率。
Fan等［24］提出一种创新的步态识别模型GaitPart，该模型基于对人体不同部位在行走时不同视觉外观和运动模式的观察设计。模型包含帧级部分特征提取器（frame-level part feature extractor， FPFE）和微动捕获模块（micro-motion capture module， MCM）。FPFE增强了对人体部位级别空间特征的细粒度学习。MCM则关注短距离时序特征，以捕捉步态的微动模式。GaitPart通过并行的MCM独立处理人体预定义部位的特征，最终步态表示由这些并行的局部特征经拼接聚合而成。Chao等［25］提出的GaitSet将步态视为一组步态轮廓，并使用深度学习模型来识别步态。该模型使用CNN从每个剪影中提取帧级信息，然后使用集合池将这些特征组合成一个单一的集合级特征。Fan等［26］提供了一种结构简单、鲁棒性强的模型GaitBase，采用类似ResNet的网络作为骨干网络，将输入的步态轮廓图像转换成3D特征图，然后通过时间池化模块沿时间维度聚合成特征图。近期银河水滴与合作伙伴研究出新的视觉提示网络VPNet［27］，基于ResNet的网络架构并加入FTS模块，共享可训练参数的部分提示向量池及动态注意力机制。在大型户外数据集上识别率远高于目前先进方法，未来有望应用到更广泛的场景中。
2.2 基于RNN的识别方法
RNN是一种专门用于处理序列数据的深度学习架构，是研究时间动态的步态识别任务的最佳工具。它通过隐藏层存储先前的输入来识别序列模式，并更新状态处理数据。RNN层通常由多个递归神经元组成，可处理输入和输出序列，能够从运动模式的序列和持续时间中学习，从而对不同的步态模式进行分类。其中，长短期记忆网络（long short-term memory， LSTM）和门控递归单元（gated recu-rrent unit， GRU）更适合处理大量的序列数据，如步态视频中的连续帧。LSTM利用一组门调节信息流捕捉序列数据中的长期依赖关系。GRU不使用输出激活函数捕捉序列中的依赖关系，而将遗忘门和输入门合并为一个更新门，以降低复杂性。将CNN与RNN（特别是LSTM和GRU）集成学习时空关系可能是最流行的方法，在步态识别文献中也被采纳。
时间建模是步态识别中的一个重要线索。遵循“CNN+LSTM”的标准管道，Zhang等［28］提出了一种结合水平划分和LSTM注意模型的时空特征学习方法，通过将步态轮廓分为4个部分，每个部分输入一个单独的10层CNN来提取局部步态特征，同时使用简化的空间变压器网络定位信息，并引入LSTM单元捕获时间特征。Sepas等［29］首先使用8层CNN学习从步态样本中提取的卷积图，然后聚合成步态特征映射GCEM模板，将其分成水平的部分，并输入一个双向门控循环单元（bi-directional gate recurrent unit， BGRU）网络来学习，以了解这些特征部分之间的关系，最后加入注意力机制关注。Shi等［30］提出一种基于可穿戴惯性测量单元（inertial measurement unit， IMU）的步态识别方法，该方法采用一维卷积神经网络（1D convolutional neural networks， 1D-CNN）和双向长短期记忆网络（bi-directional long short-term memory， Bi-LSTM）构建了一个顺序模型，能够直接从原始的加速度和角速度数据中自动提取特征。首次利用1D-CNN捕捉来自惯性传感器信号的高阶特征，并结合双向LSTM网络挖掘这些数据背后的时间序列信息，从而实现步态识别。
2.3 基于生成对抗网络的识别方法
生成对抗网络（generative adversarial network，GAN）是一种基于对抗学习的深度神经网络，可以用于生成步态图像，提升模型的泛化能力。GAN主要由生成器（generator）和判别器（discriminator）两个神经网络组成。生成器负责使生成的样本尽可能接近真实样本的分布，判别器负责区分给定实例是原始样本还是合成样本，两部分通过对抗同时训练，使GAN能够生成足够逼真的样本。在步态识别领域，GAN可以生成多角度的步态数据，训练出适应性强的步态识别模型，从多个角度进行有效识别，从而解决由服装、视角和遮挡等影响造成的步态变化问题。GAN已经被用作跨视角步态识别，但训练的稳定性和收敛性可能导致合成数据质量不佳。
Chen等［31］提出了一种多视角步态生成对抗网络（multi view gait generative adversarial network， MVGGAN）的方法，用于从不同视角生成步态模式，目的是提高步态识别的效率。MVGGAN由单一生成器组成，能够在各种不同的步态条件下生成逼真的伪步态模式。在训练过程中，MVGGAN结合对抗学习机制与身份保持判别器，确保生成样本不仅视觉逼真，且能保留关键的身份特征。此外，为生成样本与真实数据间的分布差异，引入了基于投影最大平均差异的域对齐策略。MVGGAN生成的补充伪步态模式，可以被用来增强现有的步态数据集。这种增强的数据集不仅增加了数据的多样性，还提高了基于深度学习的步态识别技术的性能。
张红颖等［32］针对视角变化的影响，使用生成器网络、判别器网络和身份保持器构建了一种新的生成对抗网络模型，以实现跨视角的步态变换。利用生成器将输入步态数据进行对抗训练，并采用像素级损失函数生成趋近于真实步态的目标视角步态模板。生成的视角需要利用视角判别器使其与目标视角相同。身份保持器同时依据三元组损失来存储身份信息。然后，自注意力机制被引入以捕捉全局特征依赖，增强样本的研究价值。因此，最终总体的目标函数如式（2） 所示。
2.4 基于胶囊网络的识别方法
胶囊网络（capsule networks， CapsNet）是一种通过胶囊来捕捉图像中的空间关系的深度学习架构，旨在解决CNN中的量化激活限制和池化层信息丢失问题［35］。量化激活的限制通过胶囊激活值解决，而信息路由的不足则通过协议路由算法克服。CapsNet通过引入可学习的姿势矩阵，有效地模拟和理解人体各部分结构关系，捕捉腿部与脚部、上半身与下半身、躯干与四肢之间的复杂相互作用和空间关系。
此外，CapsNet的应用不仅限于单帧图像，还能处理视频序列中的多个步态轮廓，为构建主体骨骼关节坐标的内部分层表示提供了新方法，与传统CNN的标准汇集层显著不同。标准汇集层往往会丢失位置、比例、旋转及身体部位间的关系等关键人体属性。CapsNet由多个胶囊构成，一般分为初级和高级两部分，初级部分利用卷积层、重塑层和压扁层对空间信息编码，高级部分则通过协议路由算法，对来自低层胶囊的特征进行动态筛选与聚合，从而形成更抽象、更具空间层次关系的高层次表示。因此，胶囊网络能更好地识别场景中多个或重叠物体，保留关键时空特征，为步态识别提供更鲁棒的特征表示。
Khan等［36］对HGR使用了一种代码生成方法，利用费雪向量对编码本进行编码。为了解决HGR中的数据不平衡问题，实现了堆叠深度多卷积胶囊网络。首先，使用CLAHEF进行预处理，优化图像对比度。使用堆叠胶囊网络对不同的变化（如携带和穿着等）进行分类。李凯等［37］给出了共享转换矩阵的胶囊网络与Triplet损失联合的SYN模型及其融合Margin损失与视角特征的跨视角步态识别VSTN模型。该模型还采用三元组网络训练，为识别过程提供了更丰富的输入特征信息，提高了识别准确率。Sepas等［38］首先基于Gaitset网络提取多尺度部分特征，然后通过双向门控循环单元学习这些特征间的序列关联，最后将输出的特征视为胶囊，利用胶囊网络的动态路由机制学习部分间的耦合权重、建模深层的部分-整体关系并保留位置信息，从而实现对视角变化、衣物更换及携带物品等干扰更具鲁棒性的特征表示，提升了模型在未见过视角上的泛化能力。曾维等［39］在胶囊网络中引入空间注意机制，提升有效步态特征在胶囊的权重，又通过反馈权重矩阵的设计，更新输入图像，从而获得网络性能提升的方法。Nithyakani等［40］实现了利用深度多卷积堆叠胶囊网络进行增强步态能量图像的人体步态识别。此网络设计的核心在于利用3个关键组件提取用于描述人类步态的高级特征：3个多尺度卷积层、3个标题层及3个胶囊网络。这些组件共同工作，捕捉步态图像中的颜色、纹理和服装类型等特征。该方法证明了改进的空间关系学习，但面临计算成本的问题。
2.5 现有深度学习的步态识别方法对比
随着深度学习在步态识别领域的迅速发展，已经体现了其优势，表2整理了近五年步态深度识别比较有代表性的几种方法。然而，这些方法对于输入特征及数据集的划分尚未统一，导致各个实验方法的划分方式不同。对于实验结果的表达，将参考每个数据集上的平均rank-1准确率。本文详细注明了各种方法的输入特征、所属方法、数据集和评估方式。
表2 基于深度学习的步态识别方法 |
| 方法 | 输入特征 | 所属方法 | 数据集 | 平均rank1准确率/% |
|---|---|---|---|---|
| GaitNet | 步态轮廓图 | CNN | CASIA-B，SZU RGB-D Gait和新建复杂室外数据集 | 87.6，85.2，68.5 |
| GaitPart | 步态轮廓图 | CNN | CASIA-B，OU-MVLP | 95.1，88.7 |
| GaitSet | 步态轮廓图 | CNN+HPM | CASIA-B，OU-MVLP | 96.1，87.9 |
| GaitBase | 步态轮廓图 | ResNet | CASIA-B，OU-MVLP，GREW，Gait3D | 94.2，90.8，60.1，64.6 |
| DiGGAN | 交叉视图 | GAN | CASIA-B，OU-MVLP | 93.2，62.3 |
| 文献［31］ | GCEM | 1D-CNN+Bi-LSTM | CASIA-B，OU-MVLP | 95.6，88.3 |
| GaitGAN | GEI | GAN | CASIA-B | 82.0 |
| Stacked-gait | 步态轮廓图 | 自动编码器 | CASIA-B | 97.7 |
| DMCSCN | 步态轮廓图 | 胶囊网络 | CASIA-B，OU-ISIR | 99.1，99.4 |
3 步态深度识别在民航安防中的应用
在民航运输快速发展的背景下，机场作为关键的运输枢纽，仍面临着反恐和防暴形势严峻、防空安全意识不足、安保手段滞后等挑战。传统安防措施包括人工监控、指纹识别等，存在效率低下、易出错等缺陷。步态识别技术凭借其独特的优势，融入深度学习算法为民航安防提供创新解决方案，使步态深度识别在民航安防领域中有广泛的应用及前景，其核心应用方向如下：
1）犯罪嫌疑人身份辅助识别。在案件侦破过程中，当监控视频仅能获取嫌疑人模糊影像时，步态识别技术通过对行走姿态的量化分析和轮廓对比以实现身份认证，可在缺乏面部、指纹等直接证据时为公安部门提供身份线索。当前研究重点在于利用深度学习直接从原始步态视频提取特征，实现端到端的识别技术突破。这需要优化算法并深入研究数据处理、特征提取、模型训练和验证，从而确保步态识别系统的准确性和鲁棒性。
2）可疑人员实时预警机制。针对机场人流量大、安全风险高的特点，步态识别与智能监控系统结合可实时提取可疑人员步态特征，并与在逃人员数据库进行动态比对。一旦比对成功，系统将触发预警并同步定位信息至警方，实现识别、预报警与位置追踪机制。值得注意的是，单一生物识别面临视角协变量鲁棒性不足的挑战，孙妍等［41］提出的双模态融合方法将人脸与步态识别结合，验证了多模态生物特征识别的有效性。随着深度学习技术的发展，引入融合学习、联合学习及注意力机制等先进概念，增强了复杂场景下多模态学习的性能，这对提高公安视频侦查效率和民航安防水平具有双重价值。
3）特殊区域智能门禁管控。特殊区域权限管控是保障机场安全和高效运行的关键环节之一。步态识别技术与智能门禁系统相结合，可实时跟踪人员行走姿态并与授权数据库动态比对，拦截未授权人员进入限制区域，并通知安保人员进行干预。实际场景中，系统需应对俯视拍摄、复杂背景、多人遮挡等挑战，还需解决饮酒、疾病等因素导致的步态特征变化问题。目前研究多基于室内单一背景数据集，缺乏真实场景数据支撑。尽管GREW数据集已扩展至千人规模并采用户外监控场景采集，但其数据规模与真实性仍不足以推动步态识别的长期发展。因此，建立一个大规模的包含真实场景的步态数据库是下一步研究工作的重点。
4）安检通道身份分类核验体系。步态识别技术通过比对行人步态特征与预存数据，可快速核验旅客身份，降低人工成本并提升安检效率。宋丽［42］认为民航安检应从“物防”转向“人防”，构建基于旅客分类的安检模式。英国曼彻斯特大学和西班牙马德里大学团队研发的步态识别系统在机场应用中的识别准确率达到99.3%。然而，该系统仍存在开发成本高、身份失效时信息断层等局限性问题。当前监控视频中的步态特征还包含年龄、性别、体型等多属性信息，GREW和CASIA-E数据集已涉及这些信息，未来可基于此开展多属性相关性研究。通过灵活分类旅客性别、年龄、民族等属性，可设置差异化安检通道，从而提高安检服务效率和旅客满意度，不仅能合理调配安检资源，更能显著增强机场整体的安防保障能力。
4 结论
本文深入研究了步态识别技术及其在生物识别领域的技术创新和广泛应用。步态识别技术通过分析个体独特的步态特征，展现出了其在远距离识别、无需个体配合、难以伪装等方面的显著优势。这些特性使得步态识别成为一种强大的工具，适用于多种场景，包括但不限于刑事侦查、安全监控、医疗健康监测及机器人技术等领域。同时，对近几年基于深度学习的步态识别进行了总结，整理了常用数据集，梳理总结了基于深度神经网络的卷积神经网络、循环神经网络、生成对抗网络和胶囊网络的步态识别方法的研究现状。此外，本文还针对步态识别在民航安防领域中实际应用的需求，指出一些有待深入研究的难点并探讨未来的研究方向。