近年来，健身运动逐渐成为大众生活中的重要组成部分，但传统的健身模式难以提供高效、精准的运动评估与反馈。基于视觉的健身运动评估系统因其无需佩戴额外设备、便捷性高、适用范围广等特点，逐渐受到广泛关注。目前市场中存在的如Freeletics、Mirror健身镜等健身类产品可以通过摄像头实时监控用户的运动姿态，提供反馈和纠正建议，但只能处理常规单一的健身动作，对复杂姿势的评估效果不佳，且对硬件条件及网络性能有较强的依赖性。因此，可以针对多类健身运动且模型简单的软件系统具有广阔的应用前景。
基于视觉的健身运动评估系统通过摄像头获得人体运动姿态信息后自动进行动作识别，无需手动指定动作类别，即可开启对应的动作评估指标，从而为用户提供科学全面的运动反馈。该系统主要由人体姿态估计、动作识别、动作评估3个关键技术组成。
人体姿态估计是从图像或视频中识别出人体的关节点位置的技术［1］。常用的人体姿态估计算法包括级联深度回归器［2］（human pose estimation via deep neural networks， DeepPose）、堆叠沙漏网络［3］（stacked hourglass networks， SHN）、区域姿态估计框架［4］（regional multi-person pose estimation， RMPE）、实时多人二维姿态估计［5］ （realtime multi-person 2D pose estimation using part affinity fields， Openpose）、高分辨率网络［6］（high-resolution networks，HRNet）、级联金字塔网络［7］（cascaded pyramid networks，CPN）等，都存在计算量大、推理速度慢、硬件需求严苛、实时性低等缺点，不适用于健身运动分析。2019年，Google 提出了一个跨平台的开源框架MediaPipe，用其特别的框架结构和工作流程，极大减小了模型的体积和资源消耗，可在实时视频中估计人体关节点的位置，适用于实时健身动作评估系统的需求。
不同的健身动作具有不同的评估标准，因此在动作评估前进行动作识别可以识别用户的动作类型，并快速开启相应的评估机制［8］。目前，应用最广泛的基于骨架数据识别方法是Gao等［9］提出的基于图卷积网络（graph convolutional networks，GCN）的识别方法，该类方法可以更好地处理骨架数据这类具有图结构的人体姿势识别问题，将人体骨架划分为四肢和躯干5个区域，分别提取区域内和区域间的特征，用于骨架数据上的动作识别。Shi等［10］提出双流自适应图卷积网络（two-stream adaptive graph convolutional networks，2s-AGCN），该网络可以同时建模关节和骨骼信息，显著提升了识别精度。鉴于GCN方法处理时序性问题的能力较差，Yan等［11］提出了时空图卷积网络（spatio-temporal graph convolutional networks，ST-GCN），将图卷积理论应用到骨架序列的时空动态演变中，设计了表征人体拓扑结构的邻接矩阵。该算法能够自动学习骨架数据的时空特征，同时通过时间卷积捕捉关节随时间的动态变化并用于人体动作识别，具有更强的表现能力和泛化能力，但该模型获取关节点的全局信息能力较差，且网络模型较大，需进行相应的模型精简才能应用于实时动作评估系统中。
动作评估方法主要分为模板匹配和空间-时间法。模板匹配是指将待测动作序列与预先定义动作序列的模板进行比较。Song等［12］基于人体的关键点数据，设计距离函数，采用动态时间规整（dynamic time warping，DTW）算法来度量时间序列之间的相似性，实现动作评估。于景华等［13］设置了标准动作和实验动作，计算两个动作帧的平均帧距离，通过DTW将标准动作和实验动作之间的距离进行比较，归一化后获得动作相似度评分。韩丽等［14］通过计算向量的夹角余弦值，利用特征平面相似性匹配的方法计算运动数据相关匹配度，确定舞蹈表演者的姿势与标准姿势的相似程度。空间-时间法是指分析一个动作中不同身体部位的空间和时间的关系。Alexiadis等［15］基于Kinect深度相机采集的骨骼点坐标、关节角度和旋转量，提出了一组基于四元数相关的测量分数，与教练的标准动作进行对比，得到舞蹈动作评分。以上运动评估的研究中多使用普遍单一的评估方法，没有针对不同运动的发力特点设计不同方法，因此，评估方法的适应性还需进一步提高。
基于以上研究，本文设计了基于人体姿态估计的健身运动评估系统，此系统可以在任何场合供给用户健身使用。该系统使用实时性极高的MediaPipe算法提取姿态信息，送入添加了注意力机制并简化了网络层结构的ST-GCN中进行动作识别，最后，根据不同的动作类别使用不同的健身动作评估算法来获得运动评估结果，系统可以实现健身者在无需指定动作类别情况下的多类健身动作的自动化健身动作评估。
1 系统整体框架
系统整体框架如图1所示，具体分为以下3个模块：
1）人体姿态估计：使用MediaPipe人体姿态估计网络提取人体关节点数据。
2）动作识别：将获取的关节点数据送入改进的动作识别网络进行动作识别。
3）动作评估：根据识别出的动作类别，调用该动作对应的评估算法，对健身动作进行在线评估与离线评估。具体实现如下：
a.在线评估：针对健身运动过程中实时出现的如关节角度异常、重心偏移、左右肢体不对称等异常行为，进行实时异常提示；针对周期内完整健身动作的动作要领，分析重点关节轨迹特性，进行异常检测。
b.离线评估：在改进ST-GCN提取的时序特征的基础上，结合时空特征的变异性与梯度变化，设计时空一致性和时序梯度的评估算法，全面地衡量健身动作的稳定性与流畅性，提供一个量化的评分结果。
2 姿态估计
3 动作识别
动作识别算法可以实现在不指定动作类别情况下，系统能在自动识别后进入评估流程。由于健身运动评估系统需要较强的实时性，若网络结构过于复杂会延长计算时间，用户体验较差，本文将ST-GCN的9个时空图卷积模块（spatio-temporal graph block， ST-GCB）减为6个后，进行时空特征提取，以提高模型运行速度。同时，由于健身动作的分类需要更关注细粒度的动作区分，因此在GCN与时间卷积网络（temporal convolutional networks，TCN）之间引入卷积注意力模块（convolutional block attention module，CBAM），构建了时空图注意力卷积模块（spatio convolutional-block temporal graph convolutional block，SCBT-GCB），提高网络对健身动作的识别准确率。SCBT-GCB结构图如图4所示。
传统的ST-GCN将人体关节视为图的节点，关节之间的连接作为图的边，利用GCN来捕捉这些节点之间的空间关系，同时引入TCN操作，通过时空联合建模捕捉人体动作的动态变化。时空图卷积的操作如式（1 ）、（2 ）所示。
式中：Z为归一化项；vti 为目标节点；vtj 为ti的邻居节点； 为权重函数；B为抽样函数；lti 为以vti 为目标中心的标签图； 为时间卷积核大小；d（vtj，vti ）为节点vti 到vtj 的最短路径；K为设定的策略参数；vqj 为抽样节点集合；q为抽样帧；t为目标帧。通过上述操作，时空图卷积可以提取含有大量关联信息的时空特征图，每一层时空图卷积的结果作为下一层网络的输入。
ST-GCB由注意力机制（attention machine，ATT）、GCN、TCN构成，其中ATT为与邻接矩阵等大小的可学习的权重矩阵，每个单元进行残差融合，增强模型学习能力，最后经过池化层、全连接层将输入数据转换为256维的特征向量，送入到softmax进行分类。
CBAM的网络结构图如图5所示。首先，在通道维度上利用全局池化生成通道注意力权重，突出重要的特征通道；然后，在空间维度上通过池化和卷积操作生成空间注意力权重，突出重要的空间位置。这两个注意力模块的组合，使网络能更有效地捕捉到图像中的关键信息。改进后的ST-GCN将GCN输出的特征依次经过CBAM的通道注意力模块、空间注意力模块的总加权输出最终加权结果，再输入到TCN中，最终得到分类结果。
4 在线动作评估
学员在健身时会出现一些错误动作，但自身又无法发觉，因此需要对健身动作进行评估以纠正错误动作的发生。可针对不同健身动作的特点，结合先验知识，制定不同的在线评估规则，提高训练过程的安全性和科学性。
4.1 基于规则的帧内异常动作检测
1）角度规则
相比于传统的主观臆断，关节角度数据能够精确描述各关节之间的空间关系，可利用人体关节点的坐标计算关节角度数据。使用式（3） 计算出待求各关节角度。
式中：A为需要计算的任意三角形任意角；a为任意三角形角的对边；b和c为任意三角形角的两临边，b和c即为两关节点间的线段距离，如式（4） 所示。
式中：dx，y 为两关节点间的线段距离；xi 、xj 分别为两点的x坐标；yi 、yj 分别为两点的y坐标。健身运动的重点关注关节为肩、肘、胯、膝盖等运动范围较大的位置如“箭步蹲”动作重点关注角度如图6a所示。
2）对称性规则
在训练中，肢体左右不均衡可能导致肌肉和关节的过度负荷，增加运动损伤的风险。可通过精确计算左右肩、左右肘和左右髋关节的夹角差值来判断运动是否呈现出对称性。
通过计算每一组左右肢体关节夹角差值，当左右夹角的差值超过设定的阈值时，系统将识别出肢体的不平衡状态，如式（5） 所示。
式中： 和 分别为左侧和右侧关节点夹角。设定的阈值作为对称性判断的标准，可以根据不同类型的运动或个体情况进行动态调整，以确保评估结果的适用性。图6b为“合手半蹲”“双手过头跳”“开合跳”“原地小跑”等动作均需关注对称性的情况。
3）重心参数规则
在健身运动评估中，重心可以有效评估运动者动作的稳定性。本文提出了一种基于人体髋关节与头部相对高度的重心偏移检测算法，将髋关节中心与头部距离地面的高度比作为重心参数，评估运动过程中的重心偏移情况，以此判断健身者在运动过程中的重心稳定性。本文通过式（6 ）—（8 ）分别计算用户的头部平均纵坐标、脚部平均纵坐标、髋部平均纵坐标分别为
再通过式（9 ）、（10 ）计算头部与脚部的高度差H、髋关节中心与脚中心的高度差h分别为
根据上述计算结果，通过式（11） 得出健身者的重心参数 为
统计用户的历史数据，计算出正常运动中的重心偏移值分布，找到其均值和标准差，然后设定一个合理的阈值。如果用户的重心偏移值超过标准偏差的2倍或3倍，可以认为是异常。
4.2 基于规则的周期内异常动作检测
1）周期检测
健身过程中某些动作需要对完整周期下的运动情况进行观测分析，因此本文提出了一种基于人体宽高比的周期划分方法。在每一帧中，人体的宽高比r（t）为
式中：w（t）为人体的宽度；h（t）为人体的高度。将连续视频中每一帧的人体宽高比绘制成随时间变化的曲线图。同时，采用滤波窗口大小N=5的均值滤波进行数据平滑处理，滤波后的宽高比r filtered（t）为
然后，通过检测宽高比曲线的极值来划分动作周期，其导数为
2）基于关节轨迹的周期内异常检测
在健身运动中，某些关键关节的运动轨迹需要特别关注和规范化。为了实现对关节点轨迹的精确量化与评估，本文提出利用高斯混合模型（Gaussian mixture model，GMM）分解关节点的轨迹分布，进而实现对轨迹的有效观测，具体步骤如下：
b.轨迹建模：对每一帧的重点关注关节点位置数据应用GMM进行聚类，以描述关节在标准运动下的轨迹分布。
c.异常检测：将用户的运动数据输入到标准动作训练的GMM中，计算用户轨迹的对数似然值。通过设定合理的阈值比较用户数据与标准模型的匹配度，如果对数似然值低于阈值，表示用户的运动轨迹偏离标准，系统会提示动作异常，阈值如式（15） 所示。
式中： 为标准轨迹对数似然值的均值； 为标准轨迹对数似然值的标准差； 为控制偏差范围的常数，对数似然值如式（16） 所示。
式中：xt 为用户在时间点t的关节位置； 为第k个高斯分布的概率密度函数； 为高斯分布的混合系数； 和 分别为均值和协方差矩阵。
5 离线动作评估
学员健身结束后，需要对本次训练进行全面而精准的评估。为了有效地评估动作质量，本文提出了一种基于改进的ST-GCN的健身动作质量评估方法。该方法通过分析动作序列的时空一致性和时序梯度特征，实现了对动作稳定性和流畅度的量化评估，流程图如图9所示。
时空一致性反映了动作执行过程中的稳定性特征。在标准动作中，身体各关节点的相对位置关系应保持适度的稳定性，同时在时间维度上表现出连贯的变化模式。因此，本文提出了基于特征方差分析的时空一致性评估方法。具体而言，首先通过卷积层提取特征图的时空特征，再根据式（17） 计算特征在时间维度上的标准差。
式中：fb，c，t 为第b个样本的第c通道在时间t上的特征； 为该通道特征在时间维度上的均值。通过计算标准差的均值，得到特征在时间维度上的变化程度。时空一致性评分如式（18） 所示。
式中：C为特征通道数。式（18） 将特征的变异程度映射到［0，1］区间，值越大表示一致性越高，动作的稳定性越强。
时序梯度分析旨在捕捉动作序列中的速度变化特征，评估动作的平滑性和连续性。本文基于时序特征的梯度，通过分析相邻时间之间的特征变化来量化动作的流畅度。相邻时间帧的梯度计算如式（19） 所示。
式中： 为相邻时间帧之间的特征梯度；g为提取的时序特征。通过计算梯度的均值，得到总体的时序梯度变化。最终的时序梯度评分如式（20） 所示。
式中：α和β分别为两个评分的权重系数，表示时空一致性和时序梯度在整体评估中的重要性；S total为最终的综合评分。为了适应不同动作的需求，α和β可以根据动作特性进行调整。如果时空一致性在某些动作中更为重要（如重复性较强的动作），设置α>β；而如果时序平滑性更重要（如节奏较快的动作），设置α<β。
6 实验及系统实现
6.1 设备平台设置
本实验的硬件设备为GeForce RTX 3060（GPU）12G 显存和 Windows11 系统，使用 Python3.8 编程语言和 Pytorch1.12.0 框架。本研究在该平台上做健身动作识别和健身动作评估相关测试，验证系统的性能。
6.2 数据集介绍
本文的动作识别是在FLAG3D数据集上进行训练与测试。FLAG3D数据集是一个大规模 3D健身活动数据集，包含60类健身动作的RGB图像和3D坐标两种数据，其中3D坐标由MoCap系统采集，包含每个人所有帧的25个关节的3D坐标。图10为FLAG3D数据集。
6.3 动作识别算法测试
在FLAG3D数据集下进行动作识别的准确率和FLOPs与其他算法实验结果对比，结果如表1所示。
表1 实验结果对比 |
| 算法 | 准确率/% | FLOPs /G |
|---|---|---|
| ST-GCN［11］ | 97.5 | 5.959 |
| ST-GCN（6层） | 91.3 | 3.892 |
| SCBT-GCN | 98.6 | 4.019 |
6.4 软件功能实现
分别选择15类动作进行测试，根据先验知识对标准动作和异常动作进行定义，评估结果符合预期，各类指标测试动作如表2所示。
表2 各类指标测试动作 |
| 评价指标 | 动作类别 |
|---|---|
| 角度规则 | 箭步蹲、直腿小腿抬高、俯卧撑 |
| 对称性规则 | 深蹲、卧推、开合跳 |
| 重心规则 | 深蹲、单腿站立、左右跳 |
| 轨迹规则 | 蛙泳、侧向前画圈、躺姿肩向上画圈 |
| 离线评分 | 箭步蹲、深蹲、蛙泳 |
动作评估的判定如下：
1） 帧内异常检测
a.角度规则：不同动作需关注不同角度，如“箭步蹲”需关注右腿膝盖的夹角。如图11a所示标准动作和测出的异常动作帧。
b.对称性规则：针对某些对肢体对称性要求高的运动，如“深蹲”等设置阈值为不超过10°；而对于需要不同侧肢体承担不同功能的运动，设置阈值为不超过180°。图11b为“开合跳”标准动作和检测出的异常动作帧。
c.重心规则：某些需要平衡的运动（如“深蹲”“单腿站立”等）中，重心偏移不能超过一个较小的值；而在一些动态运动中，如“开合跳”，允许有一定的偏移。图11c为利用重心规则检测出的异常动作帧。
2）周期内异常检测
通过将标准数据分为训练集和验证集，在训练集上训练 GMM 模型，使用验证集来调整阈值。图11d为利用轨迹异常检测得到的异常动作轨迹帧。
3）离线评分
根据健身运动的特点，可同时计算重点关注关节的加速度并绘制折线图，即可判断动作的时空一致性和时序梯度。综合动作评分S total越高、重点关节加速度越稳定，表示关节点在时间上的位置变化越稳定、流畅。图12为“单腿蹲”动作离线检测的界面图。
7 结论
本文针对健身运动设计了一个可在线、离线评估动作的监测系统。该系统使用Media-Pipe算法获取人体关节点，然后使用改进的ST-GCN网络识别动作类别，最后启用不同的动作评估算法实现帧内、周期内健身动作的异常检测与离线评分。经实际测试，该系统不仅能够准确识别用户的动作类别，还可以及时纠正异常动作并给出评分，说明该系统在健身领域具有应用潜力。