傳統的步態分析系統往往操作復雜、便攜性差且設備成本高。本研究擬基于Azure Kinect深度視頻數據，結合足地接觸模型，建立基于Azure Kinect運動捕捉系統的下肢肌骨動力學分析流程。實驗采集了10名受試者的深度視頻數據，通過預處理獲取骨架結構，以此作為肌骨模型輸入，計算得到下肢關節角度、關節接觸力和地面反作用力，并將其計算結果與傳統的Vicon系統獲取的運動學和動力學數據進行對比。所計算的下肢關節力和地面反作用力除以每位受試者體重，進行歸一化處理。下肢關節角度曲線與Vicon得到的結果強相關（ρ平均值為0.78～0.92），但均方根誤差高達5.66°。在下肢關節力預測方面，Azure Kinect模型均方根誤差平均值范圍為0.44～0.68，而地面反作用力均方根誤差平均值范圍為0.01～0.09。研究表明，所建立的基于Azure Kinect的肌骨動力學模型能較好地預測下肢關節力和垂直地面反作用力，但在下肢關節角度預測方面還存在一定誤差。
引用本文： 彭迎虎, 王琳, 陳瑱賢, 黨曉棟, 陳飛, 李光林. 基于Azure Kinect運動捕捉的下肢關節力學和地面反作用力分析. 生物醫學工程學雜志, 2024, 41(4): 751-757, 765. doi: 10.7507/1001-5515.202311040 復制
0 引言
下肢關節運動學和動力學數據對于神經肌肉系統疾病評估及機制探究至關重要。為了獲取下肢肌骨動力學數據，研究人員開發了多種肌骨多剛體動力學仿真平臺，如Anybody[1]和Opensim[2]。在肌骨動力學模型計算中，通常需要反光球式運動捕捉系統（Vicon和Qualisys）來獲取人體運動學數據作為輸入[3-4]。基于反光球的運動捕捉系統精度高，但存在占用空間大、預處理時間長、價格昂貴、容易被遮擋及存在皮膚偽影等缺點[5]。同時，運動捕捉系統中測力板也存在著一定局限性，如價格昂貴、便攜性差、患者有效步態獲取困難等[6]。運動捕捉系統的這些局限性，阻礙了下肢肌骨動力學分析方法在臨床中的進一步應用。
針對目前反光球式運動捕捉系統存在的一系列問題，研究人員對便攜和低成本的運動捕捉方法進行了探索[7]。深度視頻捕捉方法，如微軟的Kinect設備，由于可視化、成本低以及便攜等特點，逐漸應用于臨床姿態評估、步態分析和康復訓練等方面[7-8]。目前基于深度視頻的運動捕捉方法主要集中在時空參數和關節角度方面[9-10]，在下肢動力學方面的應用還比較少。下肢肌骨動力學的計算，一般需要測力板和運動學數據作為輸入。為了消除地面反作用力對于下肢動力學計算的限制，很多學者提出利用足地接觸模型來替代測力板[8, 11-12]。Fluit等[12]提出了一種基于人工肌肉驅動器的足地接觸模型，在逆向動力學中，通過建立包括人工肌肉的肌肉募集準則來預測地面反作用力。本團隊[11]也進一步分析了足地接觸模型的適用速度范圍，研究表明足地接觸模型在慢走、正常走和快走時能較好地預測下肢動力學數據。盡管相關研究已提出了基于Kinect v1 和Kinect v2驅動的肌骨動力學模型，但由于Kinect v1和Kinect v2在足部識別和步態參數評估方面精度低，導致動力學計算存在較大的偏差[13]。相對于Kinect v1和Kinect v2，新一代的Azure Kinect系統在足部識別和步態參數評估方面具有更高的精度[9]。然而，目前基于Azure Kinect驅動的肌骨動力學計算流程還沒有被驗證分析。
本研究擬基于新一代的Azure Kinect深度視頻捕捉設備，結合足地接觸模型，計算下肢關節力和地面反作用力等指標，同時通過Vicon系統數據進行驗證。
1 材料和方法
1.1 受試者招募及步態數據采集
本研究擬招募健康受試者，采集其運動捕捉數據，包括皮膚表面反光球和深度視頻兩種數據。納入標準：① 年齡18～65歲，男女不限；② 身體質量指數（body mass index，BMI） 為18.5～23.9 kg·m?2。排除標準：有步行功能障礙的疾病，如帕金森病、脊髓損傷、周圍神經病變、下肢骨折及嚴重的下肢骨關節病等。研究招募了12名健康受試者，均為男性，身高（1.73 ± 0.06）m，體重（66.9 ± 8.3）kg，年齡（25 ± 2.6）歲。由于2名受試者的深度視頻數據采集失敗，本研究納入分析的受試者只有10名。在實驗開始前，受試者會充分了解實驗流程和方法，并簽署知情同意書。本項目的研究已經得到中國科學院深圳先進技術研究院人體實驗倫理委員會批準（批件號：SIAT-IRB-230115-H0640）。
本實驗采用采用Vicon運動捕捉系統（Vicon，Oxford Metrics Ltd.，英國）、深度相機Azure Kinect（Microsoft Corporation，美國）和測力板AMTI（OR6，AMTI，美國）對志愿者運動學數據和測力板數據進行采集。其中Vicon運動捕捉采樣頻率為100 Hz，測力板采樣頻率1 000 Hz，深度視頻捕捉采樣頻率30 Hz。在確定反光球貼點方式時，本文以Vicon三維步態捕捉系統全身Plug-in Gait貼點方式為基礎，在膝關節、踝關節和足上增加反光球數量[14]。在視頻采集時，需要用iPi Recorder（iPi Soft，LLC，俄羅斯）對周圍環境進行采集，從而消除環境對于人體骨架識別的影響。同時，采用棋盤板對深度相機進行標定，從而獲得兩臺Azure Kinect相機的相對位置。在進行運動捕捉時，需要將Azure Kinect設備和Vicon設備進行同步，以便能同時采集反光球數據和深度視頻數據。
1.2 數據預處理
在步態采集過程中，步態分析系統能夠捕捉到每個反光球的三維坐標和測力板的三維力學信息。為了獲得光順的運動學軌跡，本研究采用Nexus軟件自帶的Woltring濾波方法。同時，對地面反作用力采用截止頻率為25 Hz的低通、二階、零相移Butterworth方法進行濾波處理[15]。對于Azure Kinect采集的深度視頻數據，本研究采用iPi Mocap Studio進行處理。首先需要對受試者進行靜態姿態標定和身高設置，保持受試者初始姿態與骨架模型一致。在步態過程中，提取頸部、軀干、上肢及下肢關鍵關節節點，獲得受試者的骨架模型數據（見圖1）。
圖1
受試者的深度視頻數據和關鍵關節位置
Figure1.
Depth video data and key point positions of the participant
1.3 肌骨動力學建模
1.3.1 基于反光球和測試板數據的肌骨動力學模型
在本研究中，采用Anybody（AnyBody Technology A/S，丹麥）肌骨建模軟件來進行個性化肌骨建模及動力學分析[1]。Anybody軟件動力學求解流程主要包括靜態縮放、逆向運動學和逆向動力學分析。在逆向運動學中，建立的模型為剛體模型，只需反光球數據作為輸入，即可進行求解得到受試者關節角度。在逆向動力學中，計算得到的關節角度和測力板數據作為模型輸入，通過肌肉募集優化來獲得關節力、關節力矩和肌肉力[11]。
1.3.2 基于Azure Kinect驅動的下肢肌骨動力學建模
基于Azure Kinect驅動的肌骨動力學模型，由于缺少測力板作為輸入，在模型計算過程中需要加入足地接觸模型[11]。在構建足地接觸模型時，需要在雙腳與地面之間分布建立人工肌肉單元，每只腳上有23個彈性接觸單元。對于每個接觸單元來說，通過定義五個人工肌肉驅動器來預測地面反作用力，其中一個驅動器產生垂直地面作用力，另外兩對驅動器產生前后方向和內外方向作用力。基于Azure Kinect驅動的下肢肌骨動力學計算流程如圖2所示。
圖2
基于Azure Kinect驅動的肌骨動力學模型計算流程
Figure2.
Azure Kinect-based full body musculskeletal multibody dynamics workflow
在逆向動力學中，通過肌肉募集準則，可以求解得到每個接觸點垂直方向、前后方向及內外方向的接觸力大小。求解過程采用采用肌肉募集準則進行求解，優化方程如下所示[16]：
 |
 |
式中，
為優化函數，
表示第
個肌肉，
表示肌肉數量，
表示肌肉強度，
表示第
個接觸力，
表示接觸單元數量，
表示接觸單元強度，
表示第
個殘余力，
表示殘余力數量，
表示殘余力強度。
為動力學平衡方程系數矩陣，
為外力和慣性力，
為未知肌肉力、接觸力、關節力和殘余力的向量。
1.4 模型計算評估
本研究中以采集的地面反作用力和基于Vicon計算的下肢關節角度和關節力作為參考值，對比驗證基于Azure Kinect計算流程的運動學和動力學數據。對于下肢關節角度、關節接觸力和地面反作用力，選取右腳站立相數據進行處理，每個站立相數據被分為100個數據點。同時，為了消除個體化差異，對關節接觸力和地面反作用力進行歸一化處理，即除以受試者體重。對Azure Kinect和Vicon驅動模型計算得到的運動學和動力學數據，利用均方根誤差（root mean square error，RMSE）和Pearson相關系數（ρ）對結果進行了量化分析。其中ρ ≤ 0.35代表弱相關，0.35 < ρ ≤ 0.67表示中等相關，0.67 < ρ≤0.9為強相關，0.9 < ρ為特別相關。為了更加準確和全面地評價模型的預測精度，本文還引入了平均絕對偏差（mean absolute deviation，MAD）、Sprague和Geers幅值（M）、相（P）和綜合誤差（C）的指標[17]。其中MAD、RMSE、M、P和C越大，代表基于Azure Kinect計算的運動學和動力學數據誤差越大。
同時，為了對Azure Kinect計算的運動學和動力學數據在整個時間序列進行分析，本研究引入了統計參數映射（statistical parametric mapping，SPM）分析[18]。SPM基于隨機場理論進行拓撲分析，計算數據群集超過閾值的統計學顯著性[18]。本研究采用一維SPM配對樣本t檢驗對Azure Kinect與Vicon系統計算得到的運動學和動力學數據進行對比分析。檢驗水準為0.05。統計參數映射分析采用spm1d（https://spm1d.org/），所有計算都是在Matlab（Matlab R2022b，MathWorks，美國）中完成。
2 結果
2.1 關節角度
基于Azure Kinect驅動的肌骨動力學模型計算的關節角度與Vicon系統參考值對比結果如圖3所示。通過SPM配對樣本t檢驗發現，髖關節屈伸角度在0%～76%和96%～100%階段、內外展角度在0%～66%階段、內外旋角度在0%～11%和96%～100%階段的差異有統計學意義。同時，膝關節屈伸角度在10%～16%和94%～100%階段、踝關節角度在32%～89%階段的差異有統計學意義。
圖3
基于Vicon和Azure Kinect驅動模型計算得到的關節角度
其中，紅色區域代表Azure Kinect模型計算角度的分布范圍，紅線為平均值曲線，而灰色區域代表Vicon模型計算角度的分布范圍，黑線為平均值曲線，藍色陰影部分代表差異有統計學意義的區域
Figure3. Comparison of lower limb joint angles between Azure Kinect (red) and Vicon (gray) systemsshaded areas indicating ± 1 standard deviation. Blue shading highlights significant discrepancies between predictions and measurements
基于Azure Kinect得到的下肢矢狀面關節角度與Vicon數據強相關或特別相關（ρ分別為0.92 ± 0、0.89 ± 0.03和0.90 ± 0.04）。然而，矢狀面關節角度還存在較大誤差。Azure Kinect獲得的髖關節內外翻和內外旋角度與Vicon系統得到的數據也具有強相關性（ρ > 0.776），MAD和RMSE在2.18～2.94°之間。整體來說，Azure Kinect獲得的下肢關節角度整體低于Vicon獲得的角度（M平均值為–36.31%～ –21.08%）。對于下肢關節角度，髖關節內外翻的相位差最大［P = （20.15 ± 12.98）%］，而髖關節內外旋角度的綜合誤差最大［C = （45.8 ± 25.7）%］。具體參數見附件1。
2.2 歸一化的地面反作用力
基于Azure Kinect預測的地面反作用力與Vicon系統測量值如圖4所示。通過SPM配對樣本t檢驗發現，前后方向地面反作用力在81%～92%階段、垂直方向地面反作用力主要在32%～36%和59%～82%階段的差異有統計學意義。
圖4
Azure Kinect得到的地面反作用力與Vicon系統實驗測量值對比
其中，紅色區域代表Azure Kinect模型預測的地面反作用力分布范圍，紅線為平均值曲線，而灰色區域代表Vicon系統實驗測量值的分布范圍，黑線為平均值曲線，藍色陰影部分代表差異有統計學意義的區域
Figure4. Comparison between predicted (red) and measured (gray) ground reaction forcesshaded areas indicating ± 1 standard deviation. Blue shading highlights significant discrepancies between predictions and measurements
基于Azure Kinect得到的地面反作用力與Vicon系統實驗測量值呈強相關或特別相關（ρ分別為0.85 ± 0.08、0.90 ± 0.01和0.89 ± 0.02）。整體來說，內外方向和垂直方向地面反作用力整體低于測量值［M分別為（–12.69 ± 15.46）%和（–4.18 ± 3.48）%］，而前后方向的測量值高于預測值［M = （19.44 ± 9.81）%］。整體來說，前后方向地面反作用力的綜合誤差最大［C = （21.59 ± 8.69）%］。具體參數見附件2。
2.3 歸一化的下肢關節力
基于Azure Kinect驅動的肌骨動力學模型下肢關節接觸力預測值與Vicon系統計算值的對比結果如圖5所示。通過SPM配對樣本t檢驗發現，髖關節接觸力在10%～13%階段、膝關節接觸力在9%～20%和42%～48%階段、踝關節接觸力在10%～25%和31%～38%階段的差異有統計學意義。
圖5
基于Vicon和Azure Kinect驅動模型計算得到的下肢關節接觸力
其中，紅色區域代表Azure Kinect模型計算關節接觸力的分布范圍，紅線為平均值曲線，而灰色區域代表Vicon模型計算關節接觸力的分布范圍，黑線為平均值曲線，藍色陰影部分代表差異有統計學意義的區域
Figure5. Comparison of lower limb joint contact forces between Azure Kinect (red) and Vicon (gray) systemsshaded areas indicating ± 1 standard deviation. Blue shading highlights significant discrepancies between predictions and measurements
Azure Kinect預測值與Vicon系統計算得到的關節力具有強相關性（ρ分別為0.78 ± 0.08，0.81 ± 0.05和0.89 ± 0.02）。Azure Kinect模型計算得到的膝關節接觸力低于Vicon模型［M = （–11.64 ± 6.89）%］，而髖關節和踝關節關節接觸力剛好相反［M分別為（1.54 ± 13.56)%和（1.83 ± 8.61）%］。整體來說，髖關節和膝關節的綜合誤差較大。具體參數見附件3。
3 討論
本研究建立了基于Azure Kinect驅動的肌骨模型動力學求解流程，計算得到的下肢關節角度、關節力和地面反作用力通過Vicon驅動的模型進行了驗證。在計算下肢動力學時，采用了足地接觸模型[12]，可以消除步態分析對于測力板的依賴。同時，Azure Kinect驅動的肌骨模型計算得到的地面反作用力和下肢關節接觸力也具有較高的精度。與傳統的基于反光球和測力板驅動的肌骨動力學模型相比[3-4]，該方法在成本、占地面積、便攜性和操作方面具有突出的優勢，這有助于步態分析在臨床中的應用推廣。
本研究計算的下肢關節角度曲線與Vicon得到的結果強相關（ρ平均值為0.78～0.92），但是MAD和RMSE誤差高達5.66°。在矢狀面方面，本研究計算的下肢關節角度誤差小于以往基于Azure Kinect直接獲得的角度誤差（RMSE為5.0～17.4°）[8]。在運動學計算時，需要先根據視頻數據獲取關節節點數據，再通過逆向運動學計算下肢關節角度。因此，關節點的位置對于下肢關節角度非常重要，關節位置的微小變化會極大地影響關節角度的準確性[19]。本研究采用了考慮關節約束的肌骨模型來求解關節角度，在一定程度上能消除深度視頻運動學誤差對于結果的影響。相對于Kinect v2驅動的下肢肌骨動力學模型，本研究采用的Azure Kinect能很好地識別人體關鍵點，下肢關節角度的精度有較大提升[9]。需要注意的是，與Vicon驅動的模型相比，Azure Kinect體節模型在足部的控制點過少，無法有效地同時驅動踝關節和距下關節。因此，本研究在建模過程中對距下關節進行鎖定，無法求解步態過程中距下關節角度。總體來說，采用Azure Kinect結合肌骨模型，在下肢關節角度計算精度方面有一定提升，便于臨床下肢運動的評估。
在計算動力學過程中，本研究引入了足地接觸模型[16]，只需要Azure Kinect數據就可以計算得到下肢關節力和地面反作用力。由于本研究采用足地接觸模型來替代測力板，下肢動力學的計算精度與足地接觸力預測模型密切相關。以往研究發現，步態速度和足部姿態等參數影響著足地接觸力[11]。因此，足部姿態的識別準確度極大地影響著足地接觸力的預測精度。相比Kinect v1和Kinect v2深度相機，Azure Kinect在足部識別和步態參數算法方面進行了改進，能很好地識別足部參數和步態時空參數[9]。在地面反作用力預測方面，特別是垂直地面反作用力，本研究預測值誤差（RMSE = 0.09 ± 0.02）小于以往基于Kinect v2模型的結果（RMSE = 0.25 ± 0.89）[8]。在下肢關節力預測方面，本模型（RMSE范圍為0.44～0.68）相對以往研究也具有較大的提升（以往研究RMSE范圍為0.92～1.54）[8]。本研究采用的肌骨動力學模型計算流程包含逆向運動學和逆向動力學，逆向動力學的計算需要關節角度作為輸入。Azure Kinect在運動學捕捉和足部關鍵節點識別方面精度比前代產品明顯提高，這對下肢關節角度、下肢動力學及足地接觸力計算精度的提高至關重要。
本研究還存在一些局限性。首先未考慮Azure Kinect不同角度配置和數量對于運動學的影響。本研究所采用的雙Azure Kinect攝像頭，呈180°擺放。以往研究表明，深度攝像設備擺放位置對于下肢運動學角度計算有影響，后期研究應該進一步考慮此因素[13]。同時，本研究只采集了正常步速的下肢動力學和測力板數據。基于Azure Kinect驅動的肌骨動力學模型在不同活動狀態獲得的下肢動力學分析精度還需要進一步研究。另外，本研究在人體皮膚表面貼上反光球，這些反光球可能會影響Azure Kinect的三維深度視頻數據及關節節點提取，進而影響運動學和動力學的計算精度。
4 結論
本研究基于Azure Kinect深度相機驅動的肌骨動力學流程，結合足地接觸模型，對下肢關節角度、關節接觸力和地面反作用力的預測精度進行了分析。相對于Kinect v1和Kinect v2，本模型計算的下肢運動學和動力學數據精度均有較大提升。基于Azure Kinect驅動的肌骨動力學模型計算流程簡單、設備便攜，有望在臨床步態分析中進行應用。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：實驗設計和數據收集由彭迎虎和王琳負責，數據分析由陳飛和黨曉棟負責，論文寫作由彭迎虎、陳瑱賢和李光林完成。
倫理聲明：本研究通過了中國科學院深圳先進技術研究院人體實驗倫理委員會的審批（批文編號：SIAT-IRB-
本文附件見本刊網站的電子版本（biomedeng.cn）。
0 引言
下肢關節運動學和動力學數據對于神經肌肉系統疾病評估及機制探究至關重要。為了獲取下肢肌骨動力學數據，研究人員開發了多種肌骨多剛體動力學仿真平臺，如Anybody[1]和Opensim[2]。在肌骨動力學模型計算中，通常需要反光球式運動捕捉系統（Vicon和Qualisys）來獲取人體運動學數據作為輸入[3-4]。基于反光球的運動捕捉系統精度高，但存在占用空間大、預處理時間長、價格昂貴、容易被遮擋及存在皮膚偽影等缺點[5]。同時，運動捕捉系統中測力板也存在著一定局限性，如價格昂貴、便攜性差、患者有效步態獲取困難等[6]。運動捕捉系統的這些局限性，阻礙了下肢肌骨動力學分析方法在臨床中的進一步應用。
針對目前反光球式運動捕捉系統存在的一系列問題，研究人員對便攜和低成本的運動捕捉方法進行了探索[7]。深度視頻捕捉方法，如微軟的Kinect設備，由于可視化、成本低以及便攜等特點，逐漸應用于臨床姿態評估、步態分析和康復訓練等方面[7-8]。目前基于深度視頻的運動捕捉方法主要集中在時空參數和關節角度方面[9-10]，在下肢動力學方面的應用還比較少。下肢肌骨動力學的計算，一般需要測力板和運動學數據作為輸入。為了消除地面反作用力對于下肢動力學計算的限制，很多學者提出利用足地接觸模型來替代測力板[8, 11-12]。Fluit等[12]提出了一種基于人工肌肉驅動器的足地接觸模型，在逆向動力學中，通過建立包括人工肌肉的肌肉募集準則來預測地面反作用力。本團隊[11]也進一步分析了足地接觸模型的適用速度范圍，研究表明足地接觸模型在慢走、正常走和快走時能較好地預測下肢動力學數據。盡管相關研究已提出了基于Kinect v1 和Kinect v2驅動的肌骨動力學模型，但由于Kinect v1和Kinect v2在足部識別和步態參數評估方面精度低，導致動力學計算存在較大的偏差[13]。相對于Kinect v1和Kinect v2，新一代的Azure Kinect系統在足部識別和步態參數評估方面具有更高的精度[9]。然而，目前基于Azure Kinect驅動的肌骨動力學計算流程還沒有被驗證分析。
本研究擬基于新一代的Azure Kinect深度視頻捕捉設備，結合足地接觸模型，計算下肢關節力和地面反作用力等指標，同時通過Vicon系統數據進行驗證。
1 材料和方法
1.1 受試者招募及步態數據采集
本研究擬招募健康受試者，采集其運動捕捉數據，包括皮膚表面反光球和深度視頻兩種數據。納入標準：① 年齡18～65歲，男女不限；② 身體質量指數（body mass index，BMI） 為18.5～23.9 kg·m?2。排除標準：有步行功能障礙的疾病，如帕金森病、脊髓損傷、周圍神經病變、下肢骨折及嚴重的下肢骨關節病等。研究招募了12名健康受試者，均為男性，身高（1.73 ± 0.06）m，體重（66.9 ± 8.3）kg，年齡（25 ± 2.6）歲。由于2名受試者的深度視頻數據采集失敗，本研究納入分析的受試者只有10名。在實驗開始前，受試者會充分了解實驗流程和方法，并簽署知情同意書。本項目的研究已經得到中國科學院深圳先進技術研究院人體實驗倫理委員會批準（批件號：SIAT-IRB-230115-H0640）。
本實驗采用采用Vicon運動捕捉系統（Vicon，Oxford Metrics Ltd.，英國）、深度相機Azure Kinect（Microsoft Corporation，美國）和測力板AMTI（OR6，AMTI，美國）對志愿者運動學數據和測力板數據進行采集。其中Vicon運動捕捉采樣頻率為100 Hz，測力板采樣頻率1 000 Hz，深度視頻捕捉采樣頻率30 Hz。在確定反光球貼點方式時，本文以Vicon三維步態捕捉系統全身Plug-in Gait貼點方式為基礎，在膝關節、踝關節和足上增加反光球數量[14]。在視頻采集時，需要用iPi Recorder（iPi Soft，LLC，俄羅斯）對周圍環境進行采集，從而消除環境對于人體骨架識別的影響。同時，采用棋盤板對深度相機進行標定，從而獲得兩臺Azure Kinect相機的相對位置。在進行運動捕捉時，需要將Azure Kinect設備和Vicon設備進行同步，以便能同時采集反光球數據和深度視頻數據。
1.2 數據預處理
在步態采集過程中，步態分析系統能夠捕捉到每個反光球的三維坐標和測力板的三維力學信息。為了獲得光順的運動學軌跡，本研究采用Nexus軟件自帶的Woltring濾波方法。同時，對地面反作用力采用截止頻率為25 Hz的低通、二階、零相移Butterworth方法進行濾波處理[15]。對于Azure Kinect采集的深度視頻數據，本研究采用iPi Mocap Studio進行處理。首先需要對受試者進行靜態姿態標定和身高設置，保持受試者初始姿態與骨架模型一致。在步態過程中，提取頸部、軀干、上肢及下肢關鍵關節節點，獲得受試者的骨架模型數據（見圖1）。
圖1
受試者的深度視頻數據和關鍵關節位置
Figure1.
Depth video data and key point positions of the participant
1.3 肌骨動力學建模
1.3.1 基于反光球和測試板數據的肌骨動力學模型
在本研究中，采用Anybody（AnyBody Technology A/S，丹麥）肌骨建模軟件來進行個性化肌骨建模及動力學分析[1]。Anybody軟件動力學求解流程主要包括靜態縮放、逆向運動學和逆向動力學分析。在逆向運動學中，建立的模型為剛體模型，只需反光球數據作為輸入，即可進行求解得到受試者關節角度。在逆向動力學中，計算得到的關節角度和測力板數據作為模型輸入，通過肌肉募集優化來獲得關節力、關節力矩和肌肉力[11]。
1.3.2 基于Azure Kinect驅動的下肢肌骨動力學建模
基于Azure Kinect驅動的肌骨動力學模型，由于缺少測力板作為輸入，在模型計算過程中需要加入足地接觸模型[11]。在構建足地接觸模型時，需要在雙腳與地面之間分布建立人工肌肉單元，每只腳上有23個彈性接觸單元。對于每個接觸單元來說，通過定義五個人工肌肉驅動器來預測地面反作用力，其中一個驅動器產生垂直地面作用力，另外兩對驅動器產生前后方向和內外方向作用力。基于Azure Kinect驅動的下肢肌骨動力學計算流程如圖2所示。
圖2
基于Azure Kinect驅動的肌骨動力學模型計算流程
Figure2.
Azure Kinect-based full body musculskeletal multibody dynamics workflow
在逆向動力學中，通過肌肉募集準則，可以求解得到每個接觸點垂直方向、前后方向及內外方向的接觸力大小。求解過程采用采用肌肉募集準則進行求解，優化方程如下所示[16]：
|
|
式中，為優化函數，表示第個肌肉，表示肌肉數量，表示肌肉強度，表示第個接觸力，表示接觸單元數量，表示接觸單元強度，表示第個殘余力，表示殘余力數量，表示殘余力強度。為動力學平衡方程系數矩陣，為外力和慣性力，為未知肌肉力、接觸力、關節力和殘余力的向量。
1.4 模型計算評估
本研究中以采集的地面反作用力和基于Vicon計算的下肢關節角度和關節力作為參考值，對比驗證基于Azure Kinect計算流程的運動學和動力學數據。對于下肢關節角度、關節接觸力和地面反作用力，選取右腳站立相數據進行處理，每個站立相數據被分為100個數據點。同時，為了消除個體化差異，對關節接觸力和地面反作用力進行歸一化處理，即除以受試者體重。對Azure Kinect和Vicon驅動模型計算得到的運動學和動力學數據，利用均方根誤差（root mean square error，RMSE）和Pearson相關系數（ρ）對結果進行了量化分析。其中ρ ≤ 0.35代表弱相關，0.35 < ρ ≤ 0.67表示中等相關，0.67 < ρ≤0.9為強相關，0.9 < ρ為特別相關。為了更加準確和全面地評價模型的預測精度，本文還引入了平均絕對偏差（mean absolute deviation，MAD）、Sprague和Geers幅值（M）、相（P）和綜合誤差（C）的指標[17]。其中MAD、RMSE、M、P和C越大，代表基于Azure Kinect計算的運動學和動力學數據誤差越大。
同時，為了對Azure Kinect計算的運動學和動力學數據在整個時間序列進行分析，本研究引入了統計參數映射（statistical parametric mapping，SPM）分析[18]。SPM基于隨機場理論進行拓撲分析，計算數據群集超過閾值的統計學顯著性[18]。本研究采用一維SPM配對樣本t檢驗對Azure Kinect與Vicon系統計算得到的運動學和動力學數據進行對比分析。檢驗水準為0.05。統計參數映射分析采用spm1d（https://spm1d.org/），所有計算都是在Matlab（Matlab R2022b，MathWorks，美國）中完成。
2 結果
2.1 關節角度
基于Azure Kinect驅動的肌骨動力學模型計算的關節角度與Vicon系統參考值對比結果如圖3所示。通過SPM配對樣本t檢驗發現，髖關節屈伸角度在0%～76%和96%～100%階段、內外展角度在0%～66%階段、內外旋角度在0%～11%和96%～100%階段的差異有統計學意義。同時，膝關節屈伸角度在10%～16%和94%～100%階段、踝關節角度在32%～89%階段的差異有統計學意義。
圖3
基于Vicon和Azure Kinect驅動模型計算得到的關節角度
其中，紅色區域代表Azure Kinect模型計算角度的分布范圍，紅線為平均值曲線，而灰色區域代表Vicon模型計算角度的分布范圍，黑線為平均值曲線，藍色陰影部分代表差異有統計學意義的區域
Figure3. Comparison of lower limb joint angles between Azure Kinect (red) and Vicon (gray) systemsshaded areas indicating ± 1 standard deviation. Blue shading highlights significant discrepancies between predictions and measurements
基于Azure Kinect得到的下肢矢狀面關節角度與Vicon數據強相關或特別相關（ρ分別為0.92 ± 0、0.89 ± 0.03和0.90 ± 0.04）。然而，矢狀面關節角度還存在較大誤差。Azure Kinect獲得的髖關節內外翻和內外旋角度與Vicon系統得到的數據也具有強相關性（ρ > 0.776），MAD和RMSE在2.18～2.94°之間。整體來說，Azure Kinect獲得的下肢關節角度整體低于Vicon獲得的角度（M平均值為–36.31%～ –21.08%）。對于下肢關節角度，髖關節內外翻的相位差最大［P = （20.15 ± 12.98）%］，而髖關節內外旋角度的綜合誤差最大［C = （45.8 ± 25.7）%］。具體參數見附件1。
2.2 歸一化的地面反作用力
基于Azure Kinect預測的地面反作用力與Vicon系統測量值如圖4所示。通過SPM配對樣本t檢驗發現，前后方向地面反作用力在81%～92%階段、垂直方向地面反作用力主要在32%～36%和59%～82%階段的差異有統計學意義。
圖4
Azure Kinect得到的地面反作用力與Vicon系統實驗測量值對比
其中，紅色區域代表Azure Kinect模型預測的地面反作用力分布范圍，紅線為平均值曲線，而灰色區域代表Vicon系統實驗測量值的分布范圍，黑線為平均值曲線，藍色陰影部分代表差異有統計學意義的區域
Figure4. Comparison between predicted (red) and measured (gray) ground reaction forcesshaded areas indicating ± 1 standard deviation. Blue shading highlights significant discrepancies between predictions and measurements
基于Azure Kinect得到的地面反作用力與Vicon系統實驗測量值呈強相關或特別相關（ρ分別為0.85 ± 0.08、0.90 ± 0.01和0.89 ± 0.02）。整體來說，內外方向和垂直方向地面反作用力整體低于測量值［M分別為（–12.69 ± 15.46）%和（–4.18 ± 3.48）%］，而前后方向的測量值高于預測值［M = （19.44 ± 9.81）%］。整體來說，前后方向地面反作用力的綜合誤差最大［C = （21.59 ± 8.69）%］。具體參數見附件2。
2.3 歸一化的下肢關節力
基于Azure Kinect驅動的肌骨動力學模型下肢關節接觸力預測值與Vicon系統計算值的對比結果如圖5所示。通過SPM配對樣本t檢驗發現，髖關節接觸力在10%～13%階段、膝關節接觸力在9%～20%和42%～48%階段、踝關節接觸力在10%～25%和31%～38%階段的差異有統計學意義。
圖5
基于Vicon和Azure Kinect驅動模型計算得到的下肢關節接觸力
其中，紅色區域代表Azure Kinect模型計算關節接觸力的分布范圍，紅線為平均值曲線，而灰色區域代表Vicon模型計算關節接觸力的分布范圍，黑線為平均值曲線，藍色陰影部分代表差異有統計學意義的區域
Figure5. Comparison of lower limb joint contact forces between Azure Kinect (red) and Vicon (gray) systemsshaded areas indicating ± 1 standard deviation. Blue shading highlights significant discrepancies between predictions and measurements
Azure Kinect預測值與Vicon系統計算得到的關節力具有強相關性（ρ分別為0.78 ± 0.08，0.81 ± 0.05和0.89 ± 0.02）。Azure Kinect模型計算得到的膝關節接觸力低于Vicon模型［M = （–11.64 ± 6.89）%］，而髖關節和踝關節關節接觸力剛好相反［M分別為（1.54 ± 13.56)%和（1.83 ± 8.61）%］。整體來說，髖關節和膝關節的綜合誤差較大。具體參數見附件3。
3 討論
本研究建立了基于Azure Kinect驅動的肌骨模型動力學求解流程，計算得到的下肢關節角度、關節力和地面反作用力通過Vicon驅動的模型進行了驗證。在計算下肢動力學時，采用了足地接觸模型[12]，可以消除步態分析對于測力板的依賴。同時，Azure Kinect驅動的肌骨模型計算得到的地面反作用力和下肢關節接觸力也具有較高的精度。與傳統的基于反光球和測力板驅動的肌骨動力學模型相比[3-4]，該方法在成本、占地面積、便攜性和操作方面具有突出的優勢，這有助于步態分析在臨床中的應用推廣。
本研究計算的下肢關節角度曲線與Vicon得到的結果強相關（ρ平均值為0.78～0.92），但是MAD和RMSE誤差高達5.66°。在矢狀面方面，本研究計算的下肢關節角度誤差小于以往基于Azure Kinect直接獲得的角度誤差（RMSE為5.0～17.4°）[8]。在運動學計算時，需要先根據視頻數據獲取關節節點數據，再通過逆向運動學計算下肢關節角度。因此，關節點的位置對于下肢關節角度非常重要，關節位置的微小變化會極大地影響關節角度的準確性[19]。本研究采用了考慮關節約束的肌骨模型來求解關節角度，在一定程度上能消除深度視頻運動學誤差對于結果的影響。相對于Kinect v2驅動的下肢肌骨動力學模型，本研究采用的Azure Kinect能很好地識別人體關鍵點，下肢關節角度的精度有較大提升[9]。需要注意的是，與Vicon驅動的模型相比，Azure Kinect體節模型在足部的控制點過少，無法有效地同時驅動踝關節和距下關節。因此，本研究在建模過程中對距下關節進行鎖定，無法求解步態過程中距下關節角度。總體來說，采用Azure Kinect結合肌骨模型，在下肢關節角度計算精度方面有一定提升，便于臨床下肢運動的評估。
在計算動力學過程中，本研究引入了足地接觸模型[16]，只需要Azure Kinect數據就可以計算得到下肢關節力和地面反作用力。由于本研究采用足地接觸模型來替代測力板，下肢動力學的計算精度與足地接觸力預測模型密切相關。以往研究發現，步態速度和足部姿態等參數影響著足地接觸力[11]。因此，足部姿態的識別準確度極大地影響著足地接觸力的預測精度。相比Kinect v1和Kinect v2深度相機，Azure Kinect在足部識別和步態參數算法方面進行了改進，能很好地識別足部參數和步態時空參數[9]。在地面反作用力預測方面，特別是垂直地面反作用力，本研究預測值誤差（RMSE = 0.09 ± 0.02）小于以往基于Kinect v2模型的結果（RMSE = 0.25 ± 0.89）[8]。在下肢關節力預測方面，本模型（RMSE范圍為0.44～0.68）相對以往研究也具有較大的提升（以往研究RMSE范圍為0.92～1.54）[8]。本研究采用的肌骨動力學模型計算流程包含逆向運動學和逆向動力學，逆向動力學的計算需要關節角度作為輸入。Azure Kinect在運動學捕捉和足部關鍵節點識別方面精度比前代產品明顯提高，這對下肢關節角度、下肢動力學及足地接觸力計算精度的提高至關重要。
本研究還存在一些局限性。首先未考慮Azure Kinect不同角度配置和數量對于運動學的影響。本研究所采用的雙Azure Kinect攝像頭，呈180°擺放。以往研究表明，深度攝像設備擺放位置對于下肢運動學角度計算有影響，后期研究應該進一步考慮此因素[13]。同時，本研究只采集了正常步速的下肢動力學和測力板數據。基于Azure Kinect驅動的肌骨動力學模型在不同活動狀態獲得的下肢動力學分析精度還需要進一步研究。另外，本研究在人體皮膚表面貼上反光球，這些反光球可能會影響Azure Kinect的三維深度視頻數據及關節節點提取，進而影響運動學和動力學的計算精度。
4 結論
本研究基于Azure Kinect深度相機驅動的肌骨動力學流程，結合足地接觸模型，對下肢關節角度、關節接觸力和地面反作用力的預測精度進行了分析。相對于Kinect v1和Kinect v2，本模型計算的下肢運動學和動力學數據精度均有較大提升。基于Azure Kinect驅動的肌骨動力學模型計算流程簡單、設備便攜，有望在臨床步態分析中進行應用。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：實驗設計和數據收集由彭迎虎和王琳負責，數據分析由陳飛和黨曉棟負責，論文寫作由彭迎虎、陳瑱賢和李光林完成。
倫理聲明：本研究通過了中國科學院深圳先進技術研究院人體實驗倫理委員會的審批（批文編號：SIAT-IRB-
本文附件見本刊網站的電子版本（biomedeng.cn）。
