步態軌跡(ji)是(shi)(shi)一幀幀圖(tu)(tu)(tu)結構(gou)數據，圖(tu)(tu)(tu)結構(gou)就(jiu)是(shi)(shi)由點和(he)邊(bian)組成(cheng)的(de)(de)非歐幾里得(de)數據。圖(tu)(tu)(tu)結構(gou)數據與歐幾里得(de)數據，還是(shi)(shi)存在很大的(de)(de)差距，所以不(bu)能直接將卷(juan)(juan)(juan)積操(cao)作(zuo)應(ying)用于圖(tu)(tu)(tu)結構(gou)數據上(shang)，從而產生了專門處理圖(tu)(tu)(tu)結構(gou)數據的(de)(de)圖(tu)(tu)(tu)卷(juan)(juan)(juan)積操(cao)作(zuo)。圖(tu)(tu)(tu)卷(juan)(juan)(juan)積分為(wei)兩種(zhong)：基于空(kong)域(yu)和(he)基于頻域(yu)。本文介紹的(de)(de)是(shi)(shi)基于基于空(kong)域(yu)圖(tu)(tu)(tu)卷(juan)(juan)(juan)積的(de)(de)步態情緒(xu)識別方法。

       空(kong)域(yu)卷積(ji)通過(guo)將相(xiang)鄰(lin)(lin)節點(dian)的(de)(de)(de)信(xin)息(xi)進行(xing)聚(ju)合來類比傳統卷積(ji)。結(jie)合MPNN（消息(xi)傳遞網絡）的(de)(de)(de)思想(xiang)，空(kong)域(yu)卷積(ji)在(zai)形式(shi)上(shang)可(ke)以分解為兩(liang)個(ge)過(guo)程：第一(yi)個(ge)過(guo)程是(shi)確定每個(ge)節點(dian)的(de)(de)(de)鄰(lin)(lin)域(yu)節點(dian)并將節點(dian)的(de)(de)(de)信(xin)息(xi)傳遞給相(xiang)鄰(lin)(lin)的(de)(de)(de)節點(dian)；第二(er)個(ge)過(guo)程是(shi)節點(dian)獲取到相(xiang)鄰(lin)(lin)節點(dian)信(xin)息(xi)后(hou)，需要經過(guo)相(xiang)乘求和的(de)(de)(de)方法將信(xin)息(xi)進行(xing)聚(ju)合，從而實現(xian)節點(dian)的(de)(de)(de)狀態更新。

基于Shif時空圖卷積的步態情緒識別網絡

1.1 shift 卷積算子介紹

       Shift卷(juan)(juan)(juan)積(ji)算(suan)子將二維卷(juan)(juan)(juan)積(ji)分為空(kong)間域和通(tong)(tong)(tong)道(dao)(dao)域的(de)(de)(de)(de)(de)(de)卷(juan)(juan)(juan)積(ji)。首先在每個(ge)(ge)(ge)(ge)通(tong)(tong)(tong)道(dao)(dao)的(de)(de)(de)(de)(de)(de)空(kong)間域中實(shi)(shi)現(xian)Shift操作(zuo)，然后(hou)在通(tong)(tong)(tong)道(dao)(dao)域中進行 的(de)(de)(de)(de)(de)(de)卷(juan)(juan)(juan)積(ji)操作(zuo)，從(cong)而實(shi)(shi)現(xian)對(dui)特(te)(te)征(zheng)(zheng)的(de)(de)(de)(de)(de)(de)提取。因(yin)為在整(zheng)個(ge)(ge)(ge)(ge)操作(zuo)中，只有(you)(you)通(tong)(tong)(tong)道(dao)(dao)域的(de)(de)(de)(de)(de)(de) 卷(juan)(juan)(juan)積(ji)操作(zuo)中存(cun)在需(xu)要(yao)學(xue)習的(de)(de)(de)(de)(de)(de)參(can)數(shu)，所(suo)以與(yu)(yu)普通(tong)(tong)(tong)二維卷(juan)(juan)(juan)積(ji)相比，大大降低了模型參(can)數(shu)量(liang)。因(yin)而在應(ying)對(dui)少樣本的(de)(de)(de)(de)(de)(de)訓練問題中，可以得到不錯的(de)(de)(de)(de)(de)(de)識別效果。Shift卷(juan)(juan)(juan)積(ji)的(de)(de)(de)(de)(de)(de)具體操作(zuo)如圖1-1所(suo)示。Shift操作(zuo)通(tong)(tong)(tong)過將填充后(hou)的(de)(de)(de)(de)(de)(de)特(te)(te)征(zheng)(zheng)與(yu)(yu)特(te)(te)定的(de)(de)(de)(de)(de)(de)卷(juan)(juan)(juan)積(ji)核(he)（卷(juan)(juan)(juan)積(ji)核(he)中只有(you)(you)一個(ge)(ge)(ge)(ge)元(yuan)素為1，其余都(dou)為0）進行卷(juan)(juan)(juan)積(ji)操作(zuo)，從(cong)而實(shi)(shi)現(xian)特(te)(te)征(zheng)(zheng)向特(te)(te)定方向的(de)(de)(de)(de)(de)(de)平移(yi)。為了減少搜索的(de)(de)(de)(de)(de)(de)空(kong)間，可以選擇多個(ge)(ge)(ge)(ge)通(tong)(tong)(tong)道(dao)(dao)為一個(ge)(ge)(ge)(ge)組，在這個(ge)(ge)(ge)(ge)組中每個(ge)(ge)(ge)(ge)通(tong)(tong)(tong)道(dao)(dao)的(de)(de)(de)(de)(de)(de)特(te)(te)征(zheng)(zheng)進行相同方向的(de)(de)(de)(de)(de)(de)平移(yi)。

圖1-1 全局Shift圖卷積操(cao)作(zuo)

1.2 shift時空圖卷積網絡

 ;      Shift時空圖(tu)卷(juan)(juan)積(ji)(ji)網(wang)絡（Shift-Spatial and temporal Graph Convolutional Network，Shift-STGCN）就是將Shift卷(juan)(juan)積(ji)(ji)平移(yi)再卷(juan)(juan)積(ji)(ji)的思(si)想用(yong)在了圖(tu)卷(juan)(juan)積(ji)(ji)上，實現用(yong)較少的參(can)數(shu)卻能有效地提取圖(tu)結(jie)構(gou)特征。圖(tu)結(jie)構(gou)是非歐(ou)幾里(li)得結(jie)構(gou)的數(shu)據(ju)，傳統的Shift卷(juan)(juan)積(ji)(ji)算子是將歐(ou)幾里(li)得結(jie)構(gou)的數(shu)據(ju)進(jin)行(xing)一行(xing)或者一列的平移(yi)，所以不能直接用(yong)在圖(tu)結(jie)構(gou)上。因此Shift圖(tu)卷(juan)(juan)積(ji)(ji)操(cao)作與傳統的Shift卷(juan)(juan)積(ji)(ji)算子存在一定的差(cha)異。

       Shift圖卷(juan)(juan)積(ji)的(de)(de)(de)設計精妙之處在(zai)于：通過(guo)(guo)將節(jie)點(dian)的(de)(de)(de)通道(dao)特征進行平移(yi)，實(shi)現將節(jie)點(dian)信(xin)息傳遞(di)給其他節(jie)點(dian)，然后(hou)再通過(guo)(guo)1x1的(de)(de)(de)卷(juan)(juan)積(ji)操作實(shi)現了(le)(le)節(jie)點(dian)狀態的(de)(de)(de)更新。通過(guo)(guo)較(jiao)少(shao)的(de)(de)(de)參數量和計算量就完成了(le)(le)空域圖卷(juan)(juan)積(ji)的(de)(de)(de)兩個過(guo)(guo)程。Shift圖卷(juan)(juan)積(ji)分(fen)兩種(zhong)：局部Shift圖卷(juan)(juan)積(ji)和全局Shift圖卷(juan)(juan)積(ji)。

       局部shift圖(tu)卷(juan)積只考慮了(le)圖(tu)結構的連(lian)接(jie)關系。假設(she)有(you)(you)個(ge)(ge)(ge)節(jie)點(dian)(dian)(dian)(dian)b，該節(jie)點(dian)(dian)(dian)(dian)共有(you)(you) 個(ge)(ge)(ge)通(tong)道(dao)特征，有(you)(you) 個(ge)(ge)(ge)鄰接(jie)的節(jie)點(dian)(dian)(dian)(dian)，則將(jiang)通(tong)道(dao)均勻劃(hua)分為 個(ge)(ge)(ge)片(pian)(pian)區(qu)，每(mei)個(ge)(ge)(ge)片(pian)(pian)區(qu)包含了(le) 個(ge)(ge)(ge)通(tong)道(dao)。將(jiang)這(zhe)些片(pian)(pian)區(qu)依次分配給自(zi)節(jie)點(dian)(dian)(dian)(dian)和鄰接(jie)節(jie)點(dian)(dian)(dian)(dian)進行(xing)填(tian)充(chong)，即將(jiang)鄰接(jie)節(jie)點(dian)(dian)(dian)(dian)對應位置的特征通(tong)過上(shang)下平移從而實現(xian)填(tian)充(chong)。以七節(jie)點(dian)(dian)(dian)(dian)圖(tu)為例，局部Shift圖(tu)卷(juan)積操作流程如圖(tu)1-2所示。

圖1-2 局部Shift圖卷積操作

       局(ju)部Shift圖卷積(ji)由于只考(kao)慮關節(jie)(jie)點(dian)(dian)的(de)(de)(de)固有(you)連(lian)(lian)接(jie)，這樣會(hui)(hui)自動忽略掉不(bu)相鄰(lin)節(jie)(jie)點(dian)(dian)之(zhi)間的(de)(de)(de)關系(xi)。例如一個(ge)人在開心的(de)(de)(de)時候，雙手(shou)的(de)(de)(de)擺幅會(hui)(hui)增大，故而會(hui)(hui)使用(yong)基(ji)節(jie)(jie)點(dian)(dian)和手(shou)節(jie)(jie)點(dian)(dian)之(zhi)間的(de)(de)(de)距離來表征，但是這兩(liang)個(ge)節(jie)(jie)點(dian)(dian)并不(bu)是直(zhi)接(jie)連(lian)(lian)接(jie)的(de)(de)(de)。所以(yi)不(bu)相鄰(lin)節(jie)(jie)點(dian)(dian)的(de)(de)(de)隱藏關系(xi)很難通(tong)過局(ju)部Shift圖卷積(ji)獲取到。

       第二種(zhong)就是全(quan)局Shift圖(tu)卷積。這種(zhong)卷積就是假設所有(you)的(de)(de)節點(dian)都存在相連的(de)(de)關(guan)系。全(quan)局Shift圖(tu)卷積將每個通(tong)(tong)道都作為一(yi)個分區，從自(zi)身(shen)節點(dian)開始(shi)，依次將其(qi)他節點(dian)相應位置的(de)(de)特(te)征通(tong)(tong)過平(ping)移填補(bu)到(dao)一(yi)個個分區中(zhong)。依次進(jin)行循環平(ping)移填補(bu)直到(dao)填滿最后(hou)一(yi)個通(tong)(tong)道。經過平(ping)移填補(bu)操(cao)作之后(hou)，特(te)征圖(tu)就會呈現一(yi)個螺旋的(de)(de)狀況。全(quan)局Shift操(cao)作如圖(tu)1-3所示。

圖1-3 全(quan)局Shift圖卷積操(cao)作

       全局(ju)Shift圖卷積(ji)的優點在于能夠關(guan)注(zhu)到(dao)所有(you)節(jie)點之間的關(guan)系，但是相對應(ying)的，也忽略了(le)關(guan)節(jie)之間最根本(ben)的固有(you)連(lian)(lian)接。因此添加(jia)了(le)一個可學習(xi)的掩碼Mask。掩碼就是在數(shu)據上(shang)蓋(gai)上(shang)一層掩膜，給予每個特征(zheng)點表征(zheng)重要性的權值，從(cong)而(er)(er)起到(dao)篩(shai)選和選擇的效果。將Mask與Shift卷積(ji)后的特征(zheng)相乘以(yi)達到(dao)區分不同節(jie)點特征(zheng)重要程(cheng)度的作(zuo)用(yong)，從(cong)而(er)(er)解決上(shang)述忽略固有(you)連(lian)(lian)接的問題。

       通過全局Shift圖卷積提(ti)(ti)取每一幀圖結構數據的空域(yu)特(te)征(zheng)后，再經(jing)過時域(yu)Shift卷積提(ti)(ti)取時域(yu)特(te)征(zheng)，構成(cheng)完成(cheng)的Shift時空圖卷積網絡。

        時(shi)域(yu)Shift卷積(ji)：選定一個參數(shu) ，表示當(dang)前(qian)幀(zhen)(zhen)數(shu)據會(hui)獲取(qu)(qu)到前(qian) 幀(zhen)(zhen)和后(hou) 幀(zhen)(zhen)的(de)信息，將(jiang)當(dang)前(qian)時(shi)刻 的(de)特征通道均勻分為 份分區(qu)，然(ran)后(hou)通過Shift操作將(jiang)前(qian)后(hou)幀(zhen)(zhen)的(de)特征平(ping)移填補到相應的(de)分區(qu)。而后(hou)進行 卷積(ji)實現(xian)時(shi)域(yu)的(de)特征提取(qu)(qu)。

        Shift操作(zuo)與 卷(juan)(juan)積操作(zuo)的(de)結(jie)(jie)合(he)有兩種(zhong)方(fang)式。第一(yi)種(zhong)方(fang)式是Shift-1x1Conv，第二種(zhong)方(fang)式是Shift-1x1Conv-Shift，第二種(zhong)方(fang)式能夠獲(huo)得(de)更大的(de)感受野，因(yin)此識別(bie)效果(guo)(guo)更好。Shift時空圖卷(juan)(juan)積模塊的(de)結(jie)(jie)果(guo)(guo)如圖1-4所示(shi)。

圖 1-4  Shift時(shi)空圖卷積模塊

        Shift時空圖(tu)卷(juan)(juan)積(ji)網(wang)絡就是(shi)由上述的九個(ge)shift時空圖(tu)卷(juan)(juan)積(ji)模塊串(chuan)聯(lian)得到。每個(ge)子(zi)模塊都將shift圖(tu)卷(juan)(juan)積(ji)和時域shift卷(juan)(juan)積(ji)嵌套到了殘差模塊中。