買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉河北工業大學申請的專利基于特征增強的人臉關鍵點檢測方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN115205940B 。

龍圖騰網通過國家知識產權局官網在2025-08-12發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210847877.9，技術領域涉及：G06V40/16；該發明授權基于特征增強的人臉關鍵點檢測方法是由張滿囤;劉川;申沖;師子奇;權子洋;史京珊;郭竹硯設計研發完成，并于2022-07-19向國家知識產權局提交的專利申請。

本基于特征增強的人臉關鍵點檢測方法在說明書摘要公布了：本發明為基于特征增強的人臉關鍵點檢測方法，首先提取人臉圖像的卷積特征，并將卷積特征映射為圖節點特征；根據數據集生成關鍵點鄰接矩陣，將圖節點特征和關鍵點鄰接矩陣輸入到特征增強模塊中，特征增強模塊由四個沙漏網絡級聯而成，相鄰兩個沙漏網絡之間插入消息傳遞層，同時根據人臉面部結構將關鍵點進行分組，每組關鍵點連成一條邊界，一共得到13條邊界；將邊界等效為樹節點，構建雙向樹結構，通過雙向樹結構進行消息傳遞，得到增強節點特征；增強節點特征經過關鍵點生成模塊的圖卷積推理，預測得到關鍵點坐標矩陣，完成人臉關鍵點檢測。該方法利用消息傳遞機制使得可見邊界可以根據人臉面部結構為遮擋邊界提供信息，提高了預測關鍵點坐標的準確性。

本發明授權基于特征增強的人臉關鍵點檢測方法在權利要求書中公布了：1.一種基于特征增強的人臉關鍵點檢測方法，其特征在于，該方法包括以下步驟： 步驟1、獲取由多張人臉圖像組成的數據集，每張人臉圖像包含N個關鍵點，關鍵點分布在人臉外輪廓、眉毛輪廓、唇部輪廓以及鼻梁位置； 步驟2、構建人臉關鍵點檢測模型，包括特征提取模塊、節點嵌入模塊、鄰接矩陣生成模塊、特征增強模塊和關鍵點生成模塊； 2-1、人臉圖像經過特征提取模塊得到卷積特征，節點嵌入模塊將卷積特征映射為圖節點特征； 2-2、通過鄰接矩陣生成模塊得到關鍵點鄰接矩陣； 首先，在訓練之前將數據集構建成一個三階數據張量 表示實數空間，M表示人臉圖像的數量，x，y表示關鍵點的坐標；然后，沿著x和y方向將三階數據張量T分割為數據張量和所有人臉圖像組成數據張量Tx和Ty的行，每張人臉圖像所有關鍵點的橫、縱坐標分別組成數據張量Tx和Ty的列；根據數據張量Tx，計算關鍵點之間沿x方向的皮爾遜相關系數，得到x方向相關系數矩陣同理，得到y方向相關系數矩陣再通過式1計算人臉圖像中關鍵點之間的皮爾遜相關系數，得到關系矩陣C； 式中，abs·表示返回矩陣元素的關鍵值； 選取關系矩陣C中每行較大的n個值來構建稀疏矩陣Q，為每個關鍵點選取n個最相關的關鍵點；通過式2對稀疏矩陣Q進行歸一化，得到關鍵點鄰接矩陣； 式中，Qij、Cij分別表示稀疏矩陣Q和關系矩陣C中第i行第j列的元素，表示每行較大的n個值； 2-3、特征增強模塊由四個沙漏網絡級聯而成，相鄰兩個沙漏網絡之間插入一個消息傳遞層；將圖節點特征和關鍵點鄰接矩陣輸入到特征增強模塊中，得到增強節點特征； 根據人臉面部結構對所有關鍵點進行分組，每組關鍵點連成一條邊界，一共得到13條邊界，分別為人臉外輪廓、左眉毛、右眉毛、鼻梁、鼻子下邊界、左眼睛上邊界、左眼睛下邊界、右眼睛上邊界、右眼睛下邊界、上嘴唇上邊界、上嘴唇下邊界、下嘴唇上邊界和下嘴唇下邊界；定義：人臉外輪廓分別與左、右眉毛，左、右眼睛下邊界和下嘴唇下邊界之間存在聯系，左眼睛上邊界分別與左眉毛和左眼睛下邊界之間存在聯系，右眼睛上邊界分別與右眉毛和右眼睛下邊界之間存在聯系，鼻梁分別與左、右眼下邊界和鼻子下邊界存在聯系，上嘴唇上邊界分別與鼻子下邊界和上嘴唇下邊界存在聯系，下嘴唇上邊界分別與上嘴唇下邊界和下嘴唇下邊界存在聯系；將邊界等效為樹節點，將存在聯系的邊界對應的樹節點連接起來，構造由樹結構A和B組成的雙向樹結構，樹結構A和B中的樹節點A1～A13和樹節點B1～B13分別表示人臉外輪廓、左眉毛、右眉毛、鼻梁、鼻子下邊界、左眼睛上邊界、左眼睛下邊界、右眼睛上邊界、右眼睛下邊界、上嘴唇上邊界、上嘴唇下邊界、下嘴唇上邊界和下嘴唇下邊界； 消息傳遞分為層內消息傳遞和層間消息傳遞，層內消息按照雙向樹結構進行傳遞；對于第一個沙漏網絡與第二個沙漏網絡之間的消息傳遞層，當按照樹結構A進行傳遞時，對每個樹節點進行一次由卷積層、批歸一化層、激活層、層間消息傳遞層和層內消息傳遞層組成的循環操作；首先，第一次循環操作從樹節點A1開始，第一個沙漏網絡輸出的圖節點特征經過卷積層，得到特征F，特征F經過批歸一化層和激活層后，得到特征R1；特征R1經過三個分支操作，一是，將特征R1放入特征矩陣result_A中，并對特征矩陣result_A進行更新，特征矩陣result_A初始為空；二是，特征R1經過層間消息傳遞層后，得到層間消息傳遞特征MsgA1，并將層間消息傳遞特征MsgA1放入層間特征矩陣中，并對層間特征矩陣進行更新；三是，特征R1經過層內消息傳遞層后，得到層內消息傳遞特征Inner1_out；由于樹節點A1會影響樹節點A2、A3、A7、A9和A13，因此將層內消息傳遞特征Inner1_out分別放置在鄰接樹節點特征矩陣中樹節點A2、A3、A7、A9和A13對應的位置，分別記為鄰接樹節點特征Msg_a2、Msg_a3、Msg_a7、Msg_a9和Msg_a13，鄰接樹節點特征矩陣初始為空；接著，進行第二次循環操作對樹節點A13進行操作，第一個沙漏網絡輸出的圖節點特征經過卷積層，得到維度為特征F，特征F與數節點A13的鄰接樹節點特征Msg_a13相加后再經過批歸一化層和激活層，得到特征R2；特征R2經過三個分支操作，一是，將特征R2放入特征矩陣result_A中對特征矩陣result_A進行更新；二是，特征R2經過層間消息傳遞層后，得到層間消息傳遞特征MsgA13，將層間消息傳遞特征MsgA13放入層間特征矩陣中，對層間特征矩陣進行更新；三是，特征R2經過層內消息傳遞層中，得到層內消息傳遞特征Inner13_out；由于樹節點A13會影響樹節點A12，因此將層內消息傳遞特征Innerl3_out作為樹節點A12的鄰接樹節點特征并放置在鄰接樹節點特征矩陣中樹節點A12對應的位置，對鄰接樹節點特征矩陣進行更新；同理，對其余樹節點進行循環操作，得到特征矩陣result_A和層間特征矩陣；在對其余樹節點進行循環操作時，將特征F與該樹節點的鄰接樹節點特征相加后再經過批歸一化層和激活層；對樹結構B的各個樹節點進行相同的循環操作，得到特征矩陣result_B和更新后的層間特征矩陣； 最后，將特征矩陣result_A和result_B按第0維進行連接得到13個特征，這13個特征分別經過卷積、批歸一化和激活操作得到13個節點特征，再將13個節點特征按第0維連接得到節點特征，此節點特征再經過一次卷積、批歸一化和激活操作，得到該消息傳遞層的輸出特征； 對于層間消息傳遞，下一個消息傳遞層每次循環操作中，沙漏網絡輸出的圖節點特征經過卷積后，再與上一個消息傳遞層得到的層間特征矩陣中樹節點對應的層間消息傳遞特征相加后，再經過批歸一化層和激活層，實現層間消息傳遞； 2-3、增強節點特征經過關鍵點生成模塊的圖卷積推理，預測得到關鍵點坐標矩陣； 首先，構建一個服從均勻分布的可訓練的參數矩陣，將增強節點特征分別與參數矩陣的第0維和第1維相乘，得到關鍵點坐標矩陣h0和h1；其次，為關鍵點鄰接矩陣的所有非零位置設置權重，分別得到關鍵點自身權重矩陣和鄰接關鍵點權重矩陣；最后，將關鍵點自身權重矩陣與關鍵點坐標矩陣h0相乘，鄰接關鍵點權重矩陣與關鍵點坐標矩陣h1相乘，再將相乘后的結果相加，相加后的矩陣再經過批歸一化層和激活層，得到關鍵點坐標矩陣，即人臉關鍵點的坐標； 步驟3、利用數據集對人臉關鍵點檢測模型進行訓練，將訓練后的人臉關鍵點檢測模型用于人臉關鍵點檢測。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人河北工業大學，其通訊地址為：300130 天津市紅橋區丁字沽光榮道8號河北工業大學東院330#；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。