上海第二工業(yè)大學劉飛獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監(jiān)控用IP管家,真方便!
龍圖騰網獲悉上海第二工業(yè)大學申請的專利一種基于機器視覺的全自動嘴部跟隨的助餐方法及系統(tǒng)獲國家發(fā)明授權專利權,本發(fā)明授權專利權由國家知識產權局授予,授權公告號為:CN120326641B 。
龍圖騰網通過國家知識產權局官網在2025-08-26發(fā)布的發(fā)明授權授權公告中獲悉:該發(fā)明授權的專利申請?zhí)?專利號為:202510822808.6,技術領域涉及:B25J9/16;該發(fā)明授權一種基于機器視覺的全自動嘴部跟隨的助餐方法及系統(tǒng)是由劉飛設計研發(fā)完成,并于2025-06-19向國家知識產權局提交的專利申請。
本一種基于機器視覺的全自動嘴部跟隨的助餐方法及系統(tǒng)在說明書摘要公布了:本發(fā)明實施例提供一種基于機器視覺的全自動嘴部跟隨的助餐方法及系統(tǒng),屬于進食輔助機械臂人機交互技術領域。助餐方法包括:根據(jù)機械臂和深度相機的位置關系建立機械臂基坐標系;獲取人臉二維圖像;基于改進直接線性變換算法獲取人臉二維圖像的關鍵點的嘴部位姿;根據(jù)嘴部位姿判斷是否滿足取食條件;在判斷滿足取食條件的情況下,機械臂根據(jù)示教學習獲取取食軌跡以進行取食操作;判斷機械臂是否完成取食操作;在判斷機械臂完成取食操作的情況下,更新嘴部位姿并根據(jù)嘴部位姿獲取送餐軌跡;機械臂根據(jù)送餐軌跡執(zhí)行送餐操作。本發(fā)明通過改進直接線性變換算法獲取嘴部位姿提高檢測精度和魯棒性,根據(jù)實時嘴部姿位生成取食軌跡提高取食精確性。
本發(fā)明授權一種基于機器視覺的全自動嘴部跟隨的助餐方法及系統(tǒng)在權利要求書中公布了:1.一種基于機器視覺的全自動嘴部跟隨的助餐方法,其特征在于,所述助餐方法包括: 根據(jù)機械臂和深度相機的位置關系建立機械臂基坐標系; 獲取人臉二維圖像; 基于改進直接線性變換算法獲取所述人臉二維圖像的關鍵點的嘴部位姿,包括: 根據(jù)公式(1)至(2)獲取人臉二維圖像的關鍵點和對應標定三維人臉模型的三維關鍵點, ,(1) ,(2) 其中,為人臉二維圖像的關鍵點,為三維關鍵點,為二維圖像的關鍵點的橫坐標,為二維圖像的關鍵點的縱坐標,為三維關鍵點在X軸方向的坐標,為三維關鍵點在Y軸方向的坐標,為三維關鍵點在Z軸方向的坐標,為第個關鍵點,為整數(shù)編號; 對所述人臉二維圖像的關鍵點進行歸一化處理; 根據(jù)公式(3)構建叉乘約束代數(shù)模型, ,(3) 其中,為反對稱叉乘矩陣且,為旋轉矩陣,為平移向量; 根據(jù)公式(4)獲取方向投影殘差, ,(4) 其中,為方向投影殘差,為歸一化后的二維圖像的關鍵點的橫坐標,為歸一化后的二維圖像的關鍵點的縱坐標,為平移向量的第一分量,為平移向量的第二分量,為平移向量的x方向,為平移向量的y方向,為旋轉矩陣的第一分量,為旋轉矩陣第二分量; 根據(jù)公式(5)至(6)構建目標函數(shù), ,(5) ,(6) 其中,為殘差二次型矩陣,為第一殘差系數(shù)矩陣,且,為第二殘差系數(shù)矩陣,且,為目標函數(shù),為旋轉矩陣且,為關鍵點的數(shù)量; 最小化所述目標函數(shù)以獲取所述旋轉矩陣和平移向量,包括: 最小化所述目標函數(shù)以獲取所述旋轉矩陣的第一分量、第二分量和平移向量的第一分量和第二分量; 根據(jù)幾何關系獲取旋轉矩陣的第三分量; 對所述旋轉矩陣進行奇異值分解以獲取最優(yōu)旋轉矩陣; 根據(jù)所述三維關鍵點的深度坐標獲取平移向量的第三分量; 根據(jù)所述最優(yōu)旋轉矩陣和平移向量獲取嘴部位姿的俯仰角、擺動角和三維坐標; 根據(jù)所述嘴部位姿判斷是否滿足取食條件; 在判斷所述嘴部位姿滿足取食條件的情況下,機械臂根據(jù)示教學習獲取取食軌跡以進行取食操作; 判斷所述機械臂是否完成取食操作; 在判斷所述機械臂完成取食操作的情況下,更新所述嘴部位姿并根據(jù)所述嘴部位姿獲取送餐軌跡; 所述機械臂根據(jù)所述送餐軌跡執(zhí)行送餐操作。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯(lián)系本專利的申請人或專利權人上海第二工業(yè)大學,其通訊地址為:200000 上海市浦東新區(qū)金海路2360號;或者聯(lián)系龍圖騰網官方客服,聯(lián)系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據(jù)公開、合法渠道獲得相關數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發(fā)布本報告當日的職業(yè)理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據(jù)或者憑證。