人形機器人視覺模仿人類三維運動

機構典藏 > College of Engineering > Graduate Institute & Department of Electrical Engineering > Thesis > Item 987654321/88115

Please use this identifier to cite or link to this item: https://tkuir.lib.tku.edu.tw/dspace/handle/987654321/88115

Title:	人形機器人視覺模仿人類三維運動
Other Titles:	Visual imitation of humanoid robot for 3-D motion of a human
Authors:	陳柏霖;Chen, Bo-Lin
Contributors:	淡江大學電機工程學系碩士班黃志良;Hwang, Chih-Lyang
Keywords:	立體視覺3D定位;多層類神經網絡建模;視覺模仿;人型機器人;關鍵姿勢;Stereo vision for 3-D localization;Multilayer neural network modeling;Visual imitation;humanoid robot;Key-posture
Date:	2013
Issue Date:	2013-04-13 12:01:29 (UTC+8)
Abstract:	近幾年機器人相關的研究十分熱門，不只在學術上，許多企業界也紛紛成立機器人相關部門，從事機器人相關研究及開發。隨著科技的進步，機器人硬體的體積縮小、處理器效能增加、其價格大幅度的下降等改善，現今的機器人技術發展不僅是要求效能，而且追求智慧化及人性化。除希望機器人的動作越來越像真實人類的動作，更希望其能透過各種感測器自主判斷完成工作。目前常以視覺鏡頭當作感測器，經由鏡頭攝取影像，再將影像經由不同的演算法做分析處理，完成如影像辨識、視覺導引、視覺定位或視覺追蹤之類的工作。而機器視覺應用於人形機器人，其發展目標希望能如同人類眼睛般地辨識與分析影像。在機器視覺三維座標的研究中，如只藉由單一鏡頭，所得到的影像資訊太少，不足以直接地處理三維座標之研究任務。而立體視覺使用兩台或兩台以上攝影機同時截取影像，並建立三維座標之資訊。本論文乃是應用Videre Design的雙眼視覺相機STOC，其具有內建處理器，除了可以傳回當前即時影像外，尚可以即時進行影像處理，並計算當前影像的立體資訊。本實驗所用之小型人形機器人的高度為43公分，重量2.9公斤，全身包含頭部共有23個自由度，並依此自由度之限制規劃出所需之機器人動作，並使用嵌入式單板電腦RB-100利用我們所設計的人機介面對機器人的馬達下達指令。本論文著重於人形機器人模仿人類三維動作的研究，首先，表演者站在機器人前做連續的動作，機器人由雙眼攝影機截取表演者的影片，經過影像處理得到表演者的5個特徵點(即頭、雙手尖、雙腳尖)，接著估算並記錄其三維座標。接著，分析表演者的動作以獲得關鍵姿勢影片，緊接著分類表演者的下半身動作為九類，以利於機器人能夠平衡的前提下，進行人類三維運動之模仿。由於人類動作的三維座標比機器人大很多，是故必須將其透視投影至機器人尺寸一樣的三維座標，以利於上半身動作的模仿。再接著以類神經網路建立關鍵姿勢影片之雙手尖及頭部的三維座標轉換為馬達控制命令，再以人機介面執行馬達控制命令，完成相關模仿任務。最後，以相關模仿實驗驗證所提方法之有效性。 The proposed humanoid robot (HR) with a stereo vision system (SVS) captures a sequence of 3-D motion images of a human, which is faced to the proposed HR. After the inquiry of enough motion sequences and suitable image processing, the HR will imitate the important postures of the human. The image processing for every sampled image includes motion detector via background registration, morphology filtering of high frequency noise, and estimation of five feature points (i.e., head, four tips of two arms and legs). In sequence, the extraction of key posture frames is obtained. To guarantee that the imitation of HR is under the constraint of static balance, these frames for the lower body of human are categorized as nine classes. Because the 3D coordinates of human motion are much larger than that of an HR. At beginning, these coordinates of human are perspectively transformed to that suitable for the size of an HR. As to the upper body of human (i.e., two tips of arm and head), the corresponding inverse kinematics are respectively approximated by multilayer neural network (MLNN). Finally, the imitation of humanoid robot for the 3D motion of a human is accomplished by the combination of the motion of lower body categories and the motion of upper body via inverse kinematics of two tips of arm and head. Finally, the corresponding experimental results are presented to confirm the usefulness of the proposed method.
Appears in Collections:	[Graduate Institute & Department of Electrical Engineering] Thesis

Files in This Item:

File	Size	Format
index.html	0Kb	HTML	294	View/Open

Loading...