Panoramic inpainting based on invariant features of video frames

機構典藏 > College of Engineering > Graduate Institute & Department of Computer Science and Information Engineering > Thesis > Item 987654321/94396

Please use this identifier to cite or link to this item: https://tkuir.lib.tku.edu.tw/dspace/handle/987654321/94396

Title:	Panoramic inpainting based on invariant features of video frames
Other Titles:	以影格中的不變特徵為基礎的全景修補演算法
Authors:	張仕明;Chang, Shih-Ming
Contributors:	淡江大學資訊工程學系博士班顏淑惠
Keywords:	全景影像;動態修補;自動化物件切割;Panorama;Motion Inpainting;Automatic GrabCut
Date:	2014
Issue Date:	2014-01-23 14:33:41 (UTC+8)
Abstract:	全景成像技術是近年來十分重要的議題，到目前為止已有許多全景成像的技術發展在各式各樣的產品上。從最早期開發在個人電腦中以及近年來開發在數位相機與可攜式裝置中都可以看到這類技術的運用。在傳統的全景成像技術中，使用者可以使用一連串的影像或是一小段影片來建立同一場景的全景圖。但在傳統的全景成像技術中，如果影像或影片內有移動的物件時，所建立出來的全景圖背景會保留其物件，同時當全景圖的素材中有較為明顯的人物時也容易造成人物結構上的模糊。因此本論文針對此問題提出一個運用人臉辨識、物件切割、動量背景修補以及有效的全景合成技術的演算法。針對背景有移動人物的場景，將其人物與背景先進行分離，在此部份本論文先使用著名的物件切割方法-GrabCut演算法來切割物件並且將其改良為自動化程序，讓使用者可以不用經過手工的標記物件即可達到物件切割的效果。接著使用動量背景修補方法將分離出來的區域填補成原先可能的背景，在此部分本論文根據傳統的影像修補方法並加入動量的參考依據讓背景也跟著在移動的情況下也可以順利地得到正確的修補結構。最後再將所有的素材合成為一張全景影像，本論文所提出的全景圖製作方法加入了影像能量圖與影像縫線的概念，讓接合的縫線落在重疊區域內較不明顯的結構中，如此一來可以有效地解決人物鬼影和因為重疊位置的關係所形成的結構模糊的問題。而人臉辨識的運用除了定義出人物的大概區域外，也可以用來判斷針測到的人物是否是使用者認識的人，如果認定是陌生人時即可利用上述的方法進行移除的動作，進一步達到過濾陌生人的功能。本論文所提出的方法除了人物區域定義是可以進行手動設定，其他的步驟皆為自動化程序，如此可有效減少使用者操作上的負擔。 Panoramic photography is becoming very popular within the general users, skilled photographers and in many useful computer and Internet based application domains like 3D virtual reality. With the introduction of panoramic photography support in the general purpose digital cameras and smart phones, users and applications that use the panoramic photos are also increasing. In traditional panoramic photography, moving objects or as referred in this thesis - the strangers, in the background should be eliminated since those strangers obscure the scenery that we want to retain in our photograph. This thesis discusses a novel method to remove the strangers (moving objects) whose face data is not available in the face database of camera) from the background of the focused area and compose a panoramic image. In the proposed system the object segmentation is automation and based on GrabCut algorithm. The method of motion inpainting of background can be repair background on moving background, effectively. The method of panorama creation is using concept of energy map and image seam that avoided ghost problem in panorama and maintained the structure of human. The proposed of panorama creation system is fully automatic except that the user required marking the unidentified moving objects in the object segmentation phase.
Appears in Collections:	[Graduate Institute & Department of Computer Science and Information Engineering] Thesis

Files in This Item:

File	Size	Format
index.html	0Kb	HTML	271	View/Open

Loading...