监视系统物件切割与阴影侦测-东海大学资讯工程学系

《监视系统物件切割与阴影侦测-东海大学资讯工程学系》由会员分享，可在线阅读，更多相关《监视系统物件切割与阴影侦测-东海大学资讯工程学系（25页珍藏版）》请在装配图网上搜索。

1、東海大學資訊工程與科學系專題成果監視系統之物件切割與陰影偵測Object Segmentation and Shadow Detectionfor Surveillance System指導老師：林正基教授學生： 942916 陳俊廷942960 何乃如942922 王京郁中華民國九十七年十二月iAbstract本專題研究是針對監視系統所錄下的影片來做處理，首先是將來源影片分析成連續的單張影像，再針對單張影像來做後續的處理，包含影片轉換圖像的存取、利用色彩系統轉成灰階影像的處理、像素變動差值之門檻值的設定，文中也針對色彩系統作簡單的介紹；在這次的研究中，我們採用YUV 的色彩系統來作為所有處理

2、的基本架構，利用背景相減法，選取適當的門檻值，取得初步的物件與背景資訊，後續利用UV 資訊，對於影像中光影的連續和不連續性所造成的影響，來處理物件陰影的偵測與去除，再使用morphological algorithm 來改善因為陰影偵測衍生出來的破碎畫面的問題，也使物件影像更加完整，最後整個演算法在 Borland C+ Builder 6.0 的平台來實現。iiIndex1.Introduction .11.1Motivation .11.2Goal.12.Related Work and Background.22.1RGB color space.22.2YUV color space

3、.32.2.1 U-V plane projection method .42.3 pixel-based .53.System Architecture.64.Proposal method .84.1Segmentation.84.2Shadow elimination.104.3Morphology .135.Simulation Result .176.Conclusion .197.References .20iii圖表目錄2-1 :22-2 :32-3 : UV42-4 :53-1 :74-1:.84-2 :segmentation.104-3 : segmentation104-

4、4 : YUVRGB114-5124-6 : Morphology134-7 : Dilation144-8 : Erosion144-9 : opening154-10 : closing154-11 : Dilation.164-12 : Erosion.164-13175-A :Borland C+ Builder185-B :185-C :185-D :UV185-E :19方程式目錄2-1 .4 4-1 .9iv1. Introduction1.1 Motivation隨著科技的發展，資訊的日新月異，電腦運算的能力越來越強大，影像技術的發展越來越成熟；資料儲存設備的價格日趨降低，光學

5、取像設備的逐漸普及，加上人工智慧技術日益成熟，使得視訊監控系統成為近年來大家所重視的項目。在過去資訊科技尚不發達的時代 ，監控環境的系統主要依賴閉路電視系統和人力來監視環境 。故此種系統只能提供事後的錄影存證功能或要求人力注視於監視螢幕。前者只能提供事後的資訊，並不能及時提出偵測的資訊或於第一時間發出警告；後者的方式，系統的運作完全依賴人類感官的判斷，而會受到人類精神和感官疲累的影響，而有出錯或遺漏的可能性。因此，近年來促成了智慧型視訊監控系統的發展；它是一種利用電腦視覺的方法，在不需要人為的操作之下，自動對攝影機所擷取的影像進行分析，進而對目標物進行偵測、追蹤、辨識和行為分析，如此一來若是有

6、物品遺失，或者疑似爆裂物的放置就會被偵測出來並且發出警告 ，因此可以大幅地減少人力的浪費以及增加成本效益。智慧型視訊監控系統除了一般的監視功能之外，還要有自動偵測，自動辨識，自動警示等功能。配合現今之網路技術，能使監控範圍更加廣大，監控成本更加降低，操作環境更加便利 。視訊監控系統的應用範圍非常廣泛 ，舉凡停車場、智慧型運輸系統 ITS、公共場所、軍事應用、商業環境、社會照顧、交通資訊統計、核能安全、地區治安等，都是非常有潛力的發展項目。尤其隨著犯罪率的上升，治安方面的需求更是強烈，所以世界各國無不把視訊監控技術列為重要的研究課題。1.2 Goal經過多年的發展，智慧型視訊監控系統已逐步成型，

7、而我們將著重在以移動物體為主要目標的偵測；根據像素變化初步分辨物件與背景資訊，再利用色彩系統的特性與比較，配合適當的演算法，排除外在因素的影響；最後針對實驗的階段性結果，去除不必要的雜訊並填補空洞，顯示出最佳的物件切割成果；並且使得系統能快速而且正確的分析追蹤在屏幕出現的物件、降低人力資源的浪費，1提高安全系統的確保性；並針對影片中出現的異常物件加以區隔，助於分辨背景和物件的變化及對應關係。2. Related Work and Background要談到即時的監控系統，那相對的就會有影像的輸出，而我們通常見到的監視器錄影影像色彩和實際上肉眼所見的色彩多少都有些差異，這可能跟監視器所在位置的光

8、線、外在環境光影的變化有關，所以首先我們先針對色彩系統來做說明。2.1 RGB color spaceRGB 色彩空間是我們最常見的色彩系統，R表示紅色 ( Red) 、 G表示綠色( Green) 而B表示為藍色 ( Blue) ，即為色彩的基本三原色，透過三原色的強度組合可以搭配出各式各種的顏色。以數位影像而言，R、G、B 分別以 8位元 ( bits) 表88示，也就是單一原色 2 的層次變化 ( 256種變化 ) ，因此三原色可以組合表現出2 2828 224 1677216 1677萬種顏色。對於 RGB色彩空間而言，任何一張彩色影像都可以基本解析為三張獨立的三原色影像，( 如圖 2

9、-1所示 )，也就是說，當這三張平面色彩組合在一起時，即可構成一張彩色影像。圖 2-1 : 色彩平面一般來說，大部分的使用者將 RGB色彩空間強度分佈以色彩正方體模型來表2示，其三原色強度範圍分別為0255，( 如圖 2-2所示 ) 。 R、 G、B 分別表示該座標軸的三個頂點 ( 255,0,0) 、( 0,255,0) 、( 0,0,255) ，原點表示黑色，三軸的交會頂點為 ( 255,255,255) 表示為白色，而黑色到白色之間的直線則表示為灰階的變化( Gray scale) ，其他的色彩則以三原色相互混合而得。但是當需要將影像做解析處理時，由於三原色色彩空間是非線性且具有強烈的關

10、連性，對於影像本身以外的變化干擾十分敏感，尤其是陰影的部分，所以在本研究專題中對影像資料作解析時，為了色彩特徵辨識的準確性，我們選擇以YUV 的色彩空間直接分析影像資料，而不使用RGB系統。BWhiteGrayBlackscaleGR圖 2-2 :色彩正方體表示圖2.2 YUV color spaceYUV 色彩空間是歐洲電視系統PAL ( Phase Alteration Line) 中的色差訊號的通稱，包含數位色差 ( Y,Cr,Cb) 及類比色差 ( Y,Pr,Pb) 的訊號都統稱為 YUV ，所採用的色彩空間，該視訊傳送規格為每張圖像有625條掃描線構成，每秒需傳送25張圖像。該色彩空

11、間中，Y 代表亮度向量， U和 V 為色差向量，分別表示去除亮度後的紅色和藍色，當 U和 V 皆為零時，也就是說其R、G、B三原色信號相等，僅剩 Y表示黑白灰階色彩，因此 YUV 色彩空間對於光源對色彩影響時，可以獨立將彩度取出分析 。YUV 色彩空間和 RGB色彩空間之間的關係式如方程式2-1所示：3Y 0.299*R + 0.587*G + 0.114*B U -0.147*R - 0.289*G + 0.436*B V 0.615*R - 0.515*G - 0.100*B方程式2-12.2.1 U-V plane projection method色彩學中，為了可以準確定量的描述顏色，

12、將色彩定義為三大屬性。在色彩明暗的區別上，以亮度( Luminance) 表示；在色彩的濃淡上，我們稱之為彩度( Chrominance) ，為了表示彩度，必須細分為色相 ( Hue) 與飽和度 ( Saturation) ，以 YUV 色彩空間來說，其實 Y 值相當於為黑白灰階影像，除去亮度訊號後，由 U與 V單純表現出彩度。因此如果要將 U與V 色差訊號以色相、飽和度來表示的話，必須從含有三維空間的色點 P投影至 U-V 平面的 P點，才能清楚的表示， ( 如圖 2-3所示 ) ，但是 U-V 平面投影法在影像資料受到不穩定光源亮度的擾動時，對於目標色塊有較大的精確性且不易辨識錯誤，但是當

13、光源色溫變化過大時，其飽和度和色相的增減變化就較不易掌握。PP圖 2-3 : UV 平面投影表示因此如果需要判定兩個任意色點是否為同一彩度時，必須確定其色相與飽和度是相等的 ( 見圖 2-4) ，當 a1 a2 時，表示該色彩的色相相等；當p1 p2時，表示該色彩的飽和度相等，兩者皆相等時則表示此二色點是相同的彩度。由此我們可以歸納一個結果，對於光源亮度的不穩定因素來說，當光源亮度不是極值時 ( 極亮或極暗 )，只要是相似色彩 ，如粉紅色和紅色 ，就具有相近的彩度關係。4因此利用此特性，可以更利於我們在不穩定光源中，準確的搜尋目標色塊。RVp1a1p2Ya2UBG圖 2-4 :色相與飽和度向量

14、表示2.3 pixel-based在處理影像過程中，從影像中找出存在於影像中物體的特徵，並且進行分析分類、辨識與描述出此影像的技術，稱之為影像分類。早期進行遙測影像數位處理時，在影像分析時的影像切割( Image Segment) 方式多採取像素 ( Pixel-based)的方式，將地表事物切割成一格格的獨立像素來處理，每一個獨立像素經過影像分類後擁有自己的特徵類別；但實際上，我們的世界並不是如此規律的，而是由許多大小不同的空間事物所組成，而且這些事物都是獨立完整的個體，例如房子、樹。且隨著高空間解像力影像的進步，相鄰近兩像素之間的相關性變得更加的密切，甚至可說這兩相鄰像素是相同的，所以，我

15、們更應該把圖像視為一個個大小不一的物件來處理，在這樣的趨勢之下注重鄰近像素彼此之間的關係，也就發展出以物件的概念來進行影像處理，而此種物件導向式影像處理的基本原理是將原始影像加以切割成大小不一的物件，並且在此物件基礎上進行影像處理。53. System ArchitectureStartvideo inputRead RGBYUVIf i = 0Yesstore into PicArray_BGNostore into PicArray_YA. SegmentationYes|PicArray_BG-NoPicArray_M=1PicArray_Y| 15PicArray_M=0Combine

16、 PicArray_MMorphological processingB. MorphologyYesPixel=0backgroundNoobject(with shadow)6NoY YminobjectC. Shadow eliminationYesYesU VNoYesV U NoNoU / V NoNoV / U Tdi0(x, y)= 0otherwise方程式 4-1其中 di0 ( x, y) 表示影像中各點 pixel 的座標位置，Y ( x, y, ti ) 代表目前影像 ( 正在被讀取的影像第i 張) pixel 的 Y 值， Y ( x, y, t0) 代表背景影像 p

17、ixel 的 Y 值；我們將兩者的差值用來和門檻值T 做比較，經過多次的測試我們得到如果將門9檻值設為 15，將會獲得最佳的效果；因此，我們將絕對值15 作為分水嶺，差值大於 15 以上的，視為變動的部分，即物件，並將它設定為1，以白色的方式顯現出來；差值小於15 以下的，僅產生微小差異的像素，即背景；並將它設定為0，以黑色的方式呈現，然後放進同一個陣列當中顯示，成為一張二值化影像。經過這段的處理之後，顯示出來的影像已經大略可以看出物件和背景的區別，而且二值化的顯示方式 ，更是讓整個影像看起來更加的一目了然。( 見圖 4-2)圖 4-2 :上圖左方為原始影像，右方為segmentation 處

18、理後的影像4.2 Shadow elimination在移動物件偵測的過程中，常受到物件遮蔽或光線所造成的陰影干擾，而這些陰影將會對偵測的結果產生不良的影響，尤其在背景相減法的實作中，陰影將會直接被視為物件的本體 ，如此一來，便會造成物件範圍的誤判 。如圖 4-3 所示：圖 4-3 : segmentation 所造成的誤判情形10因此，為了解決此問題，我們針對經由RGB 色彩系統轉換後的YUV 色彩系統所提供的 UV 資訊來做處理 ，原理是利用陰影像素點的色調和飽和度與背景的像素點色差雖然相似，但是陰影像素點的明亮度卻會低於背景像素點來偵測。如圖 4-4所示，當我們以亮度為Z軸、色調為 X軸

19、與飽和度為 Y軸所形成的錐體，發現越往上方尖錐的部分越白，越往下方尖錐則越黑；因為畫面色調及飽和度的不同，造成轉換二值化處理時仍然有會有差異，因此在這個部分將針對經由二值化轉換所造成的誤判情形加以修正，使用陰影偵測進一步的來做物件與陰影區隔的判斷。圖 4-4 : YUV色彩系統與RGB 色彩系統的關係向量圖經由測試，將目前影像的值與背景影像的值相減，即Y；一但Y 大於臨界值 Ymin ，表示像素差異較大，可能為變動成分，因此將它判定為物件的一部分；若否，則取其經由RGB 色彩系統轉換成YUV 色彩系統中的UV 值，作 U 是否小於 V 的判斷， ( 註： Uc、 Vc 代表目前偵測的 UV 影

20、像值； Ub、Vb 代表背景偵測的UV 影像值 ) ，如果成立的話，表示可能是屬於陰影的部分，因此再作V 是否小於的比較，由於設定的值相當小，如果再次成立的話，表示兩張影像的飽和度相近，便視為陰影；若U 不小於V 則做U 是否小於11的判斷，若成立表示兩張影像的色相相似，則視為陰影；再者，當V 的判斷不成立時，則須再做U /V 的運算，代表的是一個arctan 值，並判斷其值是否小於 ，如果成立代表此兩張影像的色相與飽和度非常相似，因此我們便可將它視為陰影，若不成立則視為物件；U 是否成立的判斷也是類似的情形，如果不成立的話，將再做V /U 此 arctan 值是否小於 的判斷，如果判斷成立，

21、則視為陰影；若不成立表示其色相與飽和度的差異度較大，因此則視為物件。在此比較運算中U 、V 何者作為分母是按照其差值大小來決定，將數值較大者作為分母，用來和做比較。圖 4-5 即為經過 UV 偵測法而去除陰影，以及只經過segmentation處理的影像，相互比較的結果。由比較的結果可發現shadow detection algorithm的確有效的減少了陰影對於物件本體的干擾。圖 4-5 : 左半部為segmentation 的結果，右半部為經過shadow elimination改進的結果124.3 Morphology我們這裡所指的型態學 ( Morphology) 是針對數學形式來介紹

22、，簡單的說，它就是集合理論；在形態學中最常使用的就是膨脹 ( Dilation ) 和侵蝕 ( Erosion) 。它是利用一個 structuring element 來跟圖形作邏輯運算，例如 AND 、OR 等等，如下圖所示 ( 圖 4-6)，以這些運算為基礎，便形成 Dilation 跟 Erosion 的基本運算架構。圖4-6 : Morphology的各種運算與結果13膨脹為形態學上最基本的運算元之一。假定在一平面中，有A 、 B 兩個影像，如圖 4-7 所示，則 A、 B 的膨脹演算定義為：將影像B 設為一遮罩，當影像B 沿著影像 A 由左上到右下掃描時，若在遮罩鄰域範圍內有任何像

23、素點其二值化的值為 1 時，則將影像 A 之遮罩內中心點設定為1，否則為 0。A 將根據 B 的形狀，擴增與遮罩的鄰域範圍，因為A 、B 皆為正方形，若B 邊長為 d/4 單位，則經過 Dilation 運算的 A 將會每邊增加 2 個 d/8 單位的長度，也總是總長增加了2* ( d/8) 個單位長度，如圖4-7 所示：圖 4-7 : Dilation 運算情形表示侵蝕也是形態學上的另一種運算元。假定在一平面中，有A 、B 兩個影像，如圖 4-8 所示，則 A、B 的侵蝕演算定義為：將影像B 設為一遮罩，當影像B 沿著影像 A 由左上到右下掃描時，若在遮罩鄰域範圍內有任何像素點其二值化的值為

24、 0 時，則將影像 A 之遮罩內中心點設定為0，否則為 1。A 將根據 B 的形狀，縮減與遮罩的鄰域範圍，因為A、 B 皆為正方形，若 B 邊長為 d/4 單位，則經過Erosion 運算的 A 將會每邊減少 2 個 d/8 單位的長度，也總是總長減少了2* ( d/8)個單位長度如圖4-8 所示：圖 4-8 : Erosion 運算情形表示具備以上概念之後，將介紹實際操作所運用的Opening 和 Closing method；14Opening 是被廣泛使用來消去圖片中的突起或是將不必要的細連結線消除，Opening 的作法一樣先利用一遮罩，對目標先做一次erosion 使其邊緣輪廓根據遮

25、罩形狀縮減一些，同時去除不必要的雜訊如細線，再根據遮罩對目標做一次dilation，使目標膨脹回到與原本較相似的狀態，藉此來去除雜訊 ，如圖 4-9 所示：圖 4-9 : opening 示意圖而相對的 Closing 則是被應用在連接斷點、消除空洞並填補空隙，Closing 的作法是取一遮罩，先對目標做一次dilation 使其邊緣輪廓根據遮罩形狀膨脹一些，藉此填補空洞，降低雜訊對目標的影響，再根據遮罩對目標做一次erosion，使目標縮減回到與原本相似的狀態，藉此來填補殘缺，減少雜訊影響產生的空隙，如圖 4-10 所示：圖 4-10 : closing 示意圖15因此，我們藉由以上方法，針

26、對經過UV 偵測的影像且去除陰影的影像來做除雜訊的處理，先前所介紹的structuring element範例皆為正方形，這是為了方便解釋它的運算過程 ，所以實際應用上，並不一定都會使用如此方正的structuringelement 來做運算，通常需要視擷取出的物件型態來做選擇structuring element形狀的根據，在本專題實驗中，由於大部分的首要處理是去除雜訊，而這些雜訊通常為細微影像，所以我們先針對影像做Opening 的處理，藉此除掉不必要的細微雜訊，再針對剩餘的物件本體部分作修補的工作，選擇Closing 的處理，使物件因為在經過 UV 偵測去除陰影後，所產生的空缺及邊緣的破

27、碎加以填補；在這幾項的處理中，我們都選取以菱形的structuring element 來運作，示意圖如下 ( 圖4-11、圖 4-12) ：圖 4-11 : Dilation圖 4-12 : Erosion而經過 morphological method 處理的實驗結果如下圖4-13 所示，由比較圖中，我們可以很清楚的發現，因為segmentation所產生的細微雜訊以及shadowelimination 所產生的不良影響，在經過這次的處理後，對於物件本體的干擾，大幅度的被加以改善了：16圖 4-13 : 左半部為 segmentation shadow elimination 的結果，右半

28、部為加入了 morphological method 處理的比較圖由上面這個實驗結果的比較圖可知，morphological method 確實有效的將雜訊去除，且有效的填補物件破碎與空洞。5. Simulation Result關於本實驗的 電腦硬體設備如下：?Intel(R) Pentium(R) 4 CPU 3.00GHz?512 MB RAM?120 GB HardDisk?Operation System: Microsoft Windows XP SP317實驗用的影片資訊如下：?Format : AVI?Format/Info : Audio Video Interleave?F

29、ormat/Family : RIFF?File size : 87.0 MiB?PlayTime : 12s?Bit rate : 61 Mbps?Codec : RGB?Width : 352 pixels . Height : 288 pixels?Frame rate : 25.000 fps?Resolution : 24 bits下圖為實驗各個階段的結果比較圖 ，從 5-A 圖與 5-B 圖可看出原始影像與灰階影像之間的差異；而經過陰影偵測處理的比較圖如 5-C、5-D 所示， 5-C 是只經過 segmentation的結果，而 5-D 為經過 shadow eliminatio

30、n 處理的結果，由此比較圖可以發現，在經過陰影去除後，物件判讀的正確性，的確相對的提高了。5-A5-B5-C5-D圖 5-A : 原始影片經 Borland C+ Builder 分析出來的影像圖 5-B : 原始影像經過色彩系統轉換所呈現的灰階影像圖 5-C : 直接作背景相減尚未經過其他處理的二值化影像圖 5-D : 經過 UV 偵測，去除陰影的二值化影像18而程式執行畫面如下所示：圖 5-E : 程式執行畫面6. Conclusion在這個實作結果當中 ，我們發現這個演算法可以有效地切割出移動物件與背景。在偵測過程中，發現此演算法也可以去除大部份的陰影和雜訊，但是因為我們的實驗方法是固定

31、以第一張影像當作背景影像來做背景相減 method 的運算，用來判斷後續的影像中是否產生移動物件 ，對於之後背景環境的改變沒有辦法即時更新，導致門檻值判斷無法準確。而 shadow elimination 的處理，雖然有效的去除物件陰影的部分，使得圈選的物件範圍更加的確實，但是相對的也造成物件本體的破碎與殘缺，因此我們利用 morphological method 的處理來改善，其中 closing 與 opening 的方法改善了雜訊干擾並且填補破碎物件，從實驗結果中可以發現，絶大多數的細微雜訊皆可有效的去除，完整的保留主要移動物件的區塊，並且發現此方法可以有效填補大部份的破碎物件區塊，但對

32、於較大的破碎物件區塊則無法填補完整。從實驗結果中顯示，此方法達到我們預期的效果。19未來展望的部分，除了針對目前的實驗結果，修正演算法增進效率外，也希望能利用不同的演算法，更完整的取出物件資訊，例如即時的背景更新方法，同時也更進一步的改善物件殘缺情形，對於破碎區塊的填補能獲得更佳的效果，使得陰影偵測的效果更加的顯著。7. References1 Rafael C. Gonzalez, Richard E. Woods ,“Digital Image Processing”Proc. Second Edition, Prentice Hall, 2002.2 Ingo Feldmann, Ser

33、ap Askar, Nicole Brandenburg, Peter Kauff, Oliver Schreer, “Real-Time Segmentation For Advanced Disparity Estimation In Immersive Videoconference Applications” , Heinrich-Hertz-Institut, Berlin, Einsteinufer37,10587.3 Yung-Chin Lin, “Human Gait Classification Using Compressed Video Data”, CHU C.S.I.E. S.A. Information Department , July 2003.4 Jen-Hung Chang, “Object Detection for Surveillance System and Vehicle Detection and Indexing for Traffic Video” , Institute of the Department of Electrical Engineering National Yunlin University of Science and Technology, July 2004.20