2321
5
0
2019-11-03 13:47:32
2021-09-02
行人分類研究在計算機視覺領(lǐng)域具有重要的理論研究意義及應(yīng)用價值。由于遠(yuǎn)紅外圖像相對于可見光圖像來講,，有著不受天氣,、光照因素影響的獨特優(yōu)勢，因此受到了相關(guān)學(xué)者的廣泛關(guān)注,。紅外行人分類可以為駕駛輔助系統(tǒng)提供關(guān)鍵技術(shù)支撐,，圖1給出了駕駛輔助系統(tǒng)的結(jié)構(gòu)圖,。從圖中可發(fā)現(xiàn)，行人分類結(jié)果是行車安全評估的重要依據(jù),，在實際應(yīng)用中行人分類錯誤可能會導(dǎo)致嚴(yán)重的交通事故,。
圖1 駕駛輔助系統(tǒng)的結(jié)構(gòu)圖
遠(yuǎn)紅外圖像雖然在行人分類中具有獨特的優(yōu)勢，但是其存在分辨率低以及顏色信息缺失的問題,，導(dǎo)致可用信息非常有限,。由于遠(yuǎn)紅外圖像是根據(jù)物體的溫度差異成像，其中行人區(qū)域的像素強度值會隨著季節(jié)與溫度的變化而變化,，來自背景的噪聲給紅外行人分類帶來了巨大的挑戰(zhàn),。基于深度學(xué)習(xí)的紅外行人分類算法雖然能通過加深網(wǎng)絡(luò)來提高算法性能,，但深度神經(jīng)網(wǎng)絡(luò)的計算時間以及空間復(fù)雜度也會隨之增加,，使其在工業(yè)應(yīng)用的成本耗費相當(dāng)巨大。
綜上所述,，研究如何以較低的代價實現(xiàn)深度學(xué)習(xí)分類性能的提升是十分必要的,。并且，深度學(xué)習(xí)在紅外行人分類任務(wù)上容易受到背景噪聲的干擾,，從而導(dǎo)致了行人分類準(zhǔn)確率的下降,。考慮到自然圖像摳圖技術(shù)提供了一種從雜亂背景中精確分離前景的工具,，因此智能算法實驗室提出了一種基于自動摳圖增強的紅外行人分類算法,。目前，本研究成果已在算法應(yīng)用領(lǐng)域的國際權(quán)威期刊Applied Soft Computing發(fā)表,。下面讓我們一起回顧該項工作的發(fā)展進程與相關(guān)成果,。
圖2 基于自動摳圖增強的紅外行人分類算法結(jié)構(gòu)框圖
圖2給出了該算法的結(jié)構(gòu)框圖，算法的核心是基于全自動摳圖的紅外行人預(yù)處理,，主要通過自動生成紅外目標(biāo)的三分圖來對紅外圖像精確摳圖,。該預(yù)處理過程實現(xiàn)了對前景目標(biāo)的增強以及對無關(guān)背景的抑制，一方面使分類器能“專注于”感興趣的前景物體的特征,；另一方面可實現(xiàn)前景目標(biāo)的標(biāo)準(zhǔn)化來抑制噪聲對行人分類的影響,。接下來，我們將通過介紹傳統(tǒng)的自然圖像摳圖技術(shù),，來引出該算法預(yù)處理過程的提出目的和優(yōu)勢所在,。
圖3 自然圖像摳圖效果示意圖
圖3展示了一個自然圖像摳圖效果的示例圖，在自然圖像摳圖技術(shù)中三分圖給出了部分的前景區(qū)域（白色部分）與部分的背景區(qū)域（黑色部分）,，指定了用戶想要“摳”的區(qū)域以及不感興趣的區(qū)域,。然而目前流行的摳圖算法中三分圖的生成依賴人工輔助,，需通過一次或多次的用戶交互生成,，因此嚴(yán)重限制了摳圖在圖像分類等自動化場景中的應(yīng)用,。
圖4 紅外行人三分圖自動生成算法基本流程示意圖
為了克服摳圖中三分圖生成依賴人工的問題，本文提出了紅外行人三分圖自動生成算法,。該算法假設(shè)輸入的圖像中包含行人,，利用行人在紅外圖像中成像特點估計行人的頭部區(qū)域以及軀干位置，并依據(jù)兩者的位置生成三分圖,。紅外行人三分圖自動生成算法的基本流程如圖4所示,。
圖5 基于自動摳圖的紅外行人預(yù)處理效果圖
圖5展示了基于自動摳圖的紅外行人預(yù)處理效果圖。從摳圖結(jié)果不難看出,，通過提出的行人自動摳圖方法,，正樣本中行人輪廓得到了增強，雜亂的背景得到了有效抑制,，而負(fù)樣本中的物體輪廓與行人輪廓差異更為顯著,。我們將處理后的樣本作為AlexNet神經(jīng)網(wǎng)絡(luò)的輸入，從而構(gòu)建出一個低計算代價的紅外行人分類算法,。下面我們將通過三個問題從不同角度來對本算法做實驗性能分析,。
Q1：提出的紅外行人分類性能如何？
表1匯總了基于自動摳圖增強的紅外行人分類算法在LSI,、RIFIR 以及KAIST數(shù)據(jù)集上與5 個流行的紅外行人分類算法的分類性能定量比較結(jié)果,。實驗結(jié)果表明，盡管采用的只是相對簡單的 8 層 AlexNet網(wǎng)絡(luò),，但本文所提出的紅外行人分類算法在三個數(shù)據(jù)集上幾乎所有的性能指標(biāo)均優(yōu)于其他分類算法的結(jié)果,。
表1 基于自動摳圖增強的紅外行人分類算法在LSI、RIFIR 以及KAIST 數(shù)據(jù)集上與5 個現(xiàn)有的紅外行人分類算法的分類性能定量比較
Q2：預(yù)處理對紅外行人分類有什么影響,？
為了驗證基于自動摳圖的紅外行人預(yù)處理在紅外行人分類任務(wù)上的性能影響,，我們進一步分析了該預(yù)處理過程在深度學(xué)習(xí)分類算法上的性能，主要通過與未作預(yù)處理的深度學(xué)習(xí)分類算法做對比分析,。前者在訓(xùn)練及測試中,，使用經(jīng)過預(yù)處理得到的摳圖結(jié)果作為輸入圖像，而后者則使用原始的遠(yuǎn)紅外圖像作為輸入圖像,。圖6展示了經(jīng)過預(yù)處理的深度神經(jīng)網(wǎng)絡(luò)分類算法在三個數(shù)據(jù)集上的ROC 曲線,，以及同經(jīng)典的深度神經(jīng)網(wǎng)絡(luò)分類算法的實驗結(jié)果對比。從結(jié)果可以看出,，在LSI 及RIFIR 數(shù)據(jù)集處理上,，經(jīng)過預(yù)處理的深度神經(jīng)網(wǎng)絡(luò)分類算法（實線部分）的AUC 指標(biāo)均顯著優(yōu)于未作預(yù)處理的深度學(xué)習(xí)方法，因此采取基于自動摳圖的紅外行人預(yù)處理算法,，可以有效提高深度學(xué)習(xí)算法在紅外行人分類任務(wù)上的性能,。
(a)在LSI數(shù)據(jù)集上獲得的ROC 曲線對比
(b)在RIFIR數(shù)據(jù)集上獲得的ROC 曲線對比
(c)在KAIST 數(shù)據(jù)集上獲得的ROC 曲線對比
圖6 基于自動摳圖的紅外行人預(yù)處理的深度學(xué)習(xí)分類算法以及流行的深度學(xué)習(xí)分類算法在三個測試集上ROC 曲線對比
Q3：預(yù)處理帶來顯著性能提升的同時會增加多少計算量？
本文通過實驗對經(jīng)過預(yù)處理的深度神經(jīng)網(wǎng)絡(luò)分類算法,，以及經(jīng)典的深度神經(jīng)網(wǎng)絡(luò)方法的計算時間及內(nèi)存消耗進行了對比,，將LSI數(shù)據(jù)集中隨機選擇的1000 張圖像作為實驗數(shù)據(jù)展開實驗,。表2展示了不同方法在數(shù)據(jù)上的平均耗時及平均最大內(nèi)存消耗量的結(jié)果。與經(jīng)典的深度學(xué)習(xí)算法相比,，經(jīng)過預(yù)處理后的深度學(xué)習(xí)算法在處理相同的數(shù)據(jù)時,，最后平均耗時僅增加了0.02 秒。結(jié)果表明,，基于自動摳圖的紅外行人預(yù)處理算法能夠以非常低的計算代價,，來獲得紅外行人分類性能上長足的進展。
表2 基于自動摳圖的紅外行人預(yù)處理的深度學(xué)習(xí)分類算法以及經(jīng)典的深度學(xué)習(xí)分類算法計算耗時及最大內(nèi)存消耗量對比
本文以紅外行人分類任務(wù)為例討論了摳圖中三分圖的自動生成問題,，利用紅外行人分類領(lǐng)域的專家知識實現(xiàn)了三分圖自動生成的功能,，擴展了自然圖像摳圖技術(shù)在紅外行人分類領(lǐng)域的應(yīng)用前景。在自然圖像摳圖的基礎(chǔ)上,，通過人體頭部及軀干定位的三分圖自動生成,，實現(xiàn)了基于自動摳圖的紅外行人預(yù)處理，并將其與數(shù)據(jù)驅(qū)動的紅外行人分類算法有機結(jié)合,，提出了基于自動摳圖增強的紅外行人分類算法,。
此外，通過將紅外行人預(yù)處理得到的透明度遮罩作為訓(xùn)練的輸入數(shù)據(jù),，使現(xiàn)有的先進深度神經(jīng)網(wǎng)絡(luò)在紅外行人分類任務(wù)上的性能得到顯著提高,。同時，自動生成的三分圖給紅外行人分類任務(wù)提供了一致的行人輪廓特性,，也實現(xiàn)了一種低成本提升深度神經(jīng)網(wǎng)絡(luò)性能的解決方案,。該技術(shù)有望應(yīng)用于強噪聲環(huán)境下的目標(biāo)分類、數(shù)據(jù)不均衡條件下的數(shù)據(jù)標(biāo)準(zhǔn)化處理,、醫(yī)學(xué)圖像中自動血管提取等應(yīng)用場景,。
參考文獻(xiàn)
[1] Huang H, Liang Y, Yang X, et al. Pixel-level DiscreteMultiobjective Samplingfor Image Matting[J]. IEEE Transactions on Image Processing, 2019. [DOI:10.1109/TIP.2019.2902830].
[2] Liang Y, Huang H, Cai Z, et al. Multiobjective evolutionary optimization basedon fuzzy multi-criteria evaluation and decomposition for image matting[J], IEEETransactions on Fuzzy Systems, 2019. 27(5): 1100-1111.
[3] Liang Y, Huang H, Cai Z, et al. Deep infrared pedestrian classification basedon automatic image matting[J]. Applied Soft Computing, 2019, 77: 484-496.
[4] Cai Z Q, Lv L, Huang H, et al. Improving sampling-based image matting withcooperative coevolution differential evolution algorithm[J]. Soft Computing,2017, 21(15): 4417-4430.
[5] Liang Y, Huang H, Cai Z, et al. Particle Swarm Optimization with ConvergenceSpeed Controller for Sampling-Based Image Matting[C]//International Conferenceon Intelligent Computing. Springer, Cham, 2018: 656-668.
-END-
文字：梁椅輝、劉子釗
校稿：馮夫健
圖：梁椅輝
