shanghai security defense & alarm association 愛建網">
在城市軌道交通的監控中,智能視頻分析技術曾風極一時,然而由于城市軌道交通的監控環境比較復雜,其不僅區域大、周界長、擁有多站臺多出入及眾多圍欄等相關設備。這種復雜的環境給智能分析帶來諸多困難,而作為當前新穎的TLD[跟蹤-學習-檢測”(Tracking-Learning-Detection)的縮寫]視覺跟蹤技術能夠解決這些問題。
TLD跟蹤系統最大的特點就在于能對鎖定的目標進行不斷的學習,以獲取目標最新的外觀特征,從而及時完善跟蹤,以達到最佳的狀態。也就是說,開始時只提供一幀靜止的目標圖像,但隨著目標的不斷運動,系統能持續不斷地進行探測,獲知目標在角度、距離、景深等方面的改變,并實時識別,經過一段時間的學習之后,目標就再也無法躲過。
TLD技術有三部分組成,即跟蹤器、學習過程和檢測器。TLD技術采用跟蹤和檢測相結合的策略,是一種自適應的、可靠的跟蹤技術。TLD技術中,跟蹤器和檢測器并行運行,二者所產生的結果都參與學習過程,學習后的模型又反作用于跟蹤器和檢測器,對其進行實時更新,從而保證了即使在目標外觀發生變化的情況下,也能夠被持續跟蹤。
跟蹤器
TLD跟蹤器采用重疊塊跟蹤策略,單塊跟蹤使用Lucas-Kanade光流法。TLD在跟蹤前需要指定待跟蹤的目標,由一個矩形框標出。最終整體目標的運動取所有局部塊移動的中值,這種局部跟蹤策略可以解決局部遮擋的問題。
學習過程
TLD的學習過程是建立在在線模型(onlinemodel)的基礎上。在線模型是一個大小為15×15的圖像塊的集合,這些圖像塊來自跟蹤器和檢查器所得的結果,初始的在線模型為起始跟蹤時指定的待跟蹤的目標圖像。
在線模型是一個動態模型,它隨視頻序列增長或減小。在線模型的發展有兩個事件來驅動,分別為增長事件和修剪事件。由于在實際中,來自環境和目標本身等多因素的影響,使目標的外觀不斷發生變化,這使得由跟蹤器預測產生的目標圖像會包含更多其它感興趣的因素。如果我們把跟蹤軌跡上所有目標圖像看成一個特征空間,那么隨著視頻序列的推進,由跟蹤器所致的特征空間將不斷增大,這就是所說的增長事件。為了防止增長事件帶來的雜質(其他非目標圖像)影響跟蹤效果,采用了與之相對的修剪事件來平衡。修剪事件就是用來去除增長事件所致的雜質。由此,兩事件的相互作用促使在線模型一直保持與當前的跟蹤目標相一致。
由增長事件帶來的特征空間的擴張來自于跟蹤器,即從處于跟蹤軌跡上的目標圖像中選擇合適的樣本,并以此來更新在線模型。有三種選擇策略,具體如下。
·與起始待跟蹤目標圖像相似的圖像塊,均被加入到在線模型;
·如果當前幀的跟蹤目標圖像與前一幀的相似,則將當前的跟蹤結果圖像加入到在線模型;
TLD智能檢測技術分析
·計算跟蹤軌跡上的目標圖像到在線模型間的距離,選擇具有特定模式的目標圖像,即起初目標圖像與在線模型的距離較小,隨之距離逐漸增大,而后距離又恢復成較小狀態。循環檢驗是否存在這種模式,并將該模式內的目標圖像加入到在線模型。
增長事件的特征選擇方式,保證了在線模型始終緊隨跟蹤目標的最新狀態,避免因模型更新不實時所導致的跟蹤丟失。其中最后一種選擇策略也是TLD技術的特色之一,它體現了自適應跟蹤的特性。當跟蹤發生漂移時,跟蹤器會自動適應背景,而不會很突然地轉移到跟蹤目標上。
修剪事件假設每幀只有一個目標,當跟蹤器和檢測器都認可目標位置時,剩余的檢測圖像就被認為是錯誤樣本,從在線模型中刪除。
在線模型中的樣本為TLD的學習過程提供了素材。另外,TLD在訓練生成分類器(隨機森林)的過程中,采用了兩種約束:P約束和N約束。P約束規定與跟蹤軌跡上的目標圖像距離近的圖像塊為正樣本;反之,為負樣本,即為N約束。PN約束降低了分類器的錯誤率,在一定的范圍內,其錯誤率趨近于零。
檢測器
TLD技術設計了一個快速、可靠的檢測器,它為跟蹤器提供了必要的支持。當跟蹤器所得的結果失效時,需要用檢測器的結果來補充糾正,并且對跟蹤器重新初始化。具體做法如下。
·對于每幀同時運行跟蹤器、檢測器,跟蹤器預測出一個目標位置信息,而檢測器則可能檢出多幅圖像;
·決定目標的最終位置時,優先考慮跟蹤器所得的結果,即如果跟蹤到的圖像與最初的目標圖像相似度大于某閾值,就接受該跟蹤結果;否則,將從檢測器的結果中,選用與最初目標相似度最大的圖像作為跟蹤結果;
·如果為第二步驟中的后者,那么此時更新跟蹤器的最初目標模型,用現選用的跟蹤結果替換原有的目標模型,同時,刪除以前模型中的樣本,以新樣本重新開始。
檢測器是由在線模型中的樣本經訓練學習生成的隨機森林分類器。其選取的特征為區域的邊緣方向,稱之為2bitBP特征,它具有不受光線干擾的特性。特征通過量化,共有4種可能的編碼。對于給定的區域,其特征編碼是唯一的。多尺度的特征計算可以采用積分圖像的方法。
將每一個圖形塊都用眾多的2bitBP特征來表示,并把這些特征分成同大小的不同的組,每一組代表了圖像塊外觀的不同表示。用于檢測的分類器采用隨機森林的形式。隨機森林由樹組成,而每棵樹是由一個特征組構造而成。樹的每個特征都作為一個決策結點。
隨機森林通過增長事件和修剪事件完成在線更新和演化。開始時,每棵樹由最初目標模板的特征組構建,都只有一個“枝”。隨著增長事件對正樣本的選取,隨機森林也不斷加入新的“枝”;修剪事件則相反,它會去掉隨機森林中不用的“枝”。這種實時的檢測器采用掃描窗口的策略:按照位置和尺度掃描輸入幀,對每個子窗口應用分類器判斷是否屬于目標圖像。
TLD技術巧妙地把跟蹤器、檢測器和學習過程結合在一起,共同實現目標的跟蹤。
滬公網安備 31011202001934號