對HEVC壓縮的監控視頻的隱私保護運動檢測
針對隱私保護的監控視頻上的運動檢測問題，目前已有的工作無法在通用HEVC視頻壓縮標準上起到較好的檢測效果。為了解決這個問題，我們通過觀察視頻中運動物體的運動矢量差（MVD）變化，利用幀間預測參考關系和運動物體的時空相關性等，實現了一種針對選擇性加密后HEVC視頻的運動檢測方法。此運動檢測方法在多種場景的監控視頻中均實現了較高的檢測精度，并且計算的時間復雜度很低。
該成果“Privacy-Preserving Motion Detection for HEVC-Compressed Surveillance Video”發表在SCI期刊ACM TOMM上（ACM Transactions on Multimedia Computing Communications and Applications, Vol. 18, No. 1, pp. 1–27 , Jan. 2022）。ACM TOMM是多媒體計算領域的頂級期刊之一，為CCF推薦的B類期刊。
- 論文鏈接：
- https://dl.acm.org/doi/10.1145/3472669
背景與動機
在云計算時代，大量數據被上傳到公共云端進行存儲和處理，由此帶來的隱私泄露問題也成為云用戶最大的擔憂之一。為了解決隱私問題，需對敏感數據進行加密，規定只有加密后的數據才能上傳到云，但這樣若沒有解密密鑰，人們就無法從上傳的加密數據中挖掘出有效信息。
監控視頻也常常通過云來存儲、處理和訪問。視頻監控的常見任務之一是檢測正在運動的物體及其軌跡，即運動檢測。傳統的檢測方法需以明文的形式訪問視頻數據，但這樣容易泄露視頻中實體的身份，使好奇第三方推斷出視頻中描述的位置、時間和活動，造成嚴重的隱私泄露問題。因此，保護視頻的隱私在正常運動檢測的過程中不受侵犯是非常必要的，即既要保護隱私又要能進行運動檢測。
傳統明文視頻的運動檢測方法通常難以直接應用于加密后的視頻。對于用視頻壓縮標準壓縮后再加密的視頻，需要在加密后的語法元素（運動矢量（MV）、預測模式、塊分區、編碼位數等）上檢測運動物體，這有一定的挑戰性。現有的采用選擇性加密的H.264視頻中的運動檢測方法假設快速運動區域的MVD有較大的絕對值，但這個假設并不準確，因為一個塊可能與其參考塊處于相似的快速運動中，而此時MVD的絕對值較小。因此該方法應用于HEVC壓縮標準時，會產生許多假陰性。
我們觀察到利用編碼塊之間的幀間預測參考關系可以推測一些塊的運動狀態。從中受到啟發，我們利用幀間預測參考關系和現有壓縮域檢測方法中使用的傳統信息來檢測每一幀的運動區域，依靠時空相關性來確定運動物體，去除檢測噪聲，區分運動物體與背景運動，并用卡爾曼濾波優化運動軌跡，最終實現了一種更精確的隱私保護運動檢測方法。
設計與實現
我們在用選擇性加密算法來加密的HEVC視頻上設計實現運動檢測方法，包括三個主要步驟，如下圖1所示。
圖1 對加密的HEVC視頻進行運動檢測的主要步驟
1）運動區域檢測
1. 首先從加密視頻中提取編碼信息。這些信息包含預測塊PB的幀間預測信息、每個編碼樹塊CTB中編碼塊的數量以及每個編碼樹單元（CTU）的編碼位數。
2. 確定預測塊PB的運動狀態。在HEVC的2種模式中，選擇性加密不對MVD前綴、Merge_flag和候選參考塊中的MVP（Motion Vector Predictor）索引加密，結合這些信息可推測PB的運動狀態。算法1是確定PB的運動狀態及其MVD標志的算法。
Merge和AMVP模式都會從相鄰的塊編譯一個候選運動矢量的列表來獲得參考塊，該列表可能會因為加密而損壞，我們通過檢查運動狀態的鏈式導數關系中的候選塊的祖先來解決。若兩個候選對象在Merge模式中鏈接到相同的祖先，則它們在構建候選列表時有相同的MV值，保留一個候選即可。圖2顯示了當前PB及其相鄰塊之間的參考關系，箭頭表示運動狀態的導數關系。
圖2 當前PB及其鄰近塊的參考關系的示例
2. 確定檢測塊DB的運動狀態。DB的運動狀態由其包含的PB推導。塊的分區模式與編碼位數在加密后仍保持不變，可以用來更新DB的運動狀態。算法2是用編碼位數和DB的分區模式來更新DB的運動狀態的方法。
3. 優化DB的運動狀態。完成算法2之后，許多DB的運動狀態被錯誤地標記。我們用空間一致性和局部時間一致性來優化當前幀中DB的運動狀態。優化的過程是不斷迭代，直到所有DB都不再更改其運動狀態。
完成上述所有步驟后，一幀中相鄰的運動DB都被分為運動區域（motion region），這些運動區域將進一步進行優化和處理。
2）跟蹤運動物體
上一步完成后，需要跟蹤跨幀的運動物體并確定其軌跡，過程如下：
1. 跨幀跟蹤運動區域。假設在第k幀中有n個運動區域，且表示為Rk,1，Rk,2，…，Rk,n，對于幀中的每個運動區域Rk,i，我們逐幀檢查之前的p幀中是否有重疊的運動區域。若沒有找到重疊區域，則檢查之前的p幀中的 Rk,i附近是否有運動區域。若有一個運動區域Rk-j,m（1≤j≤p）與Rk,i重疊或在其附近，則計算面積比Rk,i/Rk-j,m，若滿足1/Tratio<Rk,i/Rk-j,m<Tratio，則認為Rk,i和Rk-j,m是同一運動物體。若沒有滿足上述條件的運動區域，則Rk,i為視頻中新出現的運動物體。若有多個運動區域滿足上述條件，則選擇時空域中最接近或重疊最大的一個。
2. 分割相連/合并的運動區域。若某一幀中兩個運動物體的位置非常接近，它們的運動區域可能會被合并，此時在該幀中只能檢測到單個運動區域，會有下面三種情況：
- 兩個運動物體從分開到彼此靠近；
- 兩個運動物體從彼此靠近到彼此遠離；
- 前兩種情況的綜合：兩個運動物體從分開到彼此靠近再到彼此遠離。
利用運動物體的運動連續性和形狀一致性，我們在物體運動區域合并之前或之后跟蹤每個運動物體，估計它們的進出速度和形狀，通過不同的特征將合并的運動區域分割成單獨的運動區域。我們將上述方法結合運動物體進入合并區域前或離開合并區域后的相對位置來完成分割。
3. 消除有噪聲的檢測結果。運動區域被劃分為不同的運動物體之后，計算每個運動物體的持續時間，將時間小于閾值的運動物體視為噪聲并消除。然后計算每個檢測到的運動物體的缺失率和形狀變化，若兩者中的任何一個高于閾值，則將檢測到的運動物體視為噪聲并消除。
4. 用卡爾曼濾波優化軌跡。首先計算在每一幀中檢測到的運動區域的質心。將質心連起來即為一個運動物體的初步軌跡，然后兩次使用卡爾曼濾波來優化運動軌跡。第一次卡爾曼濾波去除初步軌跡中的異常值，第二次卡爾曼濾波消除第一次卡爾曼濾波輸出的噪聲，最終產生更平滑的軌跡。
5. 消除背景運動。經過卡爾曼濾波后，得到運動物體優化后的軌跡，通過軌跡的形狀可以確定是背景運動還是前景運動。背景運動的軌跡僅圍繞于某個位置，且整條軌跡位移較小，而前景運動通常有一致的運動方向并有較大的位移。我們利用前景運動和背景運動之間的明顯差異即可確定并去除背景運動。
3）優化運動物體的形狀
我們利用上一步獲得的優化軌跡優化檢測到的運動物體的形狀，先計算檢測到的運動物體的形狀的質心，并沿著運動物體的優化軌跡來對齊質心的位置。然后用一個以當前幀為中心的q個幀的滑動窗口來計算在滑窗中檢測到的運動物體的形狀的移動平均值。設定移動平均值的閾值，并計算閾值的邊界框，將邊界框的質心與優化軌跡對齊，對齊后的用了閾值的移動平均值即為當前幀中運動物體優化后的形狀。
實驗評估
我們在數據集CAVIAR、OTCBVS、LIMU、VIRAT和CDW-2012中的視頻序列上進行了測試，實驗驗證我們的檢測方法實現了較高的檢測精度和速度。
首先我們對比了我們的方案與已有在加密H.264視頻上實現的檢測方案的性能。我們分別在高分辨率和低分辨率視頻上進行了檢測，結果表明在低分辨率視頻上我們的方案取得了和已有H.264方案相似的高檢測性能。而在高分辨率視頻上，我們實現了更高的精度，準確率和召回率（如表3所示）。
表3 在加密的HEVC高分辨率序列上和低分辨率序列上的檢測精度
我們還測試了在CDW-2012的四個baseline視頻序列上的像素級檢測精度，如表4。
表4 在加密的HEVC的CDW-2012中的baseline序列上的像素級檢測精度
與基于邊界框的檢測精度相比，像素級檢測精度有明顯降低，其原因與靜止的前景對象、物體的影子和檢測的粒度等有關。
我們同樣進行了關于時間復雜度的實驗，表5是對不同分辨率測試序列的檢測時間和速度。實驗表明我們方案的時間復雜度遠低于像素域中的檢測方法。
表5 檢測時間和速度
詳細內容請參見：
Changming Liu，Xiaojing Ma, Sixing Cao, Jiayun Fu, and Bin B. Zhu, Privacy-Preserving Motion Detection for HEVC-Compressed Surveillance Video, ACM Transactions on Multimedia Computing Communications and Applications，Vol 18, No 1, Jan. 2022, pp. 1-27. https://doi.org/10.1145/3472669.
