行人重識別

行人重識別（Person re-identification）也稱行人再識別，是利用計算機視覺技術判斷圖像或者視頻序列中是否存在特定行人的技術。廣泛被認為是一個圖像檢索的子問題。 ^[1]  給定一個監控行人圖像，檢索跨設備下的該行人圖像。旨在彌補固定的攝像頭的視覺侷限，並可與行人檢測/行人跟蹤技術相結合 ^[2]  ，可廣泛應用於智能視頻監控、智能安保等領域。 ^[3] 

行人重識別的研究起始於二十世紀九十年代中期。研究者們借鑑、引入了一些圖像處理、模式識別領域的成熟方法，側重研究了行人的可用特徵、簡單分類算法。自2014 年以來，行人重識別技術的訓練庫趨於大規模化，廣泛採用深度學習框架。隨着高校、研究所以及一些廠商的研究持續深入，行人重識別技術得到了飛速的發展。

海外主要的行人重識別系統的研究機構有悉尼科技大學（UTS）、倫敦瑪麗女王大學（QMUL）等；中國大陸及港澳台的主要有清華大學、北京大學、復旦大學、香港中文大學、西安交通大學、中國科學技術大學、中山大學，中科院自動化所等。

2020年，依圖科技在ReID領域取得新突破，刷新業界三大數據集當前最優成績(SOTA)，算法性能達到業界迄今最高標準，極大拓展了算法和應用的邊界 ^[4]  ，加速行人重識別(ReID)大規模商業化落地 ^[4]  。

1. 能不能用人臉識別做重識別？

理論上是可以的。但是有兩個原因導致人臉識別較難應用：首先，廣泛存在後腦勺和側臉的情況，做正臉的人臉識別難。其次，攝像頭拍攝的像素可能不高，尤其是遠景攝像頭裏麪人臉截出來很可能都沒有32x32的像素。所以人臉識別在實際的重識別應用中很可能有限。 ^[5] 

2.有些人靠衣服的顏色就可以判斷出來了，還需要行人重識別麼？

衣服顏色確實是行人重識別做出判斷一個重要因素，但光靠顏色是不足的。首先，攝像頭之間是有色差，並且會有光照的影響。其次，有撞衫（顏色相似）的人怎麼辦，要找細節，但比如顏色直方圖這種統計的特徵就把細節給忽略了。在多個數據集上的測試表明，光用顏色特徵是難以達到50%的top1正確率的。 ^[5] 

基於人體在三維空間中的結構（結構信息），人體圖像可以進行分割，按部件來執行匹配。

1.常見方案是水平切割，就是將圖像切為幾個水平的條。由於人體身材往往差不多，所以可以用簡單的水平條來做一一比較。 ^[6] 

2.在領域中做匹配，採用的是一個正方形的鄰域。 ^[7] 

3.另一個較新的方案是先在人體上檢測部件（手，腿，軀幹等等）再進行匹配，這樣的話可以減少位置的誤差，但可能引入檢測部件的誤差。 ^[8] 

4. 類似LSTM的attention匹配，但必須pair輸入，測試時間較長，不適合快速圖像檢索。 ^[9] 

5. 如圖，類似人臉對齊，使用STN 將行人整個圖像先利用熱度圖對齊，再匹配。 ^[10-11] 

基於高層語義信息，設置一些輔助任務，幫助模型學習到好的特徵表達。

1. 身份損失（Identification loss）直接拿身份label做多類分類。 ^[12] 

2. 鑑定損失（Verification loss）比較兩個輸入圖像是否為同一人。 ^[7] 

3. 身份損失（Identification loss）+鑑定損失（Verification loss），將以上兩種損失函數混合。 ^[13] 

4. 三樣本損失 （Triplet loss） 以3個樣本為一組，同一人的圖像特徵距離應小於不同人。 ^[14] 

5. 加入屬性任務 （attribute）比如判斷是否揹包，是男生還是女生等等。人們遇見陌生人也是利用這些屬性來描述。 ^[15] 

6. 數據增強 混合多數據集訓練 ，加入訓練集上 生成對抗網絡（GAN）生成的數據。 ^[16-17] 

DukeMTMC-reID

該數據集在杜克大學內採集，圖像來自8個不同攝像頭。該數據集提供訓練集和測試集。 訓練集包含16,522張圖像，測試集包含 17,661 張圖像。訓練數據中一共有702人，平均每類（每個人）有23.5 張訓練數據。是最大的行人重識別數據集，並且提供了行人屬性（性別/長短袖/是否揹包等）的標註。 ^[18] 

DukeMTMC-attribute

該數據集基於DukeMTMC-reID數據集，加入了行人屬性（如性別gender/是否揹包bag等23種屬性），並且提升了DukeMTMC 行人重識別的效果。 ^[19] 

Market-1501

該數據集在清華大學校園中採集，圖像來自6個不同的攝像頭，其中有一個攝像頭為低像素。同時該數據集提供訓練集和測試集。 訓練集包含12,936張圖像，測試集包含19,732 張圖像。圖像由檢測器自動檢測並切割，包含一些檢測誤差（接近實際使用情況）。訓練數據中一共有751人，測試集中有750人。所以在訓練集中，平均每類（每個人）有17.2張訓練數據。 ^[20] 

DG-Market

該數據集利用Market數據集作為訓練集，生成出來的圖像組成。數據量約為Market-1501的十倍，共128,307張生成圖像。可以用作半監督學習，輔助訓練。 ^[21] 

Market1501-attribute

該數據集基於Market-1501數據集，加入了行人屬性（如性別/是否揹包等27種屬性），並且提升了Market-1501上行人重識別的效果。 ^[22] 

CUHK03

該數據集在香港中文大學內採集，圖像來自2個不同攝像頭。該數據集提供 機器檢測和手工檢測兩個數據集。 其中檢測數據集包含一些檢測誤差，更接近實際情況。平均每個人有9.6張訓練數據。 ^[23] 

現有科研工作往往集中於二維的圖像空間，2021年後發展方向漸漸向三維空間擴展，比如，將行人映射到三維空間，該數據集通過引入人體的三維幾何結構來輔助行人識別。 ^[24] 

通過對行人的語言描述來找到指定行人。 ^[25]  如圖1，尋找藍色襯衫的女性。

使用生成對抗網絡(GAN)生成更多數據，輔助數據驅動的深度學習。 ^{[16]  [21]} 

由於數據集與現實數據之間的差異，導致在數據集A上訓練好的模型在現實數據B上性能表現不佳。 學界主要採用遷移學習的方法，在有標籤的數據集A（比如Market-1501）和無標籤數據集B（比如DukeMTMC-reID訓練集抹掉訓練標籤）上訓練，最後在數據集B的測試集上測試。 ^[26] 

現有行人重識別模型的安全性也引起了很多學者的關注，在多種實際環境下（如季節變換，地區變換，低光照，遮擋）仍就有效。故一些方法 ^[27]  通過在行人圖像上添加微小的噪聲，來攻擊行人重識別模型，藉此探究行人重識別模型的缺陷。通過對缺陷的研究，提升模型設計時對抗噪聲的能力。