download：2022升级重学C++重构你的C++知识体系
1 .简介
本文主要研讨跨模態行人再辨認問題。Re-ID的目的是從數據庫中檢索相關人的圖像。理想世界中的身份辨認係統有時需求日夜辨認同一個人。爲此，需求運用兩種不同的設備:白晝運用RGB攝像頭，晚上運用红外(IR)攝像頭。當查询和圖庫圖像來自不同形式時，明顯的形式差別是最突出的應戰。本文試圖經過處理模態差別來進步跨模態辨認的效果。從度量學習的角度來看，re-ID的主要目的是學習一個* 類内緊致 *類間別離的嵌入空間。基於深度分類的學習基線是用於身份辨認和人脸辨認任務的盛行辦法。在锻煉過程中，它將一切具有相同ID的特徵拉至相應的代理(即分類層中的權重向量)。
當這個基線應用於跨模態re-ID時，作者發現模態差別顯著障礙了類内緊湊性，如圖1 (a)所示。在基線中，不論其底層形式如何，具有相同ID的一切實例共享一個代理。與形式無關的代理試圖順應IR和RGB特性，並充任它們之間的中間中繼。這種中繼效應招致對形式差別的相當大的容差。從圖1 (a)中的t-SNE可視化中能夠察看到，兩種形式的特徵之間存在明顯的形式差別。具有不同ID的相同模態的特徵比具有相同ID的不同模態的特徵更接近。例如，ID116和ID119的類間間隔小於ID-116的類内間隔。
爲了抑止模態差別，作者提出了一種記憶加強的單向度量學習辦法(MAUM)，該辦法有兩個新穎的設計:(1)學習單向度量；(2)用記憶庫加強。
首先，我們學習了兩個單向指標(“IR”到“RGB”和“RGB”到“IR”)來緩解基線的中繼效應。MAUM爲每個ID學習兩個特定的模態代理(MS-proxy ),如圖1 (b)所示。RGB(IR)代理只接纳來自RGB(IR)特徵的梯度，因而它們能夠用於表示特殊形式。然後，凍結它們並運用RGB代理作爲静態參考來提取IR特徵，反之亦然。這兩個單向指標促進了更好的跨模態相關性。
其次，這兩個單向指標經過基於記憶的加強得到進一步強化。每次迭代後，MAUM將IR和RGB代理存儲在它們各自的記憶庫中。由於MS代理不時迭代變化(即“漂移”現象)，每個ID在存儲體中都有多個不同的IR和RGB代理，如圖1(b)所示。一些歷史MS-proxy(與最新MS-proxy相比)間隔模態邊境更遠，因而對相應的模態特徵具有更強的“放大”效應。總之，記憶庫經過使陽性樣本難以辨別來加強MAUM，從而促進跨模態相關。作者指出，基於記憶的學習提醒了MAUM未知但重要的潜力。詳細來說，作者用“漂移”來加強參考性。相比之下，以前的研讨以爲“漂移”會帶來負面影響，並試圖防止。如圖1(b)所示，具有相同ID的特徵散佈嚴密，這標明模態差別被抑止。例如，如圖1(a)所示，ID-116的類内嵌入明顯比基線更緊湊。
除了有效地減少模態差別之外，所提出的MAUM在模態不均衡的狀況下也具有特殊的優勢。在锻煉數據中，由於人在夜間活動較少，红外圖像通常比RGB圖像更稀少，红外圖像的標注難度更大。在MAUM中，單向丈量和基於記憶的加強是基於特定形式的，並且在IR代理上的加強獨立於在RGB代理上的加強，反之亦然。因而，MAUM能夠重新均衡红外和RGB形式的加強。經過增益再均衡，補償了红外圖像的缺乏，對模態不均衡具有鲁棒性。
作者的主要奉獻總結如下:
(1)針對跨模態辨認問題，提出了一種新的記憶加強的單向度量學習辦法。它在兩個單向方向上學習明白的跨模態度量，並經過基於記憶的加強進一步加強；
(2)思索了模態不均衡，這是跨模態辨認中一個重要的實践問題。經過調整特定形式的增益，MAUM對形式不均衡表現出很強的鲁棒性。
(3)綜合評價了模態均衡和模態不均衡條件下的辦法。實驗結果標明，MAUM在兩種狀況下都能顯著進步跨模態re-ID的性能，明顯優於現有辦法。
2.相關著作
2.1跨模態丈量學習
初次研讨了異構人脸辨認中的跨模態問題。這些早期的作品都運用了與模態無關的代理來增強類内的嚴密性。RGB受進犯的跨模態行人再辨認初次引入行人再辨認中的跨模態問題，並逐步惹起再辨認界的關注。與本文最接近的工作是經過模態感知的協作集成學習停止跨模態的人重新辨認，這與作者的辦法相似，也運用了特定的模態分類層。但是，這兩種辦法之間存在顯著差別。他們運用特定模態分類器的集成來生成用於協作集成學習的加強教員模型；MAUM運用模態特定分類器來學習模態特定代理，這些代理在收敛後是固定的，並用於學習單向指示器。
2.2基於記憶的學習
記憶庫普遍應用於監視、半監視和無監視係統。在半監視學習中，應用記憶庫獲取歷史預測的時間集，增強了未標誌樣本的最新預測與時間集的分歧性。無監視學習的兩個重要研讨成果(MOCO和監視丈量學習(XBM))在運用記憶庫方面有類似的動機。詳細來說，MOCO增加了存儲密鑰的數量，以便更好地停止比擬研讨；XBM經過存儲歷史特徵來進步疑問案例發掘的效果。他們都受益於記憶銀行增加負面特徵。
在基於記憶學習的背景下，作者指出MAUM的新穎之處在於一種新的跨模態度量學習機製。在MAUM，記憶銀行的益處不是由於時間分歧性(如半監視學習)或更多的負樣本(如MOCO和XBM)。MAUM受益於模型漂移，協助MAUM取得難以辨別的正樣本參考，促進跨模態關聯。此外，MAUM將代理存儲在記憶銀行中，這能夠視爲丈量學習任務的一種新的模型擴展。相比之下，以前的工作只存儲特徵向量。
2.3不均衡數據的學習
數據不均衡是深度學習中的一個重要應戰。以往的研讨多集中在類別不均衡上，處理辦法主要有兩種，即重採樣和重新加權。重採樣是指在锻煉中對少數類(少量樣本)停止過採樣，對高頻類(大量樣本)停止欠採樣，以均衡每次迭代中的頭尾數據。加權指的是在损失函數中爲不同類別以至不同樣本分配自順應權重。
留意到跨模態任務中有一個共同的數據不均衡問題，即模態不均衡。模態不均衡是指一種模態比另一種模態包含更多樣本的狀況。在MAUM，對特定形式的加強是分開的，允許對特定形式的獨立加強，這使得MAUM對形式不均衡更鲁棒。
3.辦法
3.1 MAUM
MAUM的框架如圖2所示。MAUM運用ResNet50作爲主幹，並承受RGB和IR圖像作爲輸入。MAUM將第一捲積塊分红兩個獨立的分支，以順應特定形式的低級特徵方式，一個用於RGB，另一個用於IR。爲了進步計算效率，兩種形式共享一切捲積模塊。關於捲積特徵映射，MAUM運用全局均匀池(GAP)來爲每個輸入圖像生成深度嵌入。基於這種常用的主幹設置，提出的MAUM著重於其記憶加強的新的單向丈量學習辦法。
3.1.5具有組件特徵的MAUM
特性通常能夠進步視覺重辨認和跨模態重辨認的性能。爲了考證MAUM與重量特徵兼容，作者引入了一種基於重量特徵的變體，即Maum P，這種變體將最後的捲積特徵圖依照一個简單的重量特徵基線均匀分红六個重量特徵。在锻煉過程中，每個組成局部都有本人的監視。在測試過程中，一切六個組件特徵被串聯以構成最終的表示。
3.2形式失衡情形下的MAUM
在跨模態re-ID中，红外圖像通常比RGB圖像稀缺，招致模態不均衡，红外圖像更難標注。當模態不均衡到達極限時，一些id可能只要一個模態(例如只要RGB)。我們把這兩種狀況定義爲:(1)模態不均衡場景，每個ID有兩種形態，红外圖像比RGB圖像少；(2)神態片斷情形，有些id只要一個神態，而有些則有兩個神態。
MAUM是第一個在跨模態研讨中思索模態不均衡的人。實驗標明，模態不均衡顯著降低了re-ID的精度。在MAUM，由於加強是基於兩種特定形式的記憶庫，它們之間的比例能夠靈敏調整，以補償红外圖像樣本的缺乏。因而，MAUM對形式失衡是穩健的。
3.3機理剖析
本文剖析了MAUM記憶加強的機製。作者指出記憶庫中積聚的代理漂移是單向度量學習加強的缘由。
當我們在兩個不同的锻煉迭代中察看具有相同ID的代理時，兩個察看結果自然是不同的。關於定量剖析，同一藥劑的兩次察看值之間的差別被定義爲藥劑漂移，如公式(4)。
6.摘要
本文提出了一種用於跨模態辨認的單向丈量學習辦法MAUM。MAUM有兩個優點:(1) MAUM不運用形式無關的代理作爲兩個模態之間的中間中繼，而是強迫運用兩個單向度量的顯式跨模態關聯；(2)經過探究模型漂移的潜力，MAUM經過基於記憶的加強進一步增強了跨模態相關性。分離這兩個優點，MAUM顯著地抑止了模態差別，進步了跨模態辨認的才能。另一個奉獻是將模態不均衡問題引入到跨模態re-ID社區中，並證明了MAUM在該問題中具有較高的鲁棒性和優越性。
在MAUM，運用兩種特定形式的存儲體來存儲MS-proxy。固然這些代理沒有梯度，但依然需求一些内存和計算開支來存儲和運用它們。當锻煉集很大時，如工業數據集，其内存和計算開支不可疏忽。如何優化内存和計算開支將是將來工作的重點。