download：2022升级重学C++重构你的C++知识体系19章含资料
爲了抑止模態差別，作者提出了一種記憶加強的單向度量學習辦法(MAUM)，該辦法有兩個新穎的設計:(1)學習單向度量；(2)用記憶庫加強。
首先，我們學習了兩個單向指標(“IR”到“RGB”和“RGB”到“IR”)來緩解基線的中繼效應。MAUM爲每個ID學習兩個特定的模態代理(MS-proxy ),如圖1 (b)所示。RGB(IR)代理只接纳來自RGB(IR)特徵的梯度，因而它們能夠用於表示特殊形式。然後，凍結它們並運用RGB代理作爲静態參考來提取IR特徵，反之亦然。這兩個單向指標促進了更好的跨模態相關性。
其次，這兩個單向指標經過基於記憶的加強得到進一步強化。每次迭代後，MAUM將IR和RGB代理存儲在它們各自的記憶庫中。由於MS代理不時迭代變化(即“漂移”現象)，每個ID在存儲體中都有多個不同的IR和RGB代理，如圖1(b)所示。一些歷史MS-proxy(與最新MS-proxy相比)間隔模態邊境更遠，因而對相應的模態特徵具有更強的“放大”效應。總之，記憶庫經過使陽性樣本難以辨別來加強MAUM，從而促進跨模態相關。作者指出，基於記憶的學習提醒了MAUM未知但重要的潜力。詳細來說，作者用“漂移”來加強參考性。相比之下，以前的研讨以爲“漂移”會帶來負面影響，並試圖防止。如圖1(b)所示，具有相同ID的特徵散佈嚴密，這標明模態差別被抑止。例如，如圖1(a)所示，ID-116的類内嵌入明顯比基線更緊湊。
除了有效地減少模態差別之外，所提出的MAUM在模態不均衡的狀況下也具有特殊的優勢。在锻煉數據中，由於人在夜間活動較少，红外圖像通常比RGB圖像更稀少，红外圖像的標注難度更大。在MAUM中，單向丈量和基於記憶的加強是基於特定形式的，並且在IR代理上的加強獨立於在RGB代理上的加強，反之亦然。因而，MAUM能夠重新均衡红外和RGB形式的加強。經過增益再均衡，補償了红外圖像的缺乏，對模態不均衡具有鲁棒性。
作者的主要奉獻總結如下:
(1)針對跨模態辨認問題，提出了一種新的記憶加強的單向度量學習辦法。它在兩個單向方向上學習明白的跨模態度量，並經過基於記憶的加強進一步加強；
(2)思索了模態不均衡，這是跨模態辨認中一個重要的實践問題。經過調整特定形式的增益，MAUM對形式不均衡表現出很強的鲁棒性。
(3)綜合評價了模態均衡和模態不均衡條件下的辦法。實驗結果標明，MAUM在兩種狀況下都能顯著進步跨模態re-ID的性能，明顯優於現有辦法。
2.相關著作
2.1跨模態丈量學習
初次研讨了異構人脸辨認中的跨模態問題。這些早期的作品都運用了與模態無關的代理來增強類内的嚴密性。RGB受進犯的跨模態行人再辨認初次引入行人再辨認中的跨模態問題，並逐步惹起再辨認界的關注。與本文最接近的工作是經過模態感知的協作集成學習停止跨模態的人重新辨認，這與作者的辦法相似，也運用了特定的模態分類層。但是，這兩種辦法之間存在顯著差別。他們運用特定模態分類器的集成來生成用於協作集成學習的加強教員模型；MAUM運用模態特定分類器來學習模態特定代理，這些代理在收敛後是固定的，並用於學習單向指示器。
2.2基於記憶的學習
記憶庫普遍應用於監視、半監視和無監視係統。在半監視學習中，應用記憶庫獲取歷史預測的時間集，增強了未標誌樣本的最新預測與時間集的分歧性。無監視學習的兩個重要研讨成果(MOCO和監視丈量學習(XBM))在運用記憶庫方面有類似的動機。詳細來說，MOCO增加了存儲密鑰的數量，以便更好地停止比擬研讨；XBM經過存儲歷史特徵來進步疑問案例發掘的效果。他們都受益於記憶銀行增加負面特徵。
在基於記憶學習的背景下，作者指出MAUM的新穎之處在於一種新的跨模態度量學習機製。在MAUM，記憶銀行的益處不是由於時間分歧性(如半監視學習)或更多的負樣本(如MOCO和XBM)。MAUM受益於模型漂移，協助MAUM取得難以辨別的正樣本參考，促進跨模態關聯。此外，MAUM將代理存儲在記憶銀行中，這能夠視爲丈量學習任務的一種新的模型擴展。相比之下，以前的工作只存儲特徵向量。
2.3不均衡數據的學習
數據不均衡是深度學習中的一個重要應戰。以往的研讨多集中在類別不均衡上，處理辦法主要有兩種，即重採樣和重新加權。重採樣是指在锻煉中對少數類(少量樣本)停止過採樣，對高頻類(大量樣本)停止欠採樣，以均衡每次迭代中的頭尾數據。加權指的是在损失函數中爲不同類別以至不同樣本分配自順應權重。