返回論文筆記資料庫
arXiv 2018物件偵測論文筆記

YOLOv3

引入多尺度檢測

原始論文

YOLOv3: An Incremental Improvement

論文作者

Joseph Redmon · Ali Farhadi

發表版本
正式發表資訊尚未核實
arXiv 首次提交
arXiv:1804.02767
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{objectdetectionyolov32018,
  title = {{YOLOv3: An Incremental Improvement}},
  author = {Joseph Redmon and Ali Farhadi},
  year = {2018},
  eprint = {1804.02767},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1804.02767}
}
本頁內容

第三代的 YOLO 其實不是論文,就作者本人表示:這只是一份技術報告。

定義問題

近期在目標檢測領域有許多新的研究進展。

作者想著是時候將這些新的想法整合到 YOLO 中,並且進行一些改進。

其中,Bounding Box 預測的部分沒有更改,直接沿用 YOLOv2 的設計,這邊我們就不再贅述。

解決問題

作者做了一系列的改進。

更新 Backbone

作者將 Darknet-19 的網路架構改為 Darknet-53。這裡同樣使用連續的 3x3 和 1x1 的卷積層,並且新增一些殘差連接。這是一個更深的網路,並且在 ImageNet 上進行了訓練,因為這個網路有 53 個卷積層,所以作者稱之為 Darknet-53。

下表為 Darknet-53 在 ImageNet 上的表現,可以看到 top-1 準確率為 77.2%,與 ResNet-101 的 77.1% 相近;在表中的 256×256、Titan X 測試條件下,推論速度為 78 FPS,約比 ResNet-101 的 53 FPS 快 1.5 倍。

類別預測

這裡不用 softmax 來預測類別,而是使用 logistic regression 來預測每個類別的機率。

意思就是不強制每個框只能屬於一個類別,而是允許同一個框有多個類別標籤,例如資料集中同時出現「女人」與「人」的重疊標籤。

多尺度檢測

參考 FPN 和 RetinaNet 的概念,作者在 YOLOv3 中引入了多尺度檢測。

錨點的部分仍然使用 K-means 聚類的方式取得錨框尺寸,不一樣的地方是使用三個不同尺度的特徵圖,分別是 1/32, 1/16, 1/8。較深層的特徵會放大後與較淺層特徵串接,再進行下一個尺度的預測。在 COCO 實驗中,每個尺度的每個位置都預測三個框;每個框包含 4 個邊界框偏移、1 個物件信心分數、80 個類別機率。

其預測張量尺寸為 N×N×[3×(4+1+80)]N \times N \times [3 \times (4 + 1 + 80)]。

討論

在 COCO 上的表現

作者首先承認由於不想花費大量時間重新訓練其他架構的模型,於是從 RetinaNet 論文中「借來」了一份圖片和一份表格資料。然後把 YOLOv3 的結果放在這份表格上,可以看到 YOLOv3 在速度和準確率上都有不錯的表現。

從上表中可以看到,YOLOv3 在 AP50AP_{50} 上的表現很優秀,遠高於 SSD 架構,這表明物體的檢測上有很好的表現。但隨著 IOU 的閾值增加,YOLOv3 的表現逐漸下降,這表明 YOLOv3 難以產生高精度的邊界框。

在過去 YOLO 架構對於小物體的檢測表現不佳,但是 YOLOv3 在這方面產生反轉。通過新的多尺度檢測,YOLOv3 的小物體 AP 相較 YOLOv2 從 5.0 提升到 18.3;中、大物體 AP 也有提升,只是相較表中部分其他模型仍較低。

做了卻沒效果的嘗試

作者在訓練過程中嘗試了一些方法,但是效果不明顯,在文章中作者也一併提出。

  1. 錨框中心點 x, y 偏移預測:作者嘗試以框寬、高的倍數配合線性啟動函數預測偏移,但模型穩定性下降,效果不好。
  2. 線性 x, y 預測,而不是 logistic:作者嘗試直接使用線性啟動函數預測偏移,但是 mAP 下降了幾個點。
  3. 使用 Focal Loss:作者嘗試使用 Focal Loss 來解決類別不平衡的問題,但是 mAP 下降約 2 個點,作者表示自己也不知道原因。
  4. 雙 IOU 閾值:作者嘗試使用使用 Faster R-CNN 的方式,將物件以 IOU 大於 0.7 視為正樣本,小於 0.3 視為負樣本,忽略中間的部分,但是效果不好。

結論

根據過去的研究結果,人類很難用肉眼區分 IOU 0.3 和 0.5 的檢測框,所以作者認為既然人類都難以區分,那模型在這些驗證資料集上追求更高的分數,似乎也沒有太大的意義。

YOLO v3 的性能在作者看來已經足夠應對現實中大部分的問題,我們應該專注於提升模型的安全性,讓這些高性能的模型用在正確的地方,減少對世界的危害才是更重要的事情。