OpenMMLab ikinci sürümü yayınlandı: endüstrinin dikkatini çeken tarihteki en eksiksiz nesne algılama araç kutusu
MMDetection'ın yeni sürümü hakkında
AI Technology Review Press: Geçen yılın Ekim ayında, Hong Kong-Shangtang Ortak Laboratuvarı Çin Üniversitesi, OpenMMLab'ın ilk sürümünde MMCV ve MMDetection'ı (ilk sürüm) açtı. Asıl amaç, bilgisayar görüşünün bazı önemli yönlerinde birleşik ve açık bir kod tabanı oluşturmak ve buna sürekli olarak yeni algoritmalar yerleştirmektir. Geçtiğimiz altı ayda, bu kod tabanları önemli bir etkiye sahip oldu.MMLab dışındaki giderek daha fazla araştırma ekibi, yeni hedef algılama algoritmalarını uygulamak için temel olarak MMDetection'ı kullanmaya başladı ve yeni algoritmalarını MMDetection'a geri beslemeye devam ediyor.
Kısa bir süre önce, OpenMMLab'ın ikinci baskısı resmi olarak yayınlandı.Çok sayıda üniversite ve kurumdan araştırmacılar ortaklaşa, hedef saptamanın uygulanmasını ve yeni yöntemlerin araştırılmasını ve geliştirilmesini etkili bir şekilde teşvik edecek yeni nesil bir Açık MMLab Algılama önerdiler.
Genel Bakış
Bu makalede, çok sayıda hedef algılama ve örnek segmentasyon yöntemlerinin yanı sıra ilgili bileşenleri ve modülleri içeren bir hedef algılama araç kutusu MMDetection'ı tanıtıyoruz. Bu araç kutusu, 2018 COCO Challenge test rekorunu kıran ve şampiyonluğu kazanan MMDet ekibi tarafından yönetilmektedir. O zamandan beri MMDetection, birçok ana algılama yöntemini ve modern modülü kapsayan birleşik bir platforma dönüştü. Yalnızca eğitim ve çıkarım kodunu içermez, aynı zamanda 200'den fazla ağ modeli için ağırlık parametreleri sağlar. Bu araç kutusunun açık ara en eksiksiz denetim araç kutusu olduğuna inanıyoruz.
Bu makale, araç kutusunun çeşitli özelliklerini tanıtır. Ayrıca, farklı yöntemler, bileşenler ve bunların hiperparametreleri ile ilgili kıyaslama çalışmaları da yaptık. Araç kutularının ve karşılaştırmalı değerlendirmelerin, mevcut yöntemleri kopyalamak ve büyüyen araştırma topluluğuna hizmet etmek için özel yeni dedektörler geliştirmek için eksiksiz ve esnek bir araç seti sağlayabileceğini umuyoruz.
MMDetection yeni özellikleri
Nesne algılama ve örnek bölümleme, hem temel bilgisayar görüşü görevleridir. Tespit süreci genellikle sınıflandırma görevinden daha karmaşıktır ve farklı uygulama ortamları tamamen farklı sonuçlara yol açabilir. Yüksek kaliteli bir kod tabanı ve birleşik bir kıyaslama testi sağlamak için, PyTorch'u MMDetection tabanlı bir hedef algılama ve örnek segmentasyon kodu oluşturmak için kullanıyoruz.
MMDetection'ın birkaç ana özelliği vardır:
-
Modüler tasarım. Hedef algılamanın ağ mimarisini farklı bileşenlere ayırıyoruz ve çeşitli modül kombinasyonları aracılığıyla kolayca özel bir hedef algılama mimarisi oluşturabiliriz.
-
Çeşitlendirilmiş model mimarisini destekleyin. Araç kutusu, tek aşamalı, çift aşamalı ve çok aşamalı algılama mimarileri dahil olmak üzere çeşitli genel algılama mimarilerini destekler.
-
Yüksek hesaplama verimliliği. Tüm temel bileşenler ve modüller GPU tarafından uygulanır ve eğitim hızı diğer kod tabanlarından daha hızlıdır (Detectron , maskrcnn-benchmark ve SimpleDet vb.) daha hızlıdır.
-
En gelişmiş algılama performansı. Araç kutusu, 2018 COCO hedef tespit şampiyonu MMDet ekibi tarafından geliştirildi ve modelin performansı sürekli olarak iyileştiriliyor.
Kod tabanı ve kıyaslama sonuçlarını sunmanın yanı sıra, süreci ve hedef dedektörü eğitmek için en iyi yöntemleri de raporluyoruz. Hiperparametreler, mimari ve eğitim stratejileri üzerindeki ablasyon deneyleri de tartışılmaktadır. Bu araştırmanın gelecekteki araştırmalara katkıda bulunabileceğini ve farklı yöntemler arasında karşılaştırmaları kolaylaştıracağını umuyoruz.
Destek yapısı
MMDetection, ana akım hedef algılama ve örnek segmentasyon yöntemlerinin yüksek kaliteli uygulamalarını içerir. Aşağıdaki şekil, diğer kod tabanlarına kıyasla desteklenen mimari ve özelliklerin bir özetini sunar. MMDetection, özellikle en son kod tabanlarına kıyasla diğer kod tabanlarından daha fazla yöntem ve işlevi destekler.
Şekil 1 MMDetection araç kutusu tarafından desteklenen algılama modellerinin sayısı, diğer mevcut hedef algılama kodu tabanlarını çok aşıyor
Ağ mimarisi
1. Model gösterimi
Farklı dedektörlerin model mimarileri farklı olsa da, kabaca aşağıdaki kategorilerde özetlenebilecek ortak bileşenlere sahiptirler:
-
Omurga: İşlevi, görüntüden öznitelikleri çıkarmak ve görüntüyü piksel uzayından yüksek boyutlu özellik uzayına dönüştürmektir.Örneğin, VGG ve ResNet-50 yaygın olarak kullanılan omurga ağlarıdır;
-
Boyun: Omurga ağı ile kafayı birbirine bağlayan yapı. Omurga ağı tarafından oluşturulan orijinal ilk özellik haritası üzerinde bazı optimizasyon veya yeniden yapılandırma gerçekleştirir.Örneğin, Özellik Piramit Ağı (FPN) tipik bir Boyun'dur.
-
Yoğun Kafa (DenseHead): AnchorHead ve AnchorFreeHead dahil özellik haritası ile haritalanan yoğun konumda çalışmak için kullanılır.Temsilci işlemleri arasında RPN, Retina, FCOS vb. Yer alır.
-
RoI Extractor: RoIPooling operatör özelliklerini bir veya daha fazla özellik haritasından çıkarın. Öznitelik piramidinin karşılık gelen düzeyinden ROI özelliklerinin çıkarılmasına bir örnek SingleRoIExtractor'dur.
-
RoI konektörü (BBoxHead / MaskHead): Giriş olarak RoI özelliğini alın ve bbox konumu, sınıflandırma veya segmentasyonun tahmin sonucu dahil olmak üzere görev sonucunu hesaplayın.
Bu ortak modüller aracılığıyla, sadece bazı yeni bileşenler oluşturarak ve mevcut bileşenleri bir araya getirerek geliştirebilir ve keşfedebiliriz.
Şekil 2 Tek aşamalı ve iki aşamalı dedektör mimarisinin patlatılmış diyagramı
2. Eğitim süreci
Kanca tetikli standart bir eğitim süreci tasarladık. Bu yöntem yalnızca hedef tespiti için değil, aynı zamanda görüntü sınıflandırma ve anlamsal bölümleme gibi diğer bilgisayarla görme görevleri için de kullanılabilir. Pek çok görevin eğitim süreci, eğitim ve doğrulama sürecinin döngüsel olarak yürütülebildiği ve doğrulama sürecinin isteğe bağlı olduğu benzer bir iş akışında kullanılabilir. Her döngüde, model üzerinde birden fazla ileri ve geri işlem yapacağız.
Süreci daha esnek ve kişisel hale getirmek için minimum bir süreç birimi tanımlıyoruz ve diğer davranışlar kancalar tarafından tetikleniyor. Özel bir eğitim sürecini yürütmek için, belirli belirli adımlardan önce veya sonra bazı özel işlemler gerçekleştirmek istiyoruz. Kullanıcıların yapabileceği bazı zaman noktaları tanımladık. eklemek Herhangi bir çalıştırılabilir yöntem (kanca), her bir işlem periyodu sırasında önceliğin ardından belirli bir zaman noktasında tetiklenebilir eklemek Kancalar. MMDetection'daki tipik eğitim süreci aşağıdaki şekilde gösterilmektedir ve doğrulama süreci şekilde gösterilmemiştir.
Şekil 3 Tipik eğitim süreci
Kıyaslama
1. Deneysel ayarlar
-
veri kümesi. MMDetection, VOC ve COCO veri setlerini destekler. MS COCO 2017'yi tüm deneyler için ana kriter olarak kullanıyoruz çünkü daha zorlu ve daha yaygın olarak kullanılıyor.
-
Diğer parametreler. (1) Görüntü oranını değiştirmeden görüntüyü maksimum boyuta ayarlayın 133 3 × 800. (2) Eğitim için 8 V100 GPU kullanıyoruz ve toplam toplu iş boyutu 16 (GPU başına 2 görüntü) ve çıkarım için tek bir V100 GPU'dur. (3) Eğitim planı Detectron ile aynıdır. "1x" ve "2x" sırasıyla 12 periyodu ve 24 periyodu temsil eder ve kademeli model "20e" yi kullanır, bu da 20 periyot anlamına gelir.
-
Değerlendirme göstergeleri. COCO veri setinin standart değerlendirme göstergelerini kullanıyoruz, burada 0,5 ile 0,95 arasında değişen çoklu IoU eşikleri uygulanıyor. Bölgesel üretim ağının (RPN) sonuçları geri çağırma oranı (AR) ile ölçülür ve tespit sonuçları mAP ile değerlendirilir.
2. Karşılaştırma sonuçları
1. Ana sonuçlar
SSD, RetinaNet, Faster RCNN, Mask RCNN, Cascade R-CNN, Hybrid Task Cascade ve FCOS dahil olmak üzere COCO 2017 değerinin farklı yöntemlerini karşılaştırdık. Bu sonuçları değerlendirmek için, ResNet-50, ResNet-101, ResNet-101-32x4d ve ResNeXt101- dahil olmak üzere yaygın olarak kullanılan dört omurga ağını kullanıyoruz. 64 x4d.
Şekilde, bu yöntemlerin çıkarım hızını ve sınırlayıcı kutusu (bbox) ile örnek segmentasyonu (maske) AP değeri arasındaki ilişkiyi gösteriyoruz. Çıkarım süresi tek bir Tesla V100 GPU ile ölçülür.
Şekil 4 Farklı yöntemlerin Benchmark test sonuçları
2. Diğer kod tabanlarıyla karşılaştırma
MMDetection'a ek olarak, Detectron, maskrcnn-benchmark ve SimpleDet gibi başka popüler kod kitaplıkları da vardır. Sırasıyla caffe21, PyTorch ve MXNet'in derin öğrenme mimarisi üzerine inşa edilmiştir. MMDetection ve Detectron (@ a6a835f), maskrcnnbenchmark (@ c8eff2c) ve SimpleDet (@ cf4fce4) performans, hız ve bellek açısından karşılaştırıyoruz.
Maske R-CNN ve RetinaNet, sırasıyla iki aşamalı dedektörü ve tek aşamalı dedektörü temsil eder. Bu kod tabanları da geliştirme aşamasında olduğundan, model depolarında bildirilen sonuçlar güncel olmayabilir ve bu sonuçlar farklı donanımlarda test edilir. Adil bir karşılaştırma için, en son kodu çıkardık ve aynı ortamda test ettik.Sonuçlar aşağıdaki şekilde gösterilmektedir.
Şekil 5 Farklı kod tabanlarının performans, hız ve belleğinin karşılaştırılması
Farklı mimarilerin hafızası farklı şekillerde ölçülür. MMDetection, tüm GPU'ların maksimum belleğini görüntüler, maskrcnn-benchmark GPU 0 belleğini görüntüler, Detectron GPU'yu ölçmek için caffe2 API'sini kullanır ve SimpleDet, NVIDIA tarafından sağlanan komutla görüntülenen belleği ölçer. Genel olarak, MMDetection ve maskrcnn kıyaslamasının gerçek bellek kullanımı benzerdir ve diğer belleğe göre daha düşüktür.
3. Farklı GPU'ların çıkarım hızı
Farklı araştırmacılar çeşitli GPU'lar kullanabilir.Burada TITAN X, TITAN Xp, TITAN V, GTX 1080 Ti, RTX 2080 Ti ve V100 gibi yaygın GPU'ların hız kıyaslamalarını gösteriyoruz. Her GPU türü için üç modeli değerlendirdik ve aşağıdaki şekilde nihai çıkarım hızını gösterdik. Bu sunucuların diğer donanımlarının CPU ve sabit disk gibi tam olarak aynı olmadığı unutulmamalıdır, ancak sonuçlar hız karşılaştırması için temel bir referans sağlayabilir.
Şekil 6 Farklı GPU'ların çıkarım hızı karşılaştırmaları
4. Karışık hassasiyet eğitimi
MMDetection, GPU belleğini azaltmak ve eğitimi hızlandırmak için karışık hassasiyetli eğitimi desteklerken performans neredeyse değişmeden kalır; apex2'ye dayalı karışık hassasiyetli eğitimi destekler; SimpleDet ayrıca farklı uygulama yöntemlerine sahiptir; Detectron şu anda karışık hassasiyetli eğitimi desteklememektedir. Aynı V100 düğümünde üç kod tabanını test ettik ve MMDetection'ın maskrcnn-benchmark ve SimpleDet ile karşılaştırma sonuçlarını aşağıdaki şekilde gösterdik.
Şekil 7 Karışık hassasiyetli eğitim test sonuçları
Ek olarak, karışık hassasiyetli eğitimin etkinliğini belirlemek için daha fazla model üzerinde çalıştık. Aşağıdaki şekilde gösterildiği gibi, daha büyük bir parti boyutunun daha fazla bellek tasarrufu sağlayabileceğini anlayabiliriz. Toplu iş boyutu 12'ye yükseltildiğinde, FP16 eğitiminin belleği FP32 eğitiminin neredeyse yarısına düşürülür ve karışık hassasiyetli eğitim RetinaNet gibi daha basit çerçevelere uygulandığında bellek açısından daha verimli olur.
Şekil 8 MMDetection'da farklı modellerin karışık hassasiyetli eğitim sonuçları
5. Çok düğümlü ölçeklenebilirlik
MMDetection birden fazla düğümde dağıtılmış eğitimi desteklediğinden, ölçeklenebilirliğini farklı GPU düğümlerinde test ettik. Karşılaştırma testi yöntemi olarak Mask R-CNN kullanıyoruz ve başka bir V100 düğümü üzerinde deneyler yapıyoruz. Daha sonra farklı sayıda düğüm kullandığımızda, temel öğrenme oranı doğrusal olacak şekilde ayarlanır ve deneysel sonuçlar aşağıdaki şekilde gösterilir.
Şekil 9 Birden fazla düğümde Maske R-CNN'nin eğitim hızı
Gerileme kaybı işlevi
Genellikle, sınıflandırma ve regresyon özellikleriyle temsil edilen hedef dedektörü eğitmek için çok görevli bir kayıp işlevi kullanırız. En yaygın kullanılan regresyon kaybı işlevi Düzgün L1 Kaybı'dır; ancak, Sınırlı IoU Kaybı, IoU Kaybı, GIoU Kaybı, Dengeli L1 Kaybı gibi son zamanlarda daha fazla regresyon kaybı işlevi ortaya çıkmıştır. L1 Kaybı ayrıca türetilmiş bir kayıp fonksiyonudur. Bununla birlikte, bu kayıp işlevleri genellikle farklı yöntem ve ortamlarda uygulanır.
Burada tüm kayıpları aynı ortamda değerlendiriyoruz. Son test performansının, regresyon kaybı fonksiyonunun farklı kayıp ağırlıklarına göre değişeceğini belirtmek gerekir, bu nedenle her kayıp için en iyi kayıp ağırlığını bulmak için kaba bir ızgara araması gerçekleştiriyoruz. Aşağıdaki şekildeki sonuçlar, Düzgün Kayıp Kaybının kayıp ağırlığını basitçe artırarak nihai performansın% 0,5 oranında iyileştirilebileceğini göstermektedir.
Şekil 10 Farklı kayıp ağırlıkları altında farklı regresyon kayıplarının karşılaştırılması
Kayıp ağırlığını ayarlamadan, L1 Loss işlevinin performansı Smooth L1 Loss işlevinden% 0,6 daha yüksektir ve kayıp ağırlığını artırmak daha fazla kazanç sağlamaz. L1 Kaybı, Düzgün L1 Kaybından daha büyük bir kayıp değerine sahiptir, özellikle nispeten doğru sınırlayıcı kutular için, boşluk daha belirgindir. Analiz sonuçlarına göre, sınırlayıcı kutu gradyanını daha iyi konumlandırma doğruluğu ile iyileştirmek konumlandırmaya yardımcı olacaktır. L1 Kaybının kayıp değeri zaten çok büyük, bu nedenle kayıp ağırlığını artırmak kazanç getirmeyecektir.
Uçtan uca daha hızlı R-CNN için, Dengeli L1 Kaybı işlevinin mAP değeri, ön hesaplama yönteminin kullanıldığı deneysel sonuçlardan biraz farklı olan L1 Kaybından% 0,3 daha yüksektir. Bununla birlikte, Dengeli L1 Kaybının, IoU dengeli örnekleme veya dengeli FPN'nin taban çizgisine göre daha yüksek kazançlar sağlayabileceğini gördük. Sınırlı IoU Kaybı işlevi dışında, IoU tabanlı kayıp, en iyi kayıp ağırlığına sahip L1 tabanlı kayıptan biraz daha iyi performans gösterir. GIoU Kaybı, IoU Kaybından% 0.1 daha yüksektir Sınırlı IoU Kaybı ve Düzgün L1 Kaybı benzer performansa sahiptir, ancak birincisi daha büyük bir kayıp ağırlık değeri gerektirir.
Normalleştirilmiş
Sınırlı GPU belleği nedeniyle, dedektörü eğitirken kullanılan veri miktarı genellikle küçüktür (1 veya 2), bu nedenle BN katmanı genellikle tipik bir ayara ayarlanır. BN katmanını yapılandırmak için iki seçenek vardır: E (x) ve Var (x) istatistiklerinin güncellenip güncellenmeyeceği ve afin ağırlıklarının ve optimize edilip edilmeyeceği. PyTorch'un parametre adlarına göre, bu iki seçeneği sırasıyla eval ve required-grad olarak adlandırıyoruz. eval = True, istatistiklerin güncellenmediği anlamına gelir; require-grad = True, ve 'nin eğitim sırasında optimize edildiği anlamına gelir. BN katmanını dondurmanın yanı sıra, Senkronize BN (SyncBN) ve Grup Normalleştirme (GN) gibi küçük parti sorunlarını da çözebilen başka standardizasyon katmanları vardır.
Şekil 11 Farklı BN ayarlarının ve LR programının sonuçları
Burada iki soru üzerinde çalışıyoruz: Farklı normalleştirme katmanları birbirleriyle nasıl karşılaştırılır? Detektöre nereden bir standardizasyon katmanı ekleyebilirim?
Bu iki soruyu yanıtlamak için, ResNet-50-FPN kullanarak üç Maske R-CNN deneyini yaptık ve omurgadaki BN katmanını sırasıyla FrozenBN, SyncBN ve GN ile değiştirdik. Aşağıdaki şekilde gösterilen sonuçlar:
(1) Omurgadaki BN katmanını yalnızca karşılık gelen standartlaştırılmış katmanla değiştirirsek, FrozenBN, SyncBN ve GN de benzer performans elde edebilir.
(2) FPN ve bbox / maske başlığına SyncBN veya GN eklemek daha fazla fayda sağlamayacaktır.
(3) 2fc bbox başlığını 4conv1fc ile değiştirmek ve FPN ve bbox / maske başlığına bir normalleştirme katmanı eklemek performansı yaklaşık% 1,5 oranında artırabilir.
(4) Daha fazla evrişimli katmana sahip bir bbox kafası, daha yüksek performans gösterecektir.
Şekil 12 Farklı bileşenlere eklenen farklı normalleştirme katmanlarının karşılaştırması
Eğitim veri boyutu
Tipik bir uygulama olarak eğitim görüntüleri, en boy oranı değiştirilmeden önceden tanımlanmış bir orana yeniden boyutlandırılır. Önceki çalışmalar genellikle 1000 × 600 ölçeğini tercih ediyordu ve şimdi genellikle 133 3 × 800.
MMDetection'da kullanıyoruz 133 Varsayılan eğitim veri boyutu olarak 3 × 800 kullanılır. Sonuç aşağıdaki şekilde gösterilmektedir, burada 133 3 ×, uzun kenarın 133 3. Kısa kenar { 64 0,672,704, 73 6,768 havuzundan rastgele seçilen 800}, "değer" moduna karşılık gelir. Kurmak 133 3 × anlamı 64 Daha kısa kenarlar, "aralık" moduna karşılık gelen, 0 ile 800 arasında rastgele seçilir.
Şekil 13 Farklı eğitim veri boyutlarının karşılaştırması
Sonuçlardan, "aralık" modunun aynı minimum ve maksimum ölçeklerle "değer" moduna benzer veya biraz daha iyi performans gösterdiğini anlayabiliriz. Genel olarak daha geniş bir aralık, özellikle daha büyük maksimum ölçekler için daha fazla iyileştirme sağlar. Spesifik olarak, bbox ve maskenin AP değeri açısından, oran% 0,4 daha yüksek ve% 0,5 daha yüksektir. Ancak, daha küçük bir minimum oran (480 gibi) daha iyi performans sağlamayacaktır.
Diğer hiperparametreler
MMDetection, Detectron'daki hiperparametre ayarlarını esas olarak takip eder ve ihtiyaçlarımıza göre ayarlar. Deneyimlere dayanarak, Detectron'un bazı hiperparametrelerinin özellikle RPN için optimal olmadığını bulduk. Aşağıdaki şekilde, RPN performansını daha da artırabilecek bu hiperparametreleri listeliyoruz. Ayarlamalar performansa fayda sağlasa da, MMDetection'da varsayılan olarak Detectron ile aynı ayarları kullanırız ve bu araştırmayı referans için saklarız.
Şekil 14 RPNResNet-50 hiperparametre araştırma sonuçları
Ayrıntılı sonuçlar
Aşağıdaki şekilde bulunan yöntemlerden bazıları için ayrıntılı karşılaştırma sonuçları sunuyoruz.
R-50 ve R-50 (c) sırasıyla pytorch tipi ve caffe tipi ResNet-50 omurga ağını temsil eder. Darboğaz kalıntı modülünde, pytorch tipi ResNet 1x1 adım ve 1 evrişimli katman, ardından 3x3 adım ve 2 evrişimli katman kullanır ve caffe tipi ResNet 1x1 adım ve 2 evrişimli katman kullanır; Sonra 3x3 adım, 1 evrişimli katman vardır.
Şekil 15 COCO val2017'nin farklı tespit yöntemlerinin sonuçları (APb ve APm, sırasıyla kutu ve maskenin mAP değerini temsil eder)
Daha ayrıntılı ayarlar ve bileşen bilgileri için lütfen https: // github'a bakın. .com /open-mmlab/mmdetection/blob/master/MODEL_ZOO.md
Orijinal bağlantı
https: // ar xi v.org/abs/1906.07 155
GitHub adresi
https: // github .com / open-mmlab / mmdetection
2019 Küresel Yapay Zeka ve Robotik Zirvesi
12-14 Temmuz 2019 , Lei Feng.com ve Hong Kong Çin Üniversitesi (Shenzhen) tarafından ortaklaşa düzenlenen ve Shenzhen Yapay Zeka ve Robotik Enstitüsü tarafından ortaklaşa düzenlenen Çin Bilgisayar Federasyonu (CCF) sponsorluğunda 2019 Küresel Yapay Zeka ve Robotik Zirvesi (CCF-GAIR 2019 olarak kısaltılmıştır) Shenzhen'de resmen açılacak.
O sırada Nobel Ödülü sahibi James J. Heckman, Çinli ve yabancı akademisyenler, Dünya Zirvesi Başkanı, tanınmış Fellow ve çok sayıda ağır konuk savaşta yer alacak. Yapay zeka ve robotik bilim, üretim ve yatırım alanlarında karmaşık hayatta kalma durumunu tartışmak.
