Popüler açık sınıf özeti: Hong Kong Çin Üniversitesi'nden Chen Kai, nesne algılama algoritmalarının son gelişmelerini ve açık kaynak çerçevesini yorumluyor
AI Technology Review Press: Nesne algılama, bilgisayar görüşünün temel görevlerinden biridir. Hong Kong Çin Üniversitesi Multimedya Laboratuvarı'nda doktora öğrencisi olan Chen Kai, AI Araştırma Enstitüsü'nün açık sınıfında derin öğrenme bağlamında nesne algılama algoritmalarının gelişimini özetledi, COCO yarışma şampiyonu ekibinin kullandığı algoritmaları paylaştı ve multimedyayı tanıttı Laboratuvarın açık kaynaklı nesne algılama algoritması çerçevesi mm algılaması.
Genel sınıf oynatma videosunun URL'si:
= chenkai
Konuk paylaşma:
Chen Kai, Hong Kong Çin Üniversitesi'nin Multimedya Laboratuvarı'nda doktora öğrencisi ve COCO 2018 Örnek Segmentasyon Yarışması'nın şampiyon takımının bir üyesidir.
Konuyu paylaş: Nesne algılama algoritmalarındaki son gelişmeler ve açık kaynaklı çerçevelerin tanıtımı
Ana hatları paylaşın:
1. Derin öğrenme bağlamında nesne algılama algoritmalarının geliştirilmesi
2. COCO 2018 Bulut Sunucusu Segmentasyonu şampiyon takım algoritması paylaşımı
3. Açık kaynak nesne algılama çerçevesi mmdetection ve Open-MMLab projesine giriş
Leifeng.com AI Araştırma Enstitüsü paylaşım içeriğini şu şekilde düzenler:
Adım Chen Kai ve Hong Kong Çin Üniversitesi Multimedya Laboratuvarından geliyorum. 2015 yılında Tsinghua Üniversitesi Otomasyon Bölümü'nden mezun oldum ve ardından doktora yapmak için Hong Kong Çin Üniversitesi'nin Multimedya Laboratuvarına girdim. Şu anda doktoramın dördüncü yılındayım. Araştırma yönü esas olarak nesne algılama ve video analizidir.
Bugün raporumun konusu "Nesne Tespit Algoritmalarında Son Gelişmeler".
Derin öğrenme bağlamında nesne algılama algoritmalarının geliştirilmesi
Nesne tespiti için, bazı insanlar daha iyi bilir ve bazıları çok iyi bilmeyebilir. Burada COCO veri kümesi kağıdındaki 4 resmi ödünç alıyorum (kağıt görüntüleme adresi: https://arxiv.org/pdf/1405.0312.pdf) İlgili görevleri canlı bir şekilde tanıtalım:
-
Görüntü sınıflandırması: görüntü sınıflandırması, bu görev, hangi resmin hangi kategoriye ait olduğunu belirlemek için bir resmi ifade eder.
-
Nesne algılama: Nesne algılama Resmin hangi kategoriye ait olduğunu belirlemeye ek olarak, bu görevin ilgili nesnenin belirli konumunu da bulması gerekir.Nesneyi çerçevelemek için genellikle dikdörtgen bir kutu kullanırız.
-
Anlamsal bölümleme: Anlamsal bölümleme Bu görev, resimdeki her pikselin etiketlenmesini ifade eder.Örneğin, burada onları çok ince bir sınıflandırma gerektiren kişi, koyun ve köpek olarak etiketlemek var.
-
Örnek bölümleme: Örnek bölümleme, nesne algılamasından sonra her dikdörtgen çerçevedeki nesnelerin anlamsal bölümlenmesi olarak anlaşılabilir.Nesnenin kategorisini ve konumunu bulmanın yanı sıra, bu görevin farklı nesnelerin piksellerini de ayırt etmesi gerekir.
Nesne algılama ve örnek bölümleme arasındaki farkı göstermek için bu durumu kullanalım:
(Bu vakanın spesifik bir açıklaması için lütfen 00: 04: 05-00: 05: 35'teki videoya tekrar bakın)
Daha sonra, derin öğrenmenin ortaya çıkışından bu yana nesne algılamanın gelişimini tanıtacağım.
Yukarıdaki yeşil yazı tipi, İki Aşamalı Dedektörün geliştirme geçmişini gösterir.Tabii ki, birçok başka yöntem vardır. İşte bazı temsili yöntemler.
-
2014 yılında çok önemli bir çalışma, nesne algılamayı ilk kez derin öğrenmeye çok yüksek atıflar ve geniş etki ile uygulayan bir makale olan R-CNN idi. Ana fikri, nesne algılamayı böyle bir soruna dönüştürmektir: önce bir bölge (bölge) bulun ve ardından bölgeyi sınıflandırın. Daha sonra yazar, R-CNN tabanlı bir algoritma olan Fast R-CNN'yi önerdi ve işlem hızı önemli ölçüde iyileştirildi.
-
2015 yılında, bu insan grubu ayrıca Fast R-CNN ve R-CNN'de bölgelerin nasıl bulunacağına ilişkin süreci iyileştirmek için Hızlı R-CNN'den daha büyük bir hız gelişimi olan Faster R-CNN'i önerdi. Daha hızlı R-CNN, bazı bölgeleri (teklif olarak adlandırılır) almak için derin öğrenme yöntemlerini de kullanır ve daha sonra bu önerileri sınıflandırma için kullanır. Faster R-CNN'in teklifinin üzerinden üç yıldan fazla geçmiş olmasına rağmen, hala çok yaygın olarak kullanılan bir algoritmadır.
-
2016 yılında, Dai Jifeng ve diğerleri, Daha Hızlı R-CNN temelinde geliştirilmiş R-FCN'yi önerdiler. O sırada performansı ve hızı büyük ölçüde iyileştirildi.
-
2017'de FPN ve Mask R-CNN adında çok etkili iki gazete vardı. FPN, bir özellik piramidi oluşturmaya ve ardından tahmin için birden çok özellik seviyesi kullanmaya eşdeğer olan Özellik Piramidi Ağıdır. Mask R-CNN makalesi, ICCV 2017'nin en iyi makalesini kazandı. He Yuming tarafından önerildi.Faster R-CNN temelinde, örneğin segmentasyon için kullanılabilecek bir maske dalı ekledi.Aynı zamanda çoklu görev öğrenme nedeniyle, Ayrıca, nesne çerçevesinin performansını büyük ölçüde geliştirir.
-
2018 yılında, Faster R-CNN rotası boyunca önerilen yöntem, Faster R-CNN'de kademeli yapıyı kullanan ve aynı zamanda eğitim dağıtımının bazı sorunlarını çözen Cascade R-CNN'dir, dolayısıyla performansı Nispeten yüksek. Ayrıca iki önemli makale daha var - Relaiton Network ve SNIP.
Aşağıdaki mavi yazı tipi, Tek Aşamalı Dedektörün geliştirme geçmişini göstermektedir: 2014'te Çoklu Kutu çok erken bir çalışmaydı; SSD ve YOLO, 2016'da önerildi. Bu iki makale Tek Aşamalı Dedektör için temsili çalışmalardır; RetinaNet 2017'de önerilmiştir (O zamanki Tek Aşamalı Dedektörde en yüksek performans yöntemi) ve YOLO v2; 2018'de yeni bir fikir önerildi. CornerNet'in nesne algılamayı bir grup nokta algılama olarak ele alması ve ardından bu noktaları gruplandırması önerildi.Aşağıda detaylı olarak tartışacağız. Ona.
Aşağıda, son nesne algılama çalışması (2017'den beri) hakkında konuşulacak. Daha Hızlı R-CNN birçok yöntemin temeli olduğu için, önce bu yöntemi tanıtacağız.
Bundan önce, nesne tespitinin genel boru hattı hakkında konuşalım. Aşağıdaki resim İki aşamalı bir Dedektördür. Boru hattında ilk önce bir resim vardır ve sonraki adımlar üç bölüme ayrılmıştır:
İlk bölüm Özellik oluşturma: İlk olarak, görüntü omurgadan (sınıflandırma ağı) geçtikten sonra, özellik oluşturulacak, bundan sonra özellik ya doğrudan tahmin edilecek ya da başka bir boyun değiştirilecek ya da geliştirilecektir;
İkinci bölüm Bölge önerisidir: Bu bölüm, iki aşamalı Dedektörün ilk aşamasıdır, burada bir sürü sürgülü pencere dübeli (önceden tanımlanmış boyutta kutular) ve ardından bu kutuların yoğun sınıflandırılması ve gerilemesi; ardından tekrar ekran Negatif bağlantıların çoğu dışında, nesne olabilecek kutuları atlayın. Bu kutulara teklifler denir;
Üçüncü bölüm Bölge tanımadır: Teklifi aldıktan sonra, her bir teklife karşılık gelen özelliği (Rol özelliği) çıkarmak için özellik haritasındaki Rol özelliği çıkarıcıyı kullanın ve son olarak görev başlığından geçin.
Nispeten konuşursak, Tek Kademeli Dedektörün boru hattı nispeten basittir.
Resim ilk önce özellik oluşturma modülünden geçer.Burada ayrıca bir kayan pencere çapası vardır, ancak bunlar teklif oluşturmak için kullanılmaz, ancak doğrudan nihai tahmin için kullanılır.Yoğun sınıflandırma ve regresyon yoluyla, nihai tespit sonuçları doğrudan oluşturulabilir.
(Bu bölümün özel açıklaması için lütfen 00: 12: 00: 00: 16: 25'teki videoya tekrar bakın)
Daha hızlı R-CNN
Daha hızlı R-CNN, İki Aşamalı Dedektörün çalışmasının temelidir. Esas olarak iki şey önerir:
RPN: Şu anda teklif oluşturmanın standart bir yolu olan Bölge Teklif Ağı.
Eğitim hattı: Esas olarak İki Aşamalı Dedektörün nasıl eğitilmesi gerektiğinden bahsediyor Kağıt alternatif bir yöntem veriyor.
(Daha Hızlı R-CNN'nin spesifik açıklaması için lütfen 00: 17: 00: 00: 21: 45'teki videoya tekrar bakın)
FPN
FPN (Özellikli Piramit Ağı) esas olarak iki önemli fikir öne sürüyor: Yukarıdan aşağıya yol ve Çok seviyeli tahmin.
Aşağıdaki şekildeki 4 resim, tahmin yapmak için tekli veya çoklu özellik haritalarına dayalı 4 farklı rutini temsil eder:
Spesifik uygulama aşağıdaki şekilde gösterilmektedir:
(FPN'nin özel açıklaması için lütfen 00: 22: 35-00: 25: 45'teki videoya tekrar bakın)
Maske R-CNN
Mask R-CNN'in ayrıca iki ana katkısı vardır:
RoIAlign: Mask R-CNN'den önce Rol Pooling daha sık kullanılıyordu Uygulama süreci: bir kutu ve havuz vermek, özellik haritasında bir 2 × 2 özelliği havuzlamak gibi sabit boyutlu bir özellik vermek. Önce bu kutuyu 2 × 2'lik bir ızgaraya çizin ve kaç noktayı kapsadığını görmek için her bir ızgarayı bir özellik haritasına eşleyin. Ardından bu noktalarda maksimum havuzlama yapın, böylece 2 × 2 özellik elde edilebilir. Dezavantajı, çerçeve biraz kapalıysa, sonuçta ortaya çıkan özelliğin, kesme hatasıyla aynı olabilmesidir. Rol Align, bu sorunu çözmek için önerilmektedir. Rol Align, kutudaki noktalarda doğrudan maksimum havuzlama yapmaz, ancak özelliği elde etmek için çift doğrusal enterpolasyon kullanır. Başka bir adım daha var: 2 × 2'lik her bir kutuda temsilcileri olarak birden çok nokta seçilecektir.Burada 4 nokta seçilir ve her nokta çift doğrusal enterpolasyona tabi tutulur ve sonra bu 4 nokta maks / ortalama havuzlama.
Maske dalı: Tüm çerçevenin performansını artıran ek denetim bilgileri içeren çok ince bir işlemdir. Operasyon süreci aşağıdaki şekilde gösterilmiştir:
(Maske R-CNN'nin spesifik açıklaması için lütfen 00: 26: 55: 00: 30: 20'deki videoya tekrar bakın)
Basamaklı R-CNN
Cascade R-CNN, mevcut Faster R-CNN hattında daha yeni bir yöntemdir. Bu yöntem aynı zamanda iki katkı sağlar: biri kademeli mimarinin kullanılması; diğeri eğitim dağıtımına nasıl adapte olunacağıdır.
Basamaklı mimari: Bu çerçeve özellikle yeni değil, daha önce benzer yapılar vardı. Aşağıdaki resmin sol tarafı Daha Hızlı R-CNN ve sağ tarafı Cascade R-CNN'dir. Görüntünün ürettiği görüntüyü veya özellik haritasını temsil ettiğimde, H0 RPN'dir, B sınırlayıcı kutu regresyonudur ve C sınıflandırmadır. RPN tarafından elde edilen teklif havuzlandıktan sonra, iki tahmin, sınıflandırma ve regresyon olacaktır.
Cascade R-CNN'nin yapısı, ilk sınıflandırma ve regresyondan sonra, tekrar havuzlama yapmak için sınırlayıcı kutuyu kullanacak ve daha sonra bu kutularda sınıflandırma ve regresyonun bir sonraki aşamasını gerçekleştirecektir.Bu işlem birçok kez tekrarlanabilir. Ancak başka değişiklikler yapmadan yalnızca Cascade R-CNN kullanırsanız, Cascade R-CNN'nin getirdiği iyileştirmeler çok sınırlıdır.
Cascade R-CNN'in daha anlamlı bir yer olan çok iyi bir motivasyon ortaya koyduğunu düşünüyorum. Eğitim için farklı IoU eşikleri kullanıldığında Dedektör ve Regresör'ün performans dağılımını inceler. Aşağıda gösterildiği gibi:
Buna dayanarak Cascade R-CNN, farklı aşamalarda nasıl antrenman yapılacağı sorusunu gündeme getirdi. Aşağıdaki şekil 3 aşamadaki kutuların dağılımıdır:
Sonuçlar, aşama ne kadar uzaksa, o kadar yüksek IoU çerçeveleri olduğunu gösteriyor. Dolayısıyla, Cascade R-CNN'de ilk aşama geleneksel 0,5 eşiği kullanır; ikinci aşama 0,6 eşik kullanır; üçüncü aşama 0,7 eşik kullanır. Bu makalenin ana fikri, eğitim dağılımının farklı aşamalardaki örnek dağıtımıyla birlikte değiştirilmesi gerektiğidir.
(Cascade R-CNN'nin özel açıklaması için lütfen 00: 30: 30-00: 35:30 'daki videoya tekrar bakın)
RetinaNet
RetinaNet şu anda Tek Aşamalı Dedektörün önemli bir çalışmasıdır.FPN + Focal Loss'tan oluştuğu düşünülebilir.FPN sadece bu makalede kullanılan mimari iken Focal Loss bu makalede önerilen ana çalışmadır.
RetinaNet yapısı aşağıdaki gibidir:
RetinaNet'in yapısı, ResNet kullanması ve ResNet'e FPN yapısını eklemesi dışında SSD'ye çok benzer.Her katmanın iki dalı vardır: biri sınıflandırma, diğeri ise kutu regresyonu. Ek olarak, kafalarının her biri SSD ve Daha Hızlı R-CNN'den biraz daha büyüktür.Bu durumda parametreleri nispeten büyüktür ve hesaplama hızı nispeten yavaştır.
Odak Kaybı'nın çözmeye çalıştığı sorun, sınıf dengesizliğidir. Sınıf dengesizliği sorunu için, İki Aşamalı Dedektör genellikle teklif ve mini toplu örnekleme ile çözülür; SSD, sert negatif madencilikle çözülür; RetinaNet, Odak Kaybı ile çözülür.
Odak kaybının temel fikri şudur: yüksek güvenilirliğe sahip numuneler için küçük bir kayıp verin - bunun nedeni pozitif ve negatif numunelerin dengesiz olması veya sınıf dengesizliğinin böyle bir soruna neden olmasıdır: örneğin, pozitif ve negatif numunelerin oranı 1'dir. : 1000, negatif örneklerin kaybı çok küçük olmasına rağmen, sayı çok büyük, bu negatif örneklerin toplam kaybı hala pozitif örneklerden daha fazladır - bu durumda, negatif örnekler tüm çerçeveye hakim olacaktır. Spesifik formül aşağıdaki şekilde gösterilmektedir:
(RetinaNet'in daha ayrıntılı bir açıklaması için lütfen 00: 35: 55-00: 40: 45 adresindeki videoya tekrar bakın)
İlişki Ağı
Relation Network'ten önceki dedektörlerin çoğu, tahmin veya eğitim yaparken genellikle sadece mevcut kutuyu dikkate alır ve Relation Network bu kutunun etrafındaki kutuyu göz önünde bulundurmayı ve buna dayalı bir ilişki modülü önermeyi önerir. Ağdaki herhangi bir konum, özellik iyileştirmeye eşdeğerdir. İlişki modülü aşağıdaki şekilde gösterilmektedir:
Temel fikri şudur: Mevcut çerçevenin özelliğini belirlemeye ek olarak, mevcut çerçeve ile çevreleyen çerçeveler ve diğer çerçeveler arasındaki ilişki de dikkate alınmalıdır.Özellikler nasıl hesaplanır? İlgileniyorsanız, anlamak için orijinal makaleyi okuyabilirsiniz.
SNIP
SNIP (Görüntü Piramitleri için Ölçek Normalleştirme) bence başka bir ilham verici çalışma. Sorduğu soru şudur: sınıflandırıcıyı eğitirken, ölçeğe özgü mü yoksa ölçek değişmez mi olmalıdır. Geleneksel dedektörler genellikle ölçek değişmezini seçerler, ancak SNIP önceki yöntemi inceledikten sonra, önceki eğitim yöntemiyle elde edilen özelliğin ölçeğe göre çok sağlam olmadığı anlaşılmıştır, bu nedenle, eğitim sırasında ölçeğin tükenmesi için ölçeğin varyansının en aza indirilmesi önerilmiştir. Muhtemelen benzer.
SNIP yapı şeması aşağıdaki gibidir:
CornerNet
Tek Aşamalı Dedektörde nispeten yeni bir yöntem olan CornerNet, diğer yöntemlerden en farklı yöntemdir: önceki yöntem görüntü üzerinde bir kutu seçer ve ardından kutuyu sınıflandırır; CornerNet resimde bulunur Çiftin kilit noktası, bu nokta nesneyi temsil eder. Ardışık düzeni iki adımdan oluşur: ilk adım, bu tür köşeleri, yani temel noktaları tespit etmektir; ikinci adım, aynı nesnenin sol üst köşesi ve sağ alt köşesinin nasıl çerçeveleneceği anlamına gelen grup köşeleridir.
Boru hattı aşağıdaki şekilde gösterilmektedir:
(CornerNet'in özel açıklaması için lütfen 00: 41: 35-00: 47: 40 adresindeki videoya tekrar bakın)
COCO 2018 Örnek Segmentasyon şampiyonu takım algoritması paylaşımı
COCO Challenge 2018'deki çalışmalarımızdan bahsedelim.
Laboratuvarımız ve SenseTime, COCO Challenge 2018 yarışmasına birlikte katıldı ve ardından bulut sunucusu segmentasyonunda birinci oldu.
Aşağıdaki şekil, bu seferki başarılarımız ile 2017 şampiyonluk takımı arasındaki karşılaştırmayı göstermektedir:
Yarışmada, üç açıdan nispeten yeni şeyler önerdik:
-
İlk olarak, algılama ve segmentasyon için, kısaca HTC Hybrid Task Cascade'i önerdik;
-
İkinci olarak, teklif için, kayar pencerenin çapasını değiştirmek olan Kılavuzlu Ankrajı önerdik;
-
Üçüncüsü, omurga için yeni bir omurga tasarladık FishNet.
Karma görev kademeli (HTC)
Daha önce de bahsettiğimiz gibi, Cascade Mask R-CNN'in ×aşırı performans çok yüksektir, bu nedenle oyundaki hemen hemen tüm takımlar Cascade Mask R-CNN kullanır Bu yöntemin önemli görevlerinden biri maskeyi tahmin etmektir. O zamanlar, nispeten saf bir fikir Cascade R-CNN ve Mask R-CNN'yi birleştirmekti. Yapı aşağıdaki şekilde gösterilmektedir:
Ancak bu yöntemle ilgili sorun, her aşamanın dallarının paralel tahmin yapması ve aralarında hiçbir kesişme olmamasıdır.
Bu sorunu iyileştirmek için, aralıklı çalıştırma, yani alternatif bbox tahmini ve maske tahmini önerdik. Yapı aşağıdaki gibidir:
Ancak yine de bir sorunu var: Farklı aşamaların maske dalları arasında bilgi akışı yok, bu nedenle bilgi akışının aşağıdaki şekilde gösterildiği gibi yapay olarak tanıtılması gerekiyor:
Bununla birlikte, bu durumda, yöntemin hala başka bir sorunu vardır: maske tahmini biraz uzamsal bağlam gerektirir, ancak yukarıdaki mimari herhangi bir uzamsal bağlam sunmaz. Sonra tüm görüntünün anlamsal bir bölümlemesini yapabileceğimizi düşündük. Bunu yaparken, çerçevenin mekansal bağlamı daha açık hale geliyor:
Bu ayarlamalar ve geliştirmelere dayalı olarak, HTC'nin nihai performansı aşağıdaki şekilde gösterilmektedir:
İster küçük model ResNet-50'de ister büyük model ResNeXt-101'de olsun, performansında çok istikrarlı bir gelişme var.
Kılavuzlu Ankraj
Kılavuzlu Ankraj fikri, sürgülü pencere çapasını öğrenilebilir bir şeye dönüştürmektir. Bu yüzden amacı seyrek çapayı elde etmektir ve şekli keyfidir. Ancak çapa tasarlarken iki ilke vardır: hizalama ve tutarlılık.
Aşağıdaki resimler Kılavuzlu Ankrajın uygulama sürecidir:
Aşağıdaki şekil Kılavuzlu Ankrajın performansını göstermektedir:
FishNet
FishNet'in çalışma kağıdı NIPS 2018'e dahil edildi. Fikri şudur: görüntü sınıflandırması için, uzamsal bilgilerden bağımsız olarak derin, düşük çözünürlüklü özelliklere ihtiyaç vardır; ancak bölümleme ve algılama için uzamsal bilgiye ihtiyaç vardır, çok derin Yüksek çözünürlüklü ve yüksek çözünürlüklü özellikler, bu nedenle FishNet'i tasarlamak için bu iki fikri birleştirdik. Belirli bir tasarım için kağıda başvurabilirsiniz.
FishNet'in performansı aşağıdaki şekilde gösterilmektedir:
Algılama ve örnek bölümlemede performans da büyük ölçüde iyileştirildi.
(Bu üç görevin özel açıklamaları için lütfen videoyu 00: 49: 00-00: 59: 40'ta inceleyin)
Aşağıdaki şekil, yarışmadaki ilgili çalışmalarımızın bazı ayrıntılarını göstermektedir:
(Yarışmanın detaylarının detaylı açıklaması için lütfen 00: 59: 50-01: 01: 40 numaralı videoyu tekrar izleyin)
Open-MMLab projesine giriş ve açık kaynak nesne algılama çerçevesi mmdetection
Son olarak, bu Open-MMlab projesini tanıtmama izin verin. Öğretmen Lin Dahua bu projeyi MMLAB Zhihu sütununda tanıttı (Adres: https://zhuanlan.zhihu.com/p/47011261).
Şu anda iki kod tabanı vardır: biri mmcv, diğeri mm algılama.
(Bu iki projenin özel açıklamaları için lütfen 01: 02: 10-1: 04: 25'teki videoya tekrar bakın.)
Paylaşım sonunda davetliler ayrıca öğrencilerin sorularını da cevapladılar.Videoyu 01:04:30 da izleyebilirsiniz.
Yukarıdakiler, bu sayıda davetliler tarafından paylaşılan tüm içeriklerdir. Daha fazla genel sınıf videosu için lütfen izlemek için Leifeng.com AI Araştırma Topluluğu'nu ( ziyaret edin. WeChat genel hesabını takip edin: AI Araştırma Enstitüsü (okweiwu), en son genel sınıf canlı yayın süresi önizlemesini edinebilirsiniz.
Tıklamak Orijinal metni okuyun, geriye bakın Bu genel sınıfın videosu
