CVPR 2019 PointConv: Evrişim işlemlerini nokta bulutlarında verimli bir şekilde uygulayın
3B nokta bulutu, düzensiz ve düzensiz bir veri türüdür.Geleneksel evrişimli sinir ağlarının nokta bulutu verilerini işlemesi zordur. Oregon Eyalet Üniversitesi Robotik ve Akıllı Sistemler Enstitüsü'nden (CoRIS) araştırmacılar, homojen olmayan örneklenmiş 3B nokta bulutu verileri üzerinde evrişim işlemlerini verimli bir şekilde gerçekleştirebilen PointConv'u önerdi. Bu yöntem, birden çok veri setinde mükemmel sonuçlar elde ediyor. verim. Örneğin, AlexNet ve VGG yapısı gibi ağları uygulamak için PointConv kullanarak CIFAR-10 verilerini nokta bulutlarına dönüştürmek, geleneksel CNN'ye benzer bir performans sağlayabilir.
1. Arkaplan
Robotikte, otonom sürüşte ve sanal / artırılmış gerçeklik uygulamalarında, doğrudan 3D verileri alan sensörler daha yaygın hale geliyor. Derinlik bilgisi, 2B görüntülerde büyük miktarda bölümleme belirsizliğini ortadan kaldırabildiğinden ve önemli geometrik bilgiler sağladığından, 3B verileri doğrudan işleme yeteneği bu uygulamalarda çok değerlidir. Ancak 3B veriler genellikle nokta bulutları şeklinde görünür. Bir nokta bulutu genellikle, her biri ek özelliklere (RGB bilgileri gibi) sahip olan veya olmayan bir dizi 3B nokta ile temsil edilir. Nokta bulutunun düzensiz doğası ve düzeninin 2D görüntülerdeki normal ızgara benzeri piksellerden farklı olması nedeniyle, geleneksel CNN'lerin bu düzensiz girdiyle başa çıkması zordur.
Bu makale, tek tip olmayan örneklenmiş 3B nokta bulutu verileri üzerinde evrişim işlemlerini verimli bir şekilde gerçekleştirebilecek bir yöntem önermektedir. Bu işleme PointConv diyoruz. PointConv, 3B nokta bulutları üzerinde çok katmanlı derin evrişimli bir ağ oluşturabilir ve işlevi, raster görüntülerde 2D CNN'ye benzer. Ancak bu yapı, 2B evrişimli ağ ile aynı çeviri değişmezliğine ve nokta bulutundaki nokta sırasının permütasyonunun değişmezliğine ulaşabilir. Deneyde PointConv, sınıflandırma problemi üzerinde mevcut en iyi etki düzeyini elde edebilir, aynı zamanda, 3B nokta bulutlarının anlamsal bölümlemesinde kağıt gönderiminin optimal bölümleme sonucunu çok aşan bir bölümleme sonucu verebilir. PointConv'un gerçek evrişim işlemini gerçekleştirebildiğini göstermek için, bunu CIFAR-10 görüntü sınıflandırma veritabanı üzerinde de test ettik. Deneyler, PointConv'un geleneksel CNN'e benzer bir sınıflandırma doğruluğuna ulaşabildiğini göstermektedir.
Bu araştırmanın ana katkıları şunları içerir:
Herhangi bir 3B nokta kümesi üzerinde 3B sürekli evrişime tamamen yaklaşabilen, yoğunluk ağırlıklı bir evrişim işlemi PointConv önerilmiştir.
Toplama sırasını değiştirerek PointConv'un verimli bir şekilde uygulanması önerilmektedir.
Daha iyi segmentasyon sonuçları elde etmek için PointConv'u ters evrişime (PointDeconv) genişletin.
İki, PointConv
İki sürekli fonksiyonun f (x) ve g (x) 'in d boyutlu bir x vektörü üzerindeki evrişim işlemi aşağıdaki gibi ifade edilebilir:
Görüntü genellikle sabit bir ızgara benzeri matriste depolandığından, evrişim çekirdeği genellikle görüntü üzerinde 3x3, 5x5'lik sabit bir ızgara üzerinde uygulanır. CNN'de, çeviri değişmezliği elde etmek için farklı mahalleler aynı evrişim çekirdeği ile birleştirilir. Görüntünün üzerindeki evrişim işleminin, sürekli evrişim işleminin özel bir ayrıklaştırılmış temsili olduğu görülebilir.
3B nokta bulutu verilerinin ifadesi, görüntülerden tamamen farklıdır. Şekil 1'de gösterildiği gibi, görüntülerin aksine, 3B nokta bulutları genellikle bazı 3B noktalardan oluşur. 3B noktalar arasında ön koşul yoktur, bu nedenle 3B nokta bulutu üzerindeki evrişim işlemi değişmez olarak düzenlenmelidir, yani 3B nokta konsantrasyonunun sırasını değiştirmek evrişim sonucunu etkilememelidir. Ek olarak, nokta bulutu üzerindeki evrişim işlemi farklı şekilli mahallelere uyarlanmalıdır.
Bu gereksinimleri karşılamak için, 3B alanda, sürekli evrişim operatörünün ağırlığı, bir 3B referans noktasının yerel koordinatlarının sürekli bir işlevi olarak kabul edilebilir. Aşağıdaki formülde gösterildiği gibi:
Bunlar arasında, W ve F sürekli fonksiyonlardır, (x, y, z) 3B referans noktasının koordinatlarıdır, (x, y, z) G mahallesindeki 3B noktanın göreli koordinatlarını temsil eder. (2) Formül, ayrı bir 3B nokta bulutu üzerinde ayrıklaştırılabilir. Aynı zamanda, 3B nokta bulutunun eşit olmayan örneklenmiş bir sensörden gelebileceğini göz önünde bulundurarak, eşit olmayan örneklemeyi telafi etmek için, öğrenilen ağırlıkları ağırlıklandırmak için ters yoğunluk kullanmayı öneriyoruz. PointConv aşağıdaki formülle ifade edilebilir,
Bunlar arasında S, ters yoğunluk katsayısı fonksiyonunu temsil eder. Sürekli fonksiyon W, çok katmanlı bir algılayıcı (MLP) ile yaklaşık olarak tahmin edilebilir. W fonksiyonunun girişi, (x, y, z) merkezli 3B mahalledeki 3B noktaların göreli koordinatlarıdır ve çıktı, her noktaya karşılık gelen F özelliğinin ağırlığıdır. S, yoğunluğun bir fonksiyonudur, girdi her noktanın yoğunluğudur ve çıktı, her noktaya karşılık gelen ters yoğunluk katsayısıdır. Doğrusal olmayan bu fonksiyon, çok katmanlı bir algılayıcıyla da tahmin edilebilir.
Şekil 3, K 3D noktalarından oluşan bir mahallede PointConv sürecini göstermektedir. Şekilde, C_in ve C_out, girdi ve çıktı özelliklerinin boyutlarını temsil eder ve k, c_in ve c_out, dizinleri temsil eder. PointConv için giriş üç bölümden oluşur: 3B noktanın göreceli koordinatı P_local, yoğunluk Yoğunluğu ve F_in özelliği. 3B noktasının göreceli koordinatı P_local, her noktanın karşılık gelen özellik ağırlığını W elde etmek için sürekli MLP1 fonksiyonundan geçer; yoğunluk Yoğunluk, ters yoğunluk katsayısı S'yi elde etmek için MLP2'den geçer; W ağırlığı, ters yoğunluk katsayısı S ve giriş özelliği F elde edildikten sonra Bundan sonra, F_out çıktı özelliğini elde etmek için evrişim gerçekleştirmek için aşağıdaki formül kullanılabilir:
PointConv, sürekli evrişim çekirdek işlevini öğrenerek 3B nokta bulutunun düzensiz özelliklerine uyum sağlar ve evrişim işleminin geleneksel görüntüden 3B nokta bulutu alanına genişletilmesi için permütasyon değişmezliğini gerçekleştirir.
Üç, verimli PointConv
PointConv'un ilk sürümü büyük bir bellek tüketimine ve düşük verimliliğe sahiptir. Bu sorunları çözmek için, PointConv'u iki standart işlem halinde basitleştiren yeni bir yeniden yapılandırma yöntemi öneriyoruz: matris çarpımı ve 2D evrişim. Bu yeni teknik yalnızca GPU'ların paralel hesaplama avantajlarından yararlanmakla kalmaz, aynı zamanda genel derin öğrenme çerçeveleri aracılığıyla kolayca uygulanabilir. Ters yoğunluk ölçeğinde bu tür bellek sorunları olmadığından, aşağıdaki tartışma esas olarak ağırlık fonksiyonu W'ye odaklanmaktadır.
1. Bellek sorunlarının ortaya çıkması
Spesifik olarak, B eğitim aşamasının mini parti boyutu, N nokta bulutundaki nokta sayısı, K her yerel alandaki nokta sayısı, C_ giriş kanalı sayısında ve C çıktı kanallarının sayısı olsun. Nokta bulutu için her yerel alan, MLP aracılığıyla öğrenilebilen aynı ağırlık fonksiyonunu paylaşır. Ancak ağırlık fonksiyonu tarafından farklı noktalarda hesaplanan ağırlık farklıdır. MLP tarafından üretilen ağırlık parametresi tensörünün boyutu B × N × K × (C_in × C_out) şeklindedir. B = 32, N = 512, K = 32, C_in = 64, C_out = 64 olduğu ve ağırlık parametrelerinin tek kesinlikte depolandığı varsayıldığında, bir ağ katmanı 8 GB bellek gerektirir. Bu kadar yüksek bellek tüketimi, ağın eğitilmesini zorlaştıracaktır. Performansını önemli ölçüde azaltan çok küçük bir ağ ve birkaç filtre kullanmak.
2. Verimli PointConv
Yukarıda bahsedilen bellek problemini çözmek için, bu makalenin en önemli katkısı olan Lemma 1'e dayalı PointConv'un bellek açısından verimli bir versiyonunu öneriyoruz.
Spesifik prova, orijinal kağıda başvurabilir. PointConv'u Lemma 1'e göre yeniden uygulamak, tam olarak aynı evrişim işlemini gerçekleştirebilir, ancak bellek tüketimini büyük ölçüde azaltır. 1'deki ile aynı konfigürasyonla, tek katmanlı evrişim işleminin bellek ayak izi 8G'den yaklaşık 0.1G'ye düşürülecek ve orijinalin 1 / 64'ü olacak Şekil 5, verimli PointConv evrişim işlemini göstermektedir.
Dört, ters evrişim operasyonu
Segmentasyon görevlerinde, kaba katmandan ince katmana bilgi aktarma yeteneği çok önemlidir. PointConv standart evrişim işlemlerini uygulayabildiğinden, PointConv'u PointDeconv'a genişletmek mantıklıdır. PointDeconv iki bölümden oluşur: enterpolasyon ve PointConv. İlk olarak, ince tabakanın özelliğinin başlangıç değerini elde etmek için bir doğrusal interpolasyon algoritması kullanılır ve daha sonra, daha yüksek bir hassasiyetli özellik değeri elde etmek için özelliği optimize etmek için ince tabaka üzerinde bir PointConv gerçekleştirilir. Şekil 4, ters evrişim işleminin spesifik akışını göstermektedir.
Beş, deney
PointConv'un etkinliğini göstermek için, onu ModelNet40, ShapeNet ve ScanNet dahil yaygın olarak kullanılan 3B nokta bulutu veritabanlarında test ettik.Aynı zamanda, PointConv'un görüntü CNN'ye eşdeğer olduğunu göstermek için CIFAR10'da test ettik. Burada ScanNet'teki test sonuçlarına odaklanıyoruz.Daha deneysel sonuçlar için lütfen orijinal belgeye bakın. Tablo 3'te gösterildiği gibi, yalnızca 4 katmanlı PointConv ağının kullanılması, sahnenin anlamsal bölümleme testinde diğer algoritmalardan çok daha iyi sonuçlar elde edebilir ve mevcut optimum seviyeye ulaşabilir. Şekil 7, iç mekan sahnelerinin anlamsal bölümlemesinin bazı görselleştirme sonuçlarını gösterir.
PointConv'un görüntüdeki CNN'ye eşdeğer olabileceğini göstermek için CIFAR10'da test ettik. İlk olarak, CIFAR10 görüntü piksellerini ızgara benzeri nokta bulutuna dönüştürün ve ardından sınıflandırma için PointConv kullanın. Tablo 4, PointConv'un diğer 3B nokta bulutu algoritmaları ve görüntü CNN ile sınıflandırma doğruluğu karşılaştırmasını göstermektedir. 5 katmanlı PointConv'un AlexNet'e (5 katmanlı CNN) benzer doğruluğa ulaşabildiği ve aynı zamanda PointConv'un (VGG) VGG'ye benzer sınıflandırma doğruluğuna ulaşabildiği görülebilir. Aynı zamanda, PointCNN gibi diğer 3B nokta bulutu algoritmaları yalnızca yaklaşık% 80'lik bir sınıflandırma doğruluğuna ulaşabilir. Bu deney, PointConv'un görüntü CNN ile aynı düzeyde öğrenme etkisini elde edebileceğini göstermektedir.
Kağıt: PointConv: 3B Nokta Bulutları Üzerinde Derin Evrişimli Ağlar
Kağıt adresi: https://arxiv.org/pdf/1811.07246.pdf
Kod adresi: https://github.com/DylanWusee/pointconv
Özet: Geleneksel yoğun ızgaralarla temsil edilen görüntülerin aksine, 3B nokta bulutları düzensiz ve düzensizdir, bu nedenle üzerlerinde evrişim gerçekleştirmek zordur. Bu makalede, dinamik filtreyi PointConv adlı yeni bir evrişim işlemine genişletiyoruz. PointConv, nokta bulutları üzerinde derin evrişimli ağlar oluşturabilir. Evrişim çekirdeğini, bir ağırlık ve yoğunluk fonksiyonundan oluşan bir 3B noktanın yerel koordinatlarının doğrusal olmayan bir fonksiyonu olarak görüyoruz. Belirli bir nokta için, çok katmanlı algılayıcı ağı ağırlık işlevini öğrenmek için kullanılır ve yoğunluk işlevi çekirdek yoğunluğu ile tahmin edilir. Ağırlık fonksiyonunu verimli bir şekilde hesaplamak için, ağ ölçeğini önemli ölçüde genişleten ve performansı önemli ölçüde artıran yeni bir hesaplama yöntemi öneriyoruz. Öğrenilen evrişim çekirdeği, 3B uzayda ayarlanan herhangi bir noktada öteleme değişmez evrişimi ve permütasyon değişmez evrişimi hesaplamak için kullanılabilir. Ayrıca PointConv, alt örneklenmiş nokta bulutundan çıkarılan özellikleri orijinal çözünürlüğe geri aktarmak için bir ters evrişim operatörü olarak da kullanılabilir. ModelNet40, ShapeNet ve ScanNet üzerinde yapılan deneyler, PointConv tabanlı derin evrişimli sinir ağının, 3B nokta bulutları üzerinde işlemler gerçekleştirirken zorlu anlambilimsel segmentasyon karşılaştırmalarında mevcut optimum sonuçları elde edebileceğini göstermektedir. Ek olarak, CIFAR-10'u nokta bulutuna dönüştürme deneyi, PointConv üzerine inşa edilen ağın performansının, benzer yapıdaki 2B görüntüler üzerinde işlemler gerçekleştiren evrişimli ağ ile karşılaştırılabilir olduğunu göstermektedir.
