NYU Courant ikinci sınıf doktora öğrencisi Jiang Zhongshi: Neural Network of Mesh Surface
Lei Feng.com AI teknolojisi yorumu: Grid, geometrik verilerin yaygın olarak kullanılan ve verimli bir temsilidir. Geometrik yüzeyler üzerine inşa edilen makine öğrenme yöntemleri, bilgisayar grafikleri, 3B bilgisayar görüşü ve geometrik analiz ve işleme için büyük önem taşır.
NYU Courant Institute of Mathematics'den (NYU Courant) ikinci sınıf doktora öğrencisi Jiang Zhongshi, yakın zamanda Leifeng.comun GAIR konferans salonunda, bir ağ yüzeyinde tanımlanan bir sinir ağı yapısı olan Surface Networks'ü tanıtacak. Çalışma, CVPR'de sözlü sunum olarak seçildi, video oynatma adresi:
Konuyu paylaş : Mesh Yüzeyinin Evrişimli Sinir Ağı
Anahat paylaş :
1. Geometrik yüzeylerin ayrık gösterimi
2. Grafik sinir ağına (GNN) kısa bir giriş
3. Ayrık diferansiyel geometride Laplace ve Dirac operatörleri
4. Zaman alanı tahmini ve örgü yüzeyinin üretken modeli
5. İstikrar Kanıtı
İçerik paylaşın :
1. Geometrik yüzeyin ayrık gösterimi
Üç boyutlu veri temsil yöntemleri, yukarıdaki şekildeki üç türü içerir. Soldaki Voxel'in (voxel) avantajı, yapılandırılmış olması, çok düzenli görünmesi (Minecraft stili) ve geleneksel görüntü işleme yöntemleriyle işlenebilmesidir. Bununla birlikte, aynı saklama koşulları altında, Voxel'in çözünürlüğü nispeten düşüktür ve eğimli yüzeyin şeklini tam olarak tanımlayamaz. Mesh ile karşılaştırıldığında, sağdaki nokta bulutu temsil yöntemi çok daha az bilgi depolar. Örneğin, nokta bulutu üzerindeki normal vektörün nasıl tahmin edileceğini araştıran pek çok çalışma vardır, ancak ızgara verileri bu verilerle birlikte gelir. Yani grid verileri artık grafiklerin ana araştırma içeriklerinden biridir.
2. Grafik sinir ağına (GNN) kısa bir giriş
Mesh-V (nokta), E (kenar), F (üçgen yüz) temsil etmek için M'yi kullanırız. Mesh üzerinde veri işlerken doğal olarak grafiği düşünebiliriz, bu yüzden kullanılacak grafik sinir ağı yapısını kısaca gözden geçiriyoruz. Sadece kısaca bir katman sunuyoruz Bu katmanın girişi grafiktir ve yukarıdaki her nokta bir sinyali belirtir. A ve B, eğitilebilir iki tek parametredir.A ve B aracılığıyla, xin'in sinyali yüksek boyutlu bir alana eşleştirilebilir. Şimdiye kadar, komşu bilgileri dahil edilmedi.
Sonra, Laplacian matrisini sinyalin ilk kısmı (xinA) ile çarpıyoruz, böylece komşu bilgileri bir araya getirebiliriz ve son olarak (aktivasyon katmanı) ile çarpabiliriz. Bu formül tek bir katmanı temsil eder Çok katmanlı bir sinir ağını üst üste bindirerek sinyal, grafiğin global bilgisini elde etmek için daha geniş bir Bağlamda iletilebilir.
Laplacian matrisine bakalım (kenar ağırlıkları aynıdır) Grafikleri işlemek için bu gösterim yönteminde bir sorun yoktur, ancak mesh yüzeyler için bu yöntemin sorunları vardır. Yukarıdaki şekilde gösterildiği gibi (orta sol), tavşanın kulakları deforme olduğunda yüzey değişir, ancak Laplacian matrisi değişmez. Tavşan ayrık hale getirildiğinde (alt orta), yüzey değişmeden kalır, ancak Laplacian matrisi artık aynı değildir. Bu yüzden ilk olarak Laplacian matrisini diferansiyel geometride geometrik bilgi içerebilen Laplace operatörüyle değiştirmemiz gerekiyor.
3. Ayrık diferansiyel geometride Laplace ve Dirac operatörleri
Diferansiyel geometride Laplace operatörü, gradyanın sapmasını ifade eder. Sürekli yüzeylere genişleterek, Laplace-Beltrami operatörü elde edilir ve ardından yüzey, Laplacian matrisini vermeye eşdeğer olan üçgen bir ağa dönüştürmek için ayrıklaştırılır. Her bir kenara, kenarın uzunluğuna bağlı bir ağırlık eklenir, böylece ilk örgü sinir ağı-Laplacian Yüzey Ağlarını elde ederiz. Ama Laplace operatörünün hala kusurlu olduğunu düşünüyorum, çünkü bu içsel bir geometrik niceliktir. Örneğin, bir kağıt parçasını yuvarlarsak, karşılık gelen Laplacian matrisi yalnızca metriği açıkladığından, bilgi kağıt haddelendikten sonra değişmeden kalır Bu durumla başa çıkmak için Dirac operatörünü tanıtabiliriz.
Dirac operatörü kuantum mekaniğinden türetilmiştir ve bir anlamda Laplace'ın kareköküne eşdeğerdir. Laplace operatörünün spektral ayrışması yoluyla, ana eğrilik yönü gibi dışsal geometrik büyüklükler elde edilebilir ve Laplace'ı iki adıma böldüğümüz için, daha fazla serbestlik derecesine sahibiz. Bu yüzden Dirac operatörünün Laplace sinir ağının katı bir uzantısı olduğunu düşünüyoruz. Ayrıca dışsal geometrik büyüklükleri de tanımlayabilir, böylece belirli koşullar altında bilgiyi daha iyi temsil edebilir. Son olarak, Dirac operatörü kuaterniyon uzayında tanımlanır.Yukarıdaki şekilde gösterildiği gibi, üçüncü formül nokta sinyalinin yüzeye eşleştirildiğini gösterir, bu nedenle bunun bir kare matris değil, dikdörtgen bir matris olduğu ve aynı zamanda bir öze sahip olduğu görülebilir. Refakatçi operatör, yüzeydeki sinyali noktaya yeniden eşleştirebilir.
Ağı inşa etmek için Dirac operatörünü kullandığımızda, iki adıma bölmemiz gerekir: İlk adım, noktadaki x sinyalini yüzeydeki y sinyaline dönüştürmek ve ardından yüzeydeki y sinyalini noktadaki sinyale dönüştürmek için kendi kendine eşleme operatörünü kullanmaktır. Bir noktadan noktaya sinyal dönüşümü katmanı elde edilse ve içinde eğitilebilir dört matris olsa bile, bu matrisler ağın geri yayılmasıyla eğitilebilir. Ve matrisin boyutunun yalnızca özelliğin boyutuyla ilişkili olduğunu ve Mesh üzerindeki nokta sayısıyla ilgisi olmadığını not etmeliyiz, bu nedenle A, B, C ve E'yi elde etmek için farklı Meshler üzerinde farklı Dirac operatörlerini birlikte eğitebiliriz.
4. Zaman alanı tahmini ve örgü yüzeyinin üretken modeli
Yalnızca yöntem düzeyinde yeni bir yapı önerdiğimiz için, adil değerlendirmeyi sağlamak için bazı nispeten basit değerlendirme yöntemlerini benimsedik. Yukarıdaki şekildeki yeşil kutu (Lap / AvgPool), yukarıda bahsedilen formülle temsil edilen sinir ağı katmanını temsil eder Aşağıdaki Dirac operatörü nokta sinyalleri ve yüzey sinyalleri arasında geçiş yapmak zorundadır, bu nedenle yapı daha karmaşıktır. Mimarimizi değerlendirmek için iki değerlendirme yöntemi kullanıyoruz, biri her noktada MLP yapmak ve ikincisi onu bir nokta bulutu olarak işlemek.
İlk değerlendirme örneğimiz, yüzey hareketini tahmin etmektir. MPI-Faust veri setinin yüzeyindeki bazı noktaları rastgele seçiyoruz ve ardından bu noktaların merkez olduğu 15 halkalı yamaları (on bin) çıkarıyoruz. Daha sonra bunu bir kauçuk malzeme olarak simüle etmek ve ağırlık vermek için grafiklerde Deformasyon yöntemini kullanın. Sonra 50 yineleme (50 kare) gerçekleştirin ve ardından ilk iki kareyi sinir ağının girdisi olarak kullanın, modelin sonraki 40 kareyi tahmin etmesine izin verin ve son olarak nihai sonucu ölçmek için yumuşak L1 kaybını kullanın.
Video şovu, Laplace ve Dirac'ın soldaki üç temel yöntemden daha iyi olduğunu gösteriyor, özellikle Dirac yüksek eğriliğe (topuk) sahip yerlerde iyi çalışıyor.
Son kareye yakınlaştırdığımızda, Dirac'ın beklentilerimiz doğrultusunda topuk ve ayak parmağında iyi çalıştığını açıkça görebiliyoruz.
Niceliksel karşılaştırma yoluyla, Dirac'ın Laplace'tan daha iyi olduğunu da görebiliriz.
İkinci örnekte, üretken bir Mesh modelini tanıtmak istiyorum. Bu görev için veri seti nispeten basittir.Önce bir 2D ızgara oluşturun (sol alt köşe), ardından MNIST'den bazı sayılar seçin, sayıların gri düzeyini yükseklik olarak kullanın ve ardından bir veri kümesi elde etmek için Ağın z eksenini ayarlayın. Verilerin tamamı Mesh olup, her biri bir sayıyı temsil eder. Üretken modelin mimarisi sağdaki şekilde gösterilmektedir.
Sonuç dağılımındaki örnekleme, modelin iyi öğrendiğini göstermektedir. Ve farklı ızgara ayrıştırma yapıları için, aynı gizli vektör aynı sayıyı geri yükleyebilir.
V. İstikrar kanıtı
Laplace ve Dirac operatörlerinin özelliklerini geometrik şekillere, küçük deformasyonların kararlılığına ve kendileri tarafından tanımlanan sinir ağına ayrıklaştırmaya uyum sağlayacak şekilde genişletmek istiyoruz, bu nedenle yukarıdaki şekilde iki teoremi kanıtlıyoruz.
Son olarak, yukarıdaki şekilde gösterildiği gibi özetlemek gerekirse.
Yukarıdakiler, Leifeng.com tarafından derlenen tüm içeriktir.
