CVPR 2020 | PQ-NET: Serileştirilmiş 3B şekil oluşturma ağı
Bu makale, "PQ-NET: A Generative Part Seq2Seq Network for 3D Shapes" (açık kaynak) CVPR 2020'yi tanıtıyor, makale, Peking Üniversitesi Frontier Computing Research Center'dan Profesör Chen Baoquan'dan geliyor Takım önderlik etti.
Metin | PKU VCL
Editör | Jia Wei
Kağıt adresi: https://arxiv.org/abs/1911.10949
Kod tabanı: https://github.com/ChrisWu1997/PQ-NET
1. Motivasyon
Üç boyutlu nesnelerin oluşturulması, bilgisayar grafikleri ve bilgisayar görüşü alanında önemli bir konudur. Grafikler, üç boyutlu nesnelerin modellenmesiyle ilgilenirken, bilgisayar görüşü, üç boyutlu nesnenin şekline karşılık gelen tek bir resimden girdi gibi, nasıl çıkarılacağıyla ilgilenir. Son yıllarda, voksel, nokta bulutları, üçgen ağlar ve örtük yüzey ifadeleri (örtük) gibi üç boyutlu şekiller oluşturmak için farklı üç boyutlu ifadeleri birleştirmek için derin sinir ağlarını kullanan birçok çalışma başlamıştır. işlevi). Bu çalışmanın çoğu yapılandırılmamış üç boyutlu nesneler üretir, ancak yapılandırılmış ifade, nesnenin farklı bileşenlerinin bileşimi ve ilişkisi gibi üç boyutlu nesneleri algılamak ve anlamak için çok önemlidir.
Bu çalışmada, sıralı parça montajı yoluyla üç boyutlu nesneleri ifade etmek ve oluşturmak için derin bir sinir ağı tasarladık. Basitçe söylemek gerekirse, bu tür bir bileşen birleştirme sırasını bir "cümle" olarak kabul ediyoruz. Bu "cümlenin" her "sözcüğü", bir bileşeni ve üç boyutlu bir model oluşturmak için bir cümle söylemeye benzeyen uzamsal konumunu tanımlar. Bu anlamda, çalışmamızın bir kısmı gramer analizinden ilham alıyor: bir cümle, sözcüklerden oluşan doğrusal bir yapı (doğrusal) veya iç içe geçmiş ifadelerden oluşan hiyerarşik bir yapı (hiyerarşik) olarak görülebilir. . Üç boyutlu nesne yapısı ifadesi bağlamında, önceki çalışmada hiyerarşik bileşen kombinasyonları (bütünden kısmi ağaç yapısına) kullanılırken, biz doğrusal bileşen kombinasyonları kullandık.
Şekil oluşturma vis Sıralı parça montajı Sıralı parça montajının 3B şekil oluşturma
2. Yöntem
Modelimiz, PQ-NET, sıralı bileşen montajı ve 3D nesne karakterizasyonu elde etmek için bir Seq2Seq otomatik kodlayıcıya (Seq2Seq otomatik kodlayıcı) dayanmaktadır. Birden çok parçadan oluşturulmuş üç boyutlu bir nesne verildiğinde, onu birden çok vektör dizisi olarak temsil ederiz.Her vektör bir parçaya karşılık gelir.Bu parçanın geometrisini ifade eden bir özellik vektörü ve boyutunu ve göreli olarak ifade eden bir özellik vektörü Ofset 6 boyutlu vektör bağlanır. Bileşenin geometrisini ifade eden özellik vektörü, önceden eğitilmiş örtük işlev tabanlı otomatik kodlayıcı (örtük işlev tabanlı otomatik kodlayıcı) tarafından çıkarılır.
Her üç boyutlu nesnede bulunan parçaların sayısı farklı olabileceğinden, yukarıda bahsedilen parça dizisinin uzunluğu sabit değildir. Bu nedenle, giriş dizisini sabit boyutlu bir gizli alana kodlamak için tekrarlayan bir sinir ağı (RNN) seçeriz ve ardından giriş dizisini yeniden yapılandırmak için kodunu çözer ve aynı zamanda durup durmayacağımızı belirlemek için her adım için bir bayrak çıkarırız.
Çıktı dizisinin her adımında yer alan geometrik özellikler, her bileşenin geometrisini oluşturmak için ayrıca kod çözülür ve son olarak bileşenler, her bileşenin elde edilen dönüştürme parametreleri (boyut, yer değiştirme) aracılığıyla tam bir üç boyutlu nesne halinde birleştirilir. 3B geometriyi karakterize etmek için örtük yüzey ifadesi kullandığımız için, üretilen nihai geometri herhangi bir çözünürlükte olabilir, böylece yüksek kaliteli yapılandırılmış 3B nesneler elde edilebilir.
Ağ mimarisi
3. Sonuçlar ve uygulamalar
Model tarafından öğrenilen gizli alan, yapılandırılmış üç boyutlu şekillerin bir ifadesi olarak, rastgele oluşturma, tek görüntülü yeniden yapılandırma ve şekil tamamlama gibi çoklu uygulamaları gerçekleştirmemizi sağlar.
Üç boyutlu şekillerin rastgele oluşturulması için, normal dağılımdan örneklenen gürültü vektörünü model tarafından öğrenilen üç boyutlu şeklin gizli boşluğuna eşlemek için gizli alanda bir WGAN'ı eğitiyoruz ve ardından oluşturulan gizli vektör, kod çözücü tarafından bir dizi parça halinde kodu çözülüyor ve son olarak Tam bir üç boyutlu şekle birleştirin. Ayrıca gizli uzayda üç boyutlu şeklin farklılığından kaynaklanan geometri, pürüzsüz ve anlamlı bir geçiş sergiliyor.
Tek görüntülü yeniden yapılandırma için, giriş görüntü uzayından PQ-NET'in gizli boşluğuna bir eşleme oluşturmak, yani giriş görüntüsünü karşılık gelen üç boyutlu nesnenin gizli vektörüne eşlemek için iki boyutlu bir evrişimli ağı ayrı ayrı eğitiyoruz. Deneyimiz, giriş görüntüsünün RGB görüntüsü veya derinlik haritası olduğu durumu denedi ve diğer yöntemlerle karşılaştırıldı.
Rastgele nesil
Gizli boşluk enterpolasyonu
4. Tartışma
Bu makalede, yapılandırılmış 3B şekilleri hiyerarşik bir yapıdan ziyade doğrusal bir yapıda ifade eden serileştirilmiş bileşenlerin montajına dayanan bir 3B şekil ifadesi ve oluşturma ağı olan PQ-NET'i öneriyoruz. PQ-NET'in en büyük eksikliklerinden biri, simetri, bitişik vb. Gibi çeşitli bileşenler arasındaki ilişkiyi vermemesidir. Bu ilişkilerin hiyerarşik yapı aracılığıyla ifade edilmesi daha kolaydır, ancak bunun bedeli yeterli ek açıklama verisi gerektirmektedir. Genel olarak, doğrusal yapının hiyerarşik yapıya karşı iki ifadesinin avantajları ve dezavantajları, özellikle üç boyutlu şekil oluşturma ve öğrenme bağlamında daha fazla araştırmaya değerdir. Ek olarak, sıralı bir üretici model olarak PQ-NET, veri setinde sağlanan varsayılan bileşen sırasını kullanır. Bununla birlikte, deneyler aracılığıyla, bileşenlerin sırasının nihai sonuç üzerinde bir etkisi olacağını bulduk Optimal bir doğrusal ifade sırasının nasıl tanımlanıp seçileceği de ilginç bir problemdir.
Görsel Hesaplama ve Öğrenme Laboratuvarı
Profesör Chen Baoquan'ın önderliğinde, Profesör Chen Baoquan'ın önderliğinde, Frontier Computing Research Center'ın Görsel Hesaplama ve Öğrenme Laboratuvarı, grafik, 3 boyutlu görme, görselleştirme ve robotik alanlarında bilimsel araştırmalar yürütmekte ve disiplinlerarası son teknoloji keşif, görsel sanat ve teknoloji entegrasyonunun iki yönüne bağlı kalmaktadır. Ana hat, üst düzey uluslararası ekiplerle uzun vadeli derinlemesine işbirliği ve aktif sanayileşme uygulamaları ve tanıtım
Referanslar
Y. Wang, K. Xu, J. Li, H. Zhang, A. Shamir, L. Liu, Z. Cheng ve Y. Xiong. İnsan yapımı nesnelerin simetri hiyerarşisi. Bilgisayar Grafikleri Forumu, 30 (2), 2011.
J. Li, K. Xu, S. Chaudhuri, E. Yumer, H. Zhang, and L. Guibas. Grass: Generative recursive autoencoders for shape structure. ACM Trans. On Graph. (SIGGRAPH), 2017.
K. Mo, P. Guerrero, L. Yi, H. Su, P. Wonka, N. Mitra ve LJ Guibas. Structurenet: 3 boyutlu şekil üretimi için hiyerarşik grafik ağları. ACM Trans. On Graph. (SIGGRAPH Asia), 2019 .
Z. Chen ve H. Zhang. Üretken şekil modellemesi için örtük alanları öğrenme. IEEE CVPR, 2019.
I. Gulrajani, F. Ahmed, M. Arjovsky, V. Dumoulin ve A. Courville. Wasserstein gans eğitimi iyileştirildi. NIPS 2017.
