3D derin öğrenmeyi daha hızlı ve daha esnek hale getirin, Facebook açık kaynak PyTorch3D
Maihao Tapınağı'ndan Balık ve Koyun Qubit Raporu | Genel Hesap QbitAI
Artık sinir ağınız 3B verilerle daha kolay kullanılabilir.
Facebook AI, 3B derin öğrenme için açık kaynaklı bir araç seti başlattı, PyTorch3D .
Adından da anlaşılacağı gibi, PyTorch3D, PyTorch tabanlı oldukça modüler ve optimize edilmiş bir kitaplıktır. PyTorch aracılığıyla 3D derin öğrenmeyi basitleştirmeyi amaçlamaktadır.
PyTorch3D, 3B veriler için yaygın olarak kullanılan 3B operatörler ve kayıp işlevlerinin yanı sıra modüler bir farklılaştırılabilir işleme API'si ile birlikte gelir.
Sürümün bir parçası olarak Facebook, fotoğraflardaki 2B nesneleri 3B modelleyebilen bir sinir ağı modeli olan açık kaynaklı Mesh R-CNN'yi de içeriyor.
Buna ek olarak Facebook, nesnelerin anlaşılmasını üç boyuta taşımak için PyTorch3D'yi 2D tanıma kitaplığı Detectron2 ile birleştirdi.
Öyleyse, PyTorch3D'nin 3D derin öğrenmeyi nasıl daha hızlı ve daha esnek hale getirdiğine bir göz atalım.
PyTorch3D: Daha hızlı ve daha esnek 3D derin öğrenme araştırması
Basit tensörlerle temsil edilebilen 2D görüntülerle karşılaştırıldığında, 3D veri girişi daha karmaşıktır ve bellek gereksinimleri ve hesaplama gereksinimleri nispeten yüksektir.
Buna ek olarak, eğimin model çıktısından girdiye döndürülebilmesi ve sistemde geri yayılabilmesi için 3D işlemlerin de farklılaştırılabilir olması gerekir.
PyTorch3D, bu sorunlara yanıt olarak, toplu işleme işlevlerinin yanı sıra 3D operatörler ve kayıp işlevleri için destek sağlayarak eğitim ve muhakeme sürecini optimize eder.
Ana yeni özellikler aşağıdaki üç noktayı içerir.
1. Yeni veri yapısı: Ağlar
3B kafes, köşe koordinatları ve yüz dizinlerinden oluşan bir koleksiyondur. Bununla daha iyi başa çıkabilmek için Facebook yeni bir veri yapısı önerdi Ağlar .
Meshes nesnesi, bir grup üçgen ağları temsil eder ve her ağın farklı sayıda tepe noktası veya yüzü olabilir. Yüzey normalleri, yüzey alanları ve dokular gibi ağ ile ilgili verileri depolamak için kullanılabilir.
Böyle bir veri yapısı, kullanıcıların temel alınan ızgara verilerini farklı görünümlere dönüştürmesini kolaylaştırır, böylece operatör en verimli veri sunumunu eşleştirebilir.
2. Üçgen ağların verimli işlenmesi
Peki, bir ağı hedef şekle dönüştürmek nasıl?
PyTorch3D'de Facebook, genel operatörlerin ve 3B veri kaybı işlevlerinin optimizasyonunu gerçekleştirdi ve heterojen toplu veri girişini destekliyor.
Kullanıcılar, deneyleri hızlı bir şekilde başlatmak için bu operatörleri doğrudan PyTorch3D'ye aktarabilir.
3. Farklılaştırılabilir ağ oluşturucu (oluşturucu)
Rendering, 3B modelleri 2B görüntülere dönüştürmenin temelidir.
Geleneksel işleme yöntemleri ayırt edilemez, bu nedenle derin öğrenme ile birleştirilemezler.
Aşağı akış uygulamalarının gerektirdiği çeşitli ara değerlere erişebilmek için, PyTorch3D'de araştırmacılar modüler bir diferansiyel oluşturucu yazdılar.
Oluşturucu birleştirilebilir birimlerden oluşur ve genişletilebilir, böylece kullanıcılar oluşturma sırasında aydınlatma ve gölge efektlerini değiştirmek gibi özelleştirmeleri kolayca uygulayabilir.
Hesaplama açısından yoğun rasterleştirme adımı paralel olarak PyTorch, C ++ ve CUDA'da uygulanabilir.
Benzer şekilde, Mesh veri formatına dayanarak oluşturucu, heterojen toplu verileri de destekler.
Facebook, PyTorch3D'nin lansmanının "derin öğrenme + 3D" araştırmasını teşvik etmek olduğunu belirtti.
Farklılaştırılabilir oluşturma işlevi sayesinde, zaman alan manuel 3B açıklama olmadan yüksek kaliteli bir 3B tahmin sistemi oluşturmak mümkündür.
Araştırmacılar ayrıca AR ve VR'de 3B nesneleri ve sahneleri daha kolay bir şekilde oluşturabilirler.
Robot ve otonom sürüş algısı araştırmalarında, PyTorch3D şüphesiz yeni bir destek olacak.
Portal
Facebook AI blogu: https://ai.facebook.com/blog/-introducing-pytorch3d-an-open-source-library-for-3d-deep-learning/
PyTorch3D projesi: https://github.com/facebookresearch/pytorch3d
Mesh R-CNN projesi: https://github.com/facebookresearch/meshrcnn
- Bitiş -
Qubit QbitAI · Toutiao İmzalama Yazarı
Bize dikkat edin ve en son teknolojiden haberdar olun
