Dünyanın en büyük 3D veri seti yayınlandı! 10800 işaretli panorama kağıtla
Orijinal: Matt Bell
Annie, Hacker Noon'dan derlendi
Qubit Üretildi | Genel Hesap QbitAI
Bu dünyanın en büyük herkese açık 3B veri kümesini kaçırmak istemezsiniz.
Bu makalenin yazarı, bir 3D tarama çözümü sağlayıcısı olan Matterport'un kurucu ortağı ve baş strateji sorumlusu Matt Bell'dir. Bu makalede Bell, Matterport tarafından açıklanan veri setinin ayrıntılarını şahsen tanımladı ve bir göz atmasına izin vereceğiz.
Yol boyunca Matterport, derin öğrenmenin çeşitli alanlarında 3D veri setlerinin muazzam gücüne tanık oldu. Bu alanda uzun süredir araştırma yapıyoruz ve verilerin bir kısmını araştırmacılarla paylaşmayı umuyoruz. Heyecan verici olan şey, Stanford, Princeton, TUM vb. Araştırmacıların büyük miktarda alanı etiketlemek için ekip oluşturması ve etiket verilerini Matterport 3D veri kümesi biçiminde halka açık hale getirmesidir.
Bu, şu anda dünyanın en büyük 3B halka açık veri kümesidir ve içindeki açıklamalar büyük önem taşımaktadır.
ImageNet ve COCO gibi daha büyük 2D veri kümeleri 2010 yılı civarında oluşturuldu ve yüksek hassasiyetli 2D görüntü sınıflandırma sistemleri için araçlardır. Matterport'un 3B + 2B veri setinin aynı zamanda AI sisteminin bilişsel ve kavrayışını geliştirebileceğini ve 3B araştırmanın geliştirilmesini sağlayabileceğini umuyoruz.
Matterport'un büyük bir endüstri etkisi var: Artırılmış gerçeklik, robotik, 3B yeniden yapılandırmadan 3B görüntülerin daha iyi anlaşılmasına kadar, ilerliyoruz.
Veri kümesi "sihirli kutu"
Veri seti, aynı boyutta 10.800 panorama görüntüsü (RGB + derinlikli görüntüler) içerir.Bu görüntüler, 90 mimari sahnenin RGB renk modunda 194.400 derinlikteki görüntülerden seçilir.Görüntülerin tümü Matterport'un Pro 3D kamerasıyla çekilir.
Bu sahnelerin 3B modelleri, örnek düzeyinde nesne segmentasyonu ile işaretlenmiştir. Https://matterport.com/gallery web sitesinde farklı Matterport 3B yeniden yapılandırma modellerini etkileşimli olarak keşfedebilirsiniz.
Birkaç farklı kilit açma pozisyonu
Bu veri setinin çok faydalı olduğunu söylemekten mutluluk duyuyorum. Aşağıda, Matterport'un birkaç araştırma yönünü tanıtacağım.
Şu anda kullanıcıların çektiği fotoğrafları odalara ayırmak ve sınıflandırmak için bu veri setiyle dahili olarak böyle bir sistem kurduk. Bu sistem iyi performans gösterir ve kapı veya bölme olmadan bile farklı oda tiplerini (mutfak ve yemek odası gibi) ayırt edebilir.
Ek olarak, 3D sensörlerin erişemeyeceği alanları doldurmak için derin öğrenme yöntemlerini kullanmayı da öğreniyoruz. Bu, kullanıcıların depolar, alışveriş merkezleri, ticari gayrimenkuller, fabrikalar ve yeni oda türleri gibi geniş açık alanları hızla fotoğraflamasını kolaylaştırır.
Basit bir örnek düşünün. Bu örnekte, algoritmamız derinlik sensörünün derinlik değerini ve yüzey yönünü (normal vektör) tahmin etmek için rengi ve yerel derinliği kullanır. Bu alanlar çok uzakta olduğu için derinlik sensörü tarafından algılanamazlar.
Aslında, kullanıcının kapladığı alandaki farklı nesneleri bölmek için de kullanabiliriz. Mevcut 3B modellerin aksine, bu tamamen bölümlere ayrılmış modeller uzaydaki nesneleri doğru bir şekilde tanımlayabilir. Bu, alanın içeriğini ve özelliklerini içeren ayrıntılı bir listenin otomatik olarak oluşturulması ve alanda farklı mobilyaların nasıl göründüğünü otomatik olarak görmek dahil olmak üzere birçok kullanım hareketinin kilidini açar.
Ayrıca, kullanıcıların istediklerini bulabilmeleri için herhangi bir alanın dizine eklenmesine, aranmasına, sıralanmasına ve anlaşılmasına izin vermek gibi küçük bir hedefimiz var.
Örneğin tatil için bir yer bulmak istiyorsanız, modern bir mutfak, oturma odasında gömme şömine, balkondan aşağıdaki gölet manzarası ve tavandan tabana bir pencere ile donatılmış üç büyük yatak odası mı istiyorsunuz? Yapabiliriz.
Örneğin, ofisteki tüm mobilyaların envanterini alıp şantiyedeki boruların CAD modeliyle tutarlı olup olmadığını mı karşılaştırmak istiyorsunuz? Ayrıca çok kolay.
Makale ayrıca, özellik eşleştirmeyi iyileştirmek için derin öğrenme özellikleri, iki boyutlu görüntülerin yüzey normal vektör tahmini ve voksel modellerine dayalı mimari özelliklerin ve nesnelerin tanınması gibi bir dizi başka kullanım durumunu da gösterdi.
Bir sonraki adımımız
Yukarıda belirtildiği gibi, bu verileri, kodları ve belgeleri kullanabilirsiniz.Bunları nasıl kullandığınızı duymak isteriz ve bazı projelerde araştırma kurumları ile işbirliği yapmayı dört gözle bekliyoruz.
3D ve daha büyük veri setleriyle ilgileniyorsanız, bize katılmaya hoş geldiniz, projeye katılan herkese teşekkür ederiz.
Son olarak, veri kümesi adresini ekleyin:
https://niessner.github.io/Matterport/
Kod adresi:
https://github.com/niessner/Matterport
Kağıt indirme adresi:
https://arxiv.org/pdf/1709.06158.pdf
3D dünyasına hoş geldiniz!
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! Ayrıntılar için, lütfen QbitAI diyalog arayüzünde "işe alım" kelimesiyle yanıt verin.
Qubit QbitAI
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
