Tanrı'nın bakış açısından 360 derecelik büyülü izleme: Dünya Kupası'nı izlemek için masaüstüne taşıdılar
İçbükey tapınaktan Annie
Qubit Üretildi | Genel Hesap QbitAI
4: 3, Messi eve gitti; 2: 1, Ronaldo da eve gitti, bu Dünya Kupası gerçekten yoğun ve heyecan verici.
Ancak olay yerine gidemeyen (sözde) hayranlar için, canlı yayını sadece cep telefonlarında ve TV uçaklarında izlemek için eğilebilirler, değil mi?
Bugün, yeni teknolojiler birbiri ardına uygulandığında, bir top izlemeyi yeniden tanımlamanın daha yeni ve daha teknik bir yolu var mı?
Düşünün: Oyunu masaüstüne gerçek zamanlı olarak yayınlamak için AR ekipmanını kullanabilir ve yanınızda taşıyabilirseniz, hepsini de görebilirsiniz. Farklı perspektifler , Topun tüm sahnesi farklı mesafelerde Ne keyifli bir seçim.
bunun gibi--
Yine böyle-
Hey ... Bu Dünya Kupası'nı herhangi bir masaüstüne taşıyor mu? Ve oyunu sahanın etrafında her açıdan izleyebilirsiniz - yerinde olsanız bile, yapamazsınız!
Tebrikler, bu "Tanrı perspektifi" yakında gerçekleşebilir.
Kısa süre önce, University of Washington, Google ve Facebook'tan araştırmacılar, Dünya Kupası videolarını yeniden oluşturabilen ve bunları dinamik 3D videolara dönüştürebilen bir masaüstü futbol sistemi geliştirdiler. AR cihazı aracılığıyla, oluşturulan oyuncu eylemlerini ve alan efektlerini görebilirsiniz.
Bu sistemle tüm stadyumun sahibi gibi hissettiriyor, bu nasıl oluyor?
3D dönüşümün sırrı
Masaüstü izlemenin büyük fikri aslında çok basit.
Stadyuma yerleştirilmiş çok açılı kameraları tam olarak kullandığınız ve daha sonra mekanı ve oyuncuları üç boyutlu olarak yeniden inşa etmek için çok açılı geometri teknolojisini kullandığınız sürece, 2B Dünya Kupası 3B sahneye yükseltilecektir.
Bu nedenle, araştırmacılar bu fikri öne sürdüler.
Önce Youtube'da Dünya Kupası videosunu toplayın ve kamera konumunu ve diğer parametreleri saha çizgisine göre çıkarın.
Daha sonra, videodaki sınır çizgilerini, oyuncu pozlarını ve hareket yörüngelerini çıkarın ve bir sonraki işlemi kolaylaştırmak için oynatıcıları ve alanı bölün.
"Plazma ayırma" işleminden sonra, oyuncular üç boyutlu bir etki elde etmek için ayrı ayrı oluşturulur. Araştırmacılar, derin bir sinir ağı modelini eğitmek için video verilerini kullanıyor ve sahadaki her oyuncunun derinlik haritasını yeniden oluşturarak 360 derecelik görüntülemenin çıkmazlar olmadan gerçekleştirilmesi için temel oluşturuyor.
Son olarak, bir AR cihazınız varsa ... onu bir AR cihazı veya bir 3D görüntüleyici ile işleyin, 3D olarak güzel görünecektir.
Fikir doğrudur, ama sonra soru gelir:
Bir oyuncunun görüntülerine dayanarak derinlik haritasını tahmin etmek için bir sinir ağı modeli eğitmek istiyorum. En ideal veri seti, bir çift oyuncu fotoğrafı ve derinlik haritaları içermelidir.
Böyle bir veri seti nerede bulunur?
Araştırmacılar, EA tarafından üretilen FIFA serisi oyunlarını düşündü. FIFA oyun motoru ile GPU arasındaki çağrı bilgilerini yakalayarak, derinlik haritasını video oyununun çerçevesinden çıkaramaz mısınız?
FIFA serisi oyunlardan görüntüleri ve derinliği ayıklayın
esprili.
Artık veriler tamamlandığına göre, alan derinliğini tahmin edebilen bir sinir ağı eksik.
Araştırmacılar "kum saati ağ modelini" seçtiler ve girdiyi bir kum saati gibi işlemek için bir dizi artık modül kullandılar. 8 "kum saati modülü" girdinin çözünürlüğünü düşürmek ve yakınlaştırmak gibi adımları uyguladıktan sonra, çıktı ihtiyacımız olan şeydir Alan haritasının derinliği.
3D top oyununu yeniden inşa et, Go!
Hazırlık aşaması tamamlandıktan sonra, araştırmacılar 3B sahneyi yeniden oluşturmaya başladı. Tüm süreç, sanki bir fast food restoranının mutfağına giriyormuş gibi tek seferde yapıldı
Kabaca aşağıdaki adımlara bölünmüştür:
- 1. Kamera konumu tahmini: Gerçek sahnedeki her karenin parametrelerini tahmin etmek için sentetik bir düz alan şablonu kullanın ve ayrıca her sürekli karede kameranın pozunu bulun.
- 2. Oyuncu algılama ve izleme: Oyuncunun sınır kutusu tarafından tespit edilen temel noktaları / iskeleti çıkarın, duruş bilgisine göre ilk sınır kutusunu iyileştirin ve ardından çıkarılan kare sırasına göre oyuncunun hareket yörüngesini tahmin edin.
- 3. Gerçek zamanlı örnek bölümleme: Anlamsal bölümleme ve önceki adımın poz tahmini yardımıyla, derinlik tahmin ağı için her oyuncunun kullandığı bölümleme maskesini tahmin edin.
- 4. Izgara oluşturma: Önceki adımdaki ön plan maskesini orijinal kırpılmış görüntü ile karıştırın ve eğitim için önceden eğitilmiş sinir ağına yerleştirin.
- 5. 3B yörünge oluşturun: kamera konumu ve sınırlayıcı kutunun yanlış konumlandırılmasından kaynaklanan oyuncu titremesini azaltın ve 3B oyuncu yörüngesini düzleştirin.
Bu noktada bir dizi işlem, 3 boyutlu sentez tamamlanmıştır.
Araştırmacılar, bu modelin 3 boyutlu olarak üretilen sonuçlarını orijinal video ve farklı yöntemlerle sentezlenen sonuçlarıyla karşılaştırdı.
Youtube videolarında gerçek işleme sonuçları
Oluşturduktan sonra son işlemeyi yapın:
Youtube video çerçevesi (üst satır) ve oluşturma sonucu (satır 2 ~ 4)
Hiç şüphe yok ki bu yöntem daha doğru ve eksiksiz bir derinlik tahmini elde edebilir ve yeniden yapılandırma etkisi de en iyisidir.
Sevilmeyen kimse
Sahne güzel olsa da teknoloji şu anda mükemmel değil ve dilediğiniz gibi izlemenize izin vermiyor.
Hata aslında çok açık Etkisini ilk izlediğinizde futbolu gördünüz mü?
--Hayır.
Doğru, bu sistemdeki en büyük sorun futbolun henüz işlenmemiş olması, topun yörüngesinin ortaya konulamaması ve sahadaki oyuncuların oyu "hava topu" oynamaya benziyor.
Ek olarak, sistemin oyuncular ve kaleciler üzerindeki kontrolü (pozisyon) yeterince doğru değildir ve engellenen oyuncular tam olarak görüntülenmez. Bu, oyuncuların bazen aniden ortadan kaybolmasına ve sonra sanki ışınlanma yöntemini öğrenmiş gibi aniden ortaya çıkmasına neden olur.
Kayıp kaleci
Makalede, araştırmacılar teknolojinin hala geliştirildiğini ve yükseltildiğini söylediler. Bir sonraki plan şudur:
- Görüntü rekonstrüksiyonunun kalitesini artırın
- Gerçek zamanlı 3B yeniden yapılandırmayı gerçekleştirin
- Futbolun yerini tahmin edin
- Bu teknolojinin diğer sporlarda da kullanılmasına izin verin, böylece basketbol, rugby, voleybol ve diğer sporların hayranları da bu şekilde tedavi edilebilir.
Washington Üniversitesi tarafından üretilmiştir
Soccer on Your Tabletop araştırma makalesi CVPR 2018'de yayınlandı. Washington Üniversitesi'nin (Zhang Yaqin'in mezun olduğu okul) GRAIL laboratuvarına ait dört yazar var: Konstantinos Rematas, Ira Kemelmacher-Shlizerman, Brian Curless ve Steve Seitz.
Konstantinos Rematas için bir tane
Bu araştırmayı ve iştahınızı hissediyorsanız, daha derine inmek için portala geçebilirsiniz.
Kağıt adresi:
Kod adresi:
https://github.com/krematas/soccerontable
- Bitiş -
Stajyer işe alım
Qubit, piyasa operasyonu stajyerlerini işe alıyor, AI yıldız şirketlerinin CEO'larını ve yöneticilerini içeren çevrimiçi / çevrimdışı etkinlikleri planlıyor ve yürütüyor ve AI endüstri liderleriyle doğrudan iletişim kurma fırsatına sahip. Kilidini açmak için zengin bir staj deneyimi sizi bekliyor ~
Çalışma yeri Pekin, Zhongguancun'da. Lütfen özgeçmişinizi quxin@qbitai.com adresine gönderin.
Ayrıntılar için lütfen QbitAI diyalog arayüzünde "Stajyer" yazarak yanıt verin.
Qubit QbitAI · Toutiao İmzalayan Yazar
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
