CVPR en iyi makalesi için kısa listeye alınan bu temel yapay zeka araştırması bizi dişlere bakmamızı sağladı
İçbükey tapınaktan Xiaocha
Qubit Raporu | Genel Hesap QbitAI
AI, video endüstrisini dönüştürüyor ve oyun gitgide daha bol hale geliyor.
Son yıllarda, video web sitelerine gittikçe daha fazla AI teknolojisi uygulandı:
Basit görüntü ve davranış tanımadan, görüntüler metin araması gibi aranabilir ve sonraki aşamada çeşitli efektler "yoktan yapılabilir".
Canlı video, beyazlatma ve uzun bacakları şekillendirme için gerçek zamanlı özel efektler gerçek zamanlı olarak yapılabilir. Son olarak yüz değişikliği tamamlandı.
Geçen yılın popüler "anlambilimsel bölümleme" teknolojisi, gerçek zamanlı barajın artık çapanın yüzünü engellememesine izin veriyor.
Yapay zeka videoyu hangi boyuttan dönüştürecek diye de sorabilirsiniz.
CVPR ile ilgili birçok yeni çalışma, "aynı ses" konusu size cevabı vermelidir: bu, "davranış tahmini" nin yönüdür.
En tipik olanı, Li Feifei'nin ekibi tarafından bu yılın ilk yarısında yayınlanan ve o sırada oldukça heyecan uyandıran bir makaleydi.
Optik akış yöntemi, bir davranış tahmini yöntemi olarak kullanılabilir.
Kısa bir süre önce sona eren CVPR'de, Çinli bir İnternet şirketi olan Huya da bu alanda yeni bir kağıt olan "SelFlow: Optik Akışın Kendi Kendini Denetimli Öğrenimi" sundu. Optik akış yöntemi Konuyla ilgili çığır açan bir atılım yapıldı.
Huya'nın makalesi, CVPR 2019 tarafından alınan 1.294 bildiri arasından seçildi ve bu yılın En İyi Kağıt Finalistleri seçildi.
Huya'nın araştırması neden CVPR kağıt eleştirmenleri tarafından tercih ediliyor?
Önce optik akışla başlayalım.
ışık akışı
Optik Akış nedir? Sözde optik akış, gözlem görüntüleme düzleminde uzay hareket eden nesnenin piksel hareketinin anlık hızıdır.
Optik akış, iki bitişik çerçeve üzerinde nesnenin konumundaki değişikliklere göre hesaplanabilir.
Layman'ın terimleriyle, optik akış alanı görüntüdeki her pikselin hareket eğilimini yansıtır ve görüntüdeki nesnenin hızının boyutunu ve yönünü içeren her pikselin hareket vektör alanı olarak kabul edilebilir.
Optik akış, nesne yörüngesini izleme, 3B yeniden yapılandırma ve otonom sürüş gibi sahnelerde yaygın olarak kullanılır.
Optik akış yöntemi, önceki çerçeve ile geçerli çerçeve arasındaki karşılık gelen ilişkiyi bulmak için görüntü dizisindeki piksellerin zaman alanındaki değişiklikleri ve bitişik çerçeveler arasındaki korelasyonu kullanır, böylece nesnelerin bitişik çerçeveler arasındaki hareketini hesaplar. Bir bilgi yöntemi.
Optik akışın hareketli görüntülerde en temel bilgileri içerdiği söylenebilir. Ve çoğu zaman araştırma ne kadar temel olursa, o kadar yaygın kullanılır.
Çok çeşitli uygulama senaryoları
1940'larda ortaya atılan bir kavram olan optik akış, şu anda görüntü ve video işleme ve bilgisayarla görmedeki birçok konuda önemli bir rol oynamaktadır.
Optik akışın uygulamaları, yalnızca bir nesnenin hareket durumunu anlamayı değil, aynı zamanda nesnenin yapısını ve sahne ortamını da tahmin etmeyi içerir. Bu nedenle, optik akış yöntemi kullanılabilir Otopilot, yörünge izleme, 3B yapı yeniden yapılandırma, hareket algılama, görüntü bölümleme vb.
Buna ek olarak, optik akış kavramı ilk olarak bir psikolog tarafından önerilmiştir, insan hareketinin ve çevresel yapının psikolojik sürecidir ve insan görüşünün temel bir bileşenidir. Bu nedenle, optik akışı incelemek, insan yeteneklerinin bilgisayarla görme yeteneklerine nasıl dönüştürüleceğini öğrenebilir ve bu da makine görüşü alanında çok önemlidir.
Bilgisayar vizyonunun "büyüsüne" hakim olun, AI ürünlerinin inişinde daha fazla numara oynayabilir ve canlı yayına daha fazla AI ekleyebilirsiniz.
Örneğin, optik akış, canlı ekrandaki karakterlerin davranışını tahmin etmek ve zamanla bazı zararlı bilgileri önlemek için kullanılır; daha düşük maliyetli VR canlı yayını elde etmek için 3B yapı yeniden yapılandırmasını kullanın vb.
Endüstri lideri
Optik akışın kullanımı çok iyi olduğu için Huya'dan yapay zeka araştırma ekibi cesur bir fikir buldu: Tıkanmış piksellerin optik akışını tahmin etmek için Evrişimli Sinir Ağı'nı (CNN) kullanın.
Huya'dan bir AI araştırmacısı ve bu makalenin ilk yazarı Liu Pengpeng şunları söyledi: Bu, optik akış araştırmalarının tarihidir. ilk defa Ek simülasyon verileri olmadan elde edildi En yüksek doğruluk . Ve deneysel sonuçlar yarım yıldan fazla bir süredir sunuluyor, Hala Sintel test veri setinde birinci sırada yer alıyor ve henüz kırılmadı.
Bu CVPR'de sunulan makale sayısı 5265 geçerli gönderi olup, geçen yıla göre% 56 artış, ancak kabul oranı geçen yıla göre% 3,9 düşmüştür ve seçim zorluğu yıldan yıla artmıştır.
Bilgisayarla görmenin son yıllardaki popülaritesi, birçok makalede temel araştırmaları özellikle değerli kılmıştır. Bu makale, CVPR 2019 en iyi makale finali olarak seçildi ve ayrıca Huya'nın temel AI alanında araştırma yapma yeteneğini vurguladı.
İlke Giriş
CNN, görüntü sınıflandırma, hedef tanıma ve diğer konularda büyük başarılar elde etmesine rağmen, bir görüntünün optik akışını tahmin etmek için kullanmak gerçek zamanlı çalışabilir ve yüksek performansa sahiptir, ancak aynı zamanda birçok sorunu da vardır.
Her şeyden önce, denetimli öğrenme yöntemi kullanılırsa, CNN çok sayıda etiketli veriye ihtiyaç duyar ve optik akış içeren görüntü verilerinin elde edilmesi zordur ve son olarak simülasyon verilerine güvenmek zorundadır.
İkinci olarak, denetimsiz öğrenme yöntemleri kullanılırsa, tıkalı piksellerin tahmin sonuçları genellikle zayıftır ve kapatılmamış pikseller arasında büyük bir performans boşluğu vardır.
Bunun nedeni, mevcut denetimsiz öğrenme yöntemlerinin temelde Parlaklık tutarlılığı hipotezi , Görüntü çarpıtma yoluyla, tahmin edilen optik akış eğriliğinin ikinci resmine dayalı olarak ilk resmi yeniden oluşturun ve ardından ilk resim ile eğriltmeden sonraki ikinci resim arasındaki parlaklık farkını karşılaştırın.
Bu yöntem, engellenmemiş piksellerin optik akışını daha doğru bir şekilde tahmin edebilir, ancak, örtülü piksellerin optik akışını tahmin etmek güçsüzdür Bu nedenle, örtülü pikseller için, sabit parlaklık varsayımı artık geçerli değildir.
Herhangi bir açıklama verisi kullanmadan tıkalı piksellerin optik akışı nasıl tahmin edilir?
Huya, etiketlenmemiş verilerden optik akışı öğrenmek için kendi kendini denetleyen bir öğrenme yöntemi önerdi. Bu yöntem, kapatılmamış piksellerden güvenilir optik akış tahminlerini çıkarır ve bu tahminleri tıkanmış piksellerin optik akışını öğrenmek için kullanır.
Daha sonra, araştırmacılar yeni tıkanmış piksel verileri oluşturmak için yapay kapatma yöntemlerini kullanıyor ve tıkalı piksellerin optik akışını öğrenmek için sinir ağına rehberlik etmek için gözetim verileri olarak önceden öğrenilmiş kapalı piksellerin optik akışını kullanıyor.
Bu kendi kendini denetleyen öğrenme çerçevesi, MPI Sintel, KITTI 2012 ve KITTI 2015 veri kümelerinde en iyi denetimsiz sonuçları elde etti.
Daha da önemlisi, bu denetimsiz öğrenme yöntemiyle elde edilen model, denetimli öğrenme için iyi bir başlangıç sağlar ve simülasyon verilerine bağımlılığı ortadan kaldırır Denetimli ince ayarlamadan sonra, birden çok veri setinde optimum performans elde edilir.
Görünüm
Optik akış yöntemi, bilgisayarla görme alanında çok temel bir uygulamaya sahiptir. Huya'nın bu kez yayınladığı temel araştırma problemleri, geçmişte optik akış yönteminin uygulanmasındaki bazı temel sorunları çözmüştür.Deneysel sonuçlar sektördeki en ileri seviyeye ulaşmıştır ve hatta hiçbir rakip yarım yıldan fazla bir sürede bunu geçemez.
Huya'nın araştırması, gelecekte canlı yayın endüstrisi üzerinde önemli bir etkiye sahip olmakla kalmayacak, web canlı yayınlarının AI içeriğini artıracak, aynı zamanda otonom sürüş gibi popüler AI alanlarında da önemli bir rol oynayacak.
Huya, gelecekte daha fazla sınır ötesi eyleme katılmak için elinde AI teknolojisini kullanacak mı? Spekülasyon yapmaya cesaret edemiyoruz, ancak en azından Huya bizi CVPR'de etkiledi.
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! Ayrıntılar için, lütfen QbitAI diyalog arayüzünde "işe alım" kelimesiyle yanıt verin.
Qubit QbitAI · Toutiao İmzalama Yazarı
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
