CVPR 2019 yapılmak üzere ve Liangfengtai'nin uçtan uca projektör optik telafisi sözlü kağıt olarak seçildi
Leifeng.com AI Technology Review News, CVPR 2019 yaklaşımı ile giderek daha fazla şirket ve üniversite seçtikleri makalelerini açıkladı.
Son zamanlarda, AR ürün ve hizmet sağlayıcısı Liangfengtai, esas olarak projektör optik telafisi sorununu çözmek için kullanılan projeksiyon AR algoritması araştırmasının en son sonuçlarını açıkladı, yani projeksiyon ekranı ideal beyaz dağınık yansıma olmadığında, projeksiyon yüzeyindeki deseni ortadan kaldırmaya çalışın CVPR 2019 sözlü sunumunda ilgili makale "Uçtan Uca Projektör Fotometrik Kompanzasyonu" seçilmiştir. Aşağıda, Liangfengtai'nin bu makaleye ilişkin ayrıntılı yorumu yer almaktadır.
"Uçtan Uca Projektör Fotometrik Kompanzasyonu" nun katkıları esas olarak aşağıdaki noktalardadır:
1. İlk kez, projektörün optik telafisi problemi uçtan uca bir derin öğrenme problemi olarak tanımlandı ve ardından bu karmaşık kompanzasyon işlevini örtük olarak öğrenmek için CompenNet adlı yeni bir evrişimli sinir ağı (CNN) inşa edildi.
2. Ekipmandan ve fiili projeksiyonlardan bağımsız bir veritabanı ve değerlendirme karşılaştırması önermek ilk defa. Gelecekte, benzer çalışmalar, çalışmada kullanılan ekipmanı ve gerçek projeksiyonları tekrarlamaya gerek kalmadan bu değerlendirme kıyaslamasında karşılaştırılabilir. Bu tür değerlendirme kriterleri.
3. Önceden eğitilmiş CompenNet'i yeni projeksiyon ekranlarına ve donanım ayarlarına taşımak için bir ön eğitim yöntemi sağlar. CompenNet ve geleneksel yöntemlerin sıfırdan eğitilmesi ile karşılaştırılabilir veya hatta daha iyi olması için yalnızca az sayıda örneklenmiş resim gerekir. Örnekleme süresinden ve eğitim süresinden çok tasarruf.
4. CompenNet ve diğer geleneksel yöntemler, Liangfengtai tarafından önerilen değerlendirme kıyaslamasının yanı sıra genel bir grafikten grafiğe geçiş derin öğrenme çerçevesi pix2pix ile karşılaştırılmıştır Deneysel sonuçlar, yeni yöntemin değer ve kalite açısından önemli ölçüde daha iyi olduğunu göstermektedir. Karşılaştırmaya katılmanın diğer yolları.
Arka plan tanıtımı
Bu çalışma esas olarak projektör optik telafisi sorununu çözmektedir, yani projektör ekranı ideal beyaz dağınık yansıma olmadığında, ekranın rengi ve dokusu aşağıdaki Şekil 1'de gösterildiği gibi kullanıcının distorsiyon etkisini görmesine neden olacaktır.
Şekil 1. (a) Normal aydınlatma altında doku ve renk içeren bir projeksiyon ekranı. (b) Projektör tarafından yansıtılan resim (aynı zamanda görmek istediğimiz efekt). (c) Telafi olmaksızın kameranın yansıtılan sonucu, yani (b) doğrudan (a) 'ya yansıtılır. (d) Modelimiz tarafından hesaplanan tazminat diyagramı. (e) Kamera tarafından yakalanan, yani (d) 'yi (a)' ya yansıtan telafi edilmiş efekt. (C) ve (e) yi karşılaştırarak, bariz iyileştirme etkisini ve ayrıntılarını görebilirsiniz.
Projektörün optik telafisi problemini çözmek için genellikle projektör tarafından yansıtılan çok sayıda resim çekmek için bir kamera kullanılır ve daha sonra bu çekilen ve yansıtılan resimlerin çiftlerinden optik telafi işlevi takılır ve daha sonra yansıtılacak resimler buradan geçirilir. Optik telafi işlevi telafi edilir ve son olarak projektör tarafından yansıtılır, böylece yansıtılan telafi ideal olmayan ekranın rengini, dokusunu ve projektörün doğrusal olmayan optik özelliklerini dengeleyebilir.
Bununla birlikte, yukarıdaki optik işlem çok karmaşıktır, bu nedenle daha iyi sonuçlara sahip birçok geleneksel yöntem ve mevcut algoritma, projektörün piksellerinin ve kamera tarafından yakalanan piksellerin yalnızca bire bir olması ve ardından her pikselin bağımsız olarak takılması gerçeğine kadar bu işlemi basitleştirir. Optik bir telafi işlevi. Bu tür varsayımlar genellikle birçok önemli bilgiyi gözden kaçırır.Örneğin, projektör ile kamera ve ekran arasındaki mesafe, projektör kamerasının hafif bulanıklığı ve ekran yüzeyinin karşılıklı yansıması nedeniyle, projektörün her pikseli, kameranın her pikseli ile aynı değildir. Bir uyuşma, bir projektör pikselinin birkaç kamera pikselini kapsaması mümkündür Bu tür bir basitleştirme, projektörün optik telafisinin etkisini etkileyecektir Deneysel sonuçlar da bunu doğrulamaktadır.
Araştırma yöntemi
Aşırı basitleştirmeyi önlemek için, bu karmaşık optik kompanzasyon işlevini uçtan uca örtük olarak öğrenmek için CNN ağını kullanmak olan yeni bir fikir benimsiyoruz. Bunun başlıca faydaları:
1. CNN, karmaşık optik süreçlere uyacak kadar yeterli model karmaşıklığına sahiptir.
2. CNN filtresinin kendisi etki alanı piksellerini örnekler, bu nedenle geleneksel yöntemler gibi piksellerin bire bir yazışmasını basitleştirmemize gerek yoktur.
3. Matematiksel türetmemize göre kamera ile ekran fotoğrafı çekilebileceği bulunmuştur.
Projeksiyon ekranının optik özelliklerini temsil etmek ve ardından bu fotoğrafı CompenNet'e kamera tarafından çekilen bozulma haritasını öğrenmek üzere rehberlik etmek için CompenNet'in ikinci girişi olarak kullanmak
Ve ekran optik özellikleri
İlişki aşağıdaki Şekil 2'de gösterilmektedir.
Şekil 2. CompenNet'in yapısı. Eğitim (sol) ve telafi (sağ) süreçlerini karşılaştırdığımızda, kamera tarafından alınan telafi edilmemiş görüntüden projektörün giriş görüntüsüne öğrenme ters eşlemesini bulduk.
, Projektör giriş resminden (görmek istediğiniz efekt) telafi resmine eşlemeyi öğrenmektir.
.
Ağ eğitimi ve optik telafi akışı aşağıdaki Şekil 3'te gösterilmektedir.
Şekil 3. Önerilen projektör kompanzasyon boru hattının akış şeması üç ana adım içerir. (A) Yansıtılan yüzey haritasını ve bir dizi örneklenmiş görüntüyü yansıtın ve yakalayın. (B) Önerilen CompenNet'i eğitmek için yansıtılan yüzey haritasını ve yakalanan görüntüyü kullanın.
. (C) Giriş görüntüsünü telafi etmek için eğitimli modeli kullanın
Ve proje.
Deneysel sonuçlar:
Şekil 4. Kamera tarafından alınan telafi etkilerinin karşılaştırması. İlk sütun: projektör ekranının yüzey dokusu. İkinci sütun: kamera tarafından alınan telafi edilmemiş efektler. Üçüncü ila altıncı sütunlar, kamera tarafından çekilen farklı telafi yöntemlerinin etkilerini gösterir. Yedinci sütun, projektörün girdisi, kullanıcının görmek istediği etkidir.
Tablo 1. Farklı telafi yöntemlerinin sayısal karşılaştırması Aşağıdaki değerler, aydınlatma, projektör, kamera durumu ve projektör yüzey dokusu olmak üzere 24 farklı ortam ayarının ortalama sonuçlarıdır. Her ortamda 500 eğitim görüntüsü ve 200 test görüntüsü vardır. Bu yöntemin, projektörün optik telafi görevinde geleneksel yöntem ve pix2pix'ten üstün olduğu açıkça görülmektedir.
Tablo 2. CompenNet eğitim öncesi ve yeniden eğitim karşılaştırması. Sadece 32 eğitim örneği kullandık ve toplamda 170 saniye süren sadece 500 döngü eğittik. Ön eğitim modelinin ince ayarının sonucunun CompenNet'i yeniden eğitmekten daha iyi olduğu ve yalnızca az sayıda örnek ve eğitim süresi gerektiği için gerçek kullanımda daha uygun olduğu açıkça görülebilir.
Kağıt adresi: https://arxiv.org/pdf/1904.04335.pdf
Tamamlayıcı malzemeler:
Kaynak kodu: https://github.com/BingyaoHuang/CompenNet
