Tencent Youtu Laboratuvarı'nda kıdemli araştırmacı olan Shen Xiaoyong: ICCV 2017 Tek Tıkla Makyaj Temizleyici Video Süper Çözünürlük Kağıdı Ayrıntılı Açıklama
Lei Feng.com AI Technology Review'e göre, ICCV (The International Conferenceon Computer Vision) bilgisayarla görme alanındaki en iyi üç konferanstan biridir.Tencent Youtu Lab, ICCV 2017'de 12'si konferans tarafından kabul edilen 15 bildiri sundu. Kabul edilen makaleler arasında, "tek tıklamayla kaldırıcı" olarak bilinen Makyaj-Go: Portre Düzenleme Kör Reversiyonu, hayatın her kesiminden güçlü tepkiler aldı ve sosyal medyayı patlattı. Başka bir süper çözünürlüklü kağıt, Ayrıntıları ortaya çıkaran Derin Video Süper Çözünürlüğü (Ayrıntıları ortaya çıkaran Derin Video Süper çözünürlüğü) ile ilgili teknoloji de Qzone'da başarıyla uygulanmıştır ve tüm performans göstergeleri Google'ın benzer teknolojilerini aşmaktadır.
Kısa bir süre önce, Leifeng.com AI Technology Review, Tencent Youtu Lab'da kıdemli bir araştırmacı olan Shen Xiaoyong'u davet etti. Bize Tencent Youtu Lab ve yukarıda belirtilen iki makale hakkında ayrıntılı bir giriş yaptı: "Makyaj-Go: Kör Tersine Çevirme". Portre Düzenleme) ve Ayrıntıları ortaya çıkaran Derin Video Süper çözünürlüğü.
Konuk profili: Shen Xiaoyong, Tencent Youtu Lab'da kıdemli araştırmacı, Zhejiang Üniversitesi'nde lisans ve yüksek lisans, Hong Kong Çin Üniversitesi'nde doktor ve doktora sonrası. Temelde derin öğrenmenin görüntü geliştirme, bölümleme, nesne algılama ve tanıma, hareket ve derinlik tahmini vb. Dahil olmak üzere görüntü ve video işleme anlayışındaki uygulamalarını araştırın, CVPR, ICCV, ECCV ve TPAMI ve TOG gibi en iyi dergilerde 15'ten fazla makale yayınladı. Nesne.
Aşağıdakiler paylaştı:
Leifeng.com Netizenleri, herkese iyi akşamlar. Burada yaşamaktan çok mutluyum. Bugün paylaştığım konu "Visual AI IP Exporter: Tencent Youtu ICCV 2017 Paper". Şu anda Tencent Youtu'da kıdemli bir araştırmacı olan Xiaoyong Shen'im Youtu, ağırlıklı olarak yapay zeka teknolojisi araştırma ve geliştirme çalışmaları yapmaktadır.
Bu benim kişisel ana sayfam Zhejiang Üniversitesi'nde lisans ve yüksek lisans eğitimi için ve Hong Kong Çin Üniversitesi'nde doktora için okuyorum.
Aşağıdaki Tencent Youtu'ya kısa bir giriş niteliğindedir: Araştırmamızı esas olarak yüz tanıma, görüntü tanıma ve ses tanıma üzerine dayandırıyoruz.
Aşağıdakiler, Youtu'nun temel araştırma, platform verileri ve iş senaryolarının entegrasyonunun ekolojisidir.
Bu, 2017'de Youtu Lab'ın en son teknolojik atılımıdır.
Bugün sizlerle ICCV 2017'de Tencent Youtu tarafından yayınlanan iki makaleyi paylaşmak istiyorum.
Makeup-Go: Portre Düzenlemenin Kör Tersine Dönüşümü
Paylaştığım ilk makale, tek tıklamayla makyaj temizleyicisi olan ve size işlenmiş bir resim veren (Meitu Xiuxiu insanları beyaz ve güzelleştirdikten sonraki resim gibi) Makeup-Go: Blind Reversion of Portrait Edit. Yazılımın işlemeden önceki halini geri yükleyin. Normal koşullar altında, şu anda birçok görüntü işleme uygulaması var ve biz güzellik işlemeden önce fotoğrafların neye benzediğini bilmek istiyoruz.
Aşağıda güzelleştirilmemiş bir resim var.
Güzelleştirme sonrası yüzdeki sivilceler kayboldu ve cilt çok pürüzsüz hale geldi.
İşlemeden önce resmi eski haline getirmek ister misiniz, zorluk nedir?
Şiddet içeren basit yöntem, giriş resimleri ve çıkış resimleri olduğu için, bir sinir ağının resimleri otomatik olarak işlemeyi öğrenecek şekilde eğitilebilmesidir. Burada basit bir deney yaptık, çok derin bir ağ olan 2016'da CVPR'nin bir makalesi.
Girişler ve çıkışlar aşağıdadır. Buradan anlaşılacağı gibi, bu kadar derin ve güçlü bir öğrenme yeteneğine sahip bir ağ kullanılsa bile, yine de orijinal görüntüden büyük bir fark vardır, örneğin kırışıklıklar ve çiller mükemmel bir şekilde restore edilmez.
Mevcut CNN ağı neden orijinal resmi geri yükleyemiyor? Görüntü birçok şey içeriyor. Geri dönmek için yalnızca CNN kullanırsanız, yalnızca birkaç bileşeni iade edebilirsiniz. Görüntü restorasyonu sırasında bileşen hakimiyeti etkisi olarak adlandırılan çok önemli bir bilgi bulduk. Bu makale bileşen hakimiyet etkisine odaklanmaktadır. Tek tıklamayla kaldırma efektini değiştirin.
İlk olarak, ayrıştırılabilen L2 kaybını analiz ediyoruz, F sinir ağının çıktı sonucudur ve y temel gerçek.
Burada, L2 kaybının aslında PCA'nın farklı bileşenlerinin doğrusal bir kombinasyonuna ayrıştırılabileceğini bulduk.
Genişletmeye devam edebilirsiniz.
Bileşen nasıl anlaşılır, onu büyükten küçüğe ayırırız.
İşte bizim yaptığımız, bileşen regresyon ağı adı verilen ağ. PCA aracılığıyla grafiği farklı bileşenlere ayırmaya eşdeğerdir. Daha sonra, her bileşenin farklı alt ağlar aracılığıyla iyi bir şekilde döndürülebileceğini ve son olarak bileşenlerin nihai sonucu elde etmek için entegre edildiğini umuyoruz.
Aşağıdakiler, bu ağın tek tıklamayla kaldırma için çok etkili olduğunu kanıtlayabilen deneyimizin sonucudur. Yeşil çizgi bizim sonucumuzdur ve bileşen 40 olduğunda daha iyi bir etki elde edilebilir. Öklid kaybı ve Algı kaybı ile karşılaştırmayı görebilirsiniz.
Aşağıdaki resim Meitu tarafından çilleri ve kırışıklıkları gidermek için işlenmiştir.Restorasyon sonucumuz ile zemin gerçeği modifikasyon sonucumuz arasındaki karşılaştırmayı görebilirsiniz.
Aşağıdaki resim aşırı dokunulmuş bir resimdir: Görüntü çok pürüzsüz ve renkler değişmiş. Geri yüklememizin sonucu, kayıp detayları iyi bir şekilde eski haline getirebilir.
Aşağıda daha fazla sonuç var: İnternette rastgele bulduğumuz fotoğraflar, resimdeki çilleri ve kırışıklıkları onarabilir.
Bu ağ her durumda etkili değildir.Aşağıdaki, Trump'ın resimlerinin işlenmesidir.Resimler geri yüklenebilse de, yine de asıl gerçeğinden farklıdır.
Bu çalışmanın özeti şu şekildedir: İlk olarak, görüntü restorasyonu yaparken çok önemli bir bileşen egemenliği etkisi bulduk; ikincisi, birçok alanda çok güçlü uygulamaları olan bir bileşen regresyon ağı önerdik.
Ayrıntıları ortaya çıkaran Derin Video Süper çözünürlüğü
İkinci makale, Ayrıntıları açığa çıkaran Derin Video Süper çözünürlüğüdür ve mevcut sonuçlar sektörde çok iyidir.
Öncelikle video süper çözünürlüğü yapma motivasyonumuzdan bahsedeyim. Birincisi, bu çok geleneksel ve temel bir sorundur; ikincisi, gözetleme senaryolarında plaka numaralarını ayırt etmek gibi birçok uygulama vardır.
Video süper çözünürlüğünden önceki çalışma, biri görüntü SR ve diğeri video SR olmak üzere iki kategoriye ayrılabilir. Spesifik araştırma çalışması PPT'de gösterilmiştir. Makalemiz, araştırmayı diğerleri temelinde bir adım ileriye götürüyor.
Bu problemin zorluğu aşağıdadır. Biri nasıl çok etkili bir ağ elde edileceğidir, diğeri ise modellerin sorunudur.
İlk olarak, yöntemimizin avantajlarını tanıtacağız: Birincisi, alt piksel hareketinin daha iyi kullanılması, diğeri ise sonuçlarımızın vizyon ve miktar açısından öncekinden çok daha iyi olmasıdır. Ek olarak, bu model tamamen ölçeklenebilir, herhangi bir girdi boyutu olabilir, herhangi bir büyütme elde edebilir.
Yöntemimizin ağı aşağıdadır. Az önce bahsedilen problemler nasıl çözülür? Biri Tamamen evrişimli kurmak, diğeri ise SPMC katmanının parametresi olmaması ve üçüncüsü Dönüşüm LSTM'dir.
Analizimiz aşağıdadır. Bu ağ için, üç özdeş çerçeve giriyoruz, efekt çok iyi değil ve üç ardışık çerçeve girişi daha iyi sonuçlar elde edebilir.
İkinci analiz, SPMC'nin daha iyi çalıştığı SPMC Katmanı ve Taban Çizgisini karşılaştırmaktır.
Karşılaştırma yoluyla, yöntemimizin önceki Bicubic, BayesSR, DESR ve VSRNet'ten daha iyi olduğunu görebiliriz.
Son olarak, çalışma süresini analiz edin, yöntemimiz BayesSR, MFSR, DESR, VSRNet'ten daha iyidir.
Son sonuç: Birincisi, bu çalışma iyi bir uyarlanabilirlikle uçtan uca, ikincisi, SPMC katmanı önerildi ve üçüncüsü, yöntemimiz yüksek kalitede ve hız büyük ölçüde geliştirildi.
Aşağıdaki, Tencent Youtu X-Lab'ımıza bir giriştir.
Bu ekibimizin bir fotoğrafı Şu anda ekibimizde yaklaşık 30 kişi var.
Son olarak, burada basit bir reklam yapmak istiyorum. Şu anda ekibimiz hızlı bir gelişme içinde.Ekibimizle ilgileniyorsanız, beni WeChat'e eklemekten hoş geldiniz.
