Microsoft Research Asia'dan Dr. Tao Mei: Makineler ayrıca videoları okuyabilir ve "film incelemeleri" verebilir mi? | CCF-GAIR 2017
Leifeng.com AI Teknolojisi Yorumu: 7 Temmuz'da, planlandığı gibi Shenzhen'de Küresel Yapay Zeka ve Robotik Zirvesi düzenlendi.CCF'nin ev sahipliğinde, Leifeng.com ve Hong Kong Çin Üniversitesi (Shenzhen) ev sahipliğinde düzenlenen konferans, dünyanın her yerinden 30'dan fazla yapay zekayı bir araya getirdi. Saha bilimcileri, yaklaşık 300 AI yıldız şirketi. Yakın zamanda Leifeng.com zirvenin özünü yayınlayacak ve Leifeng.com'u uzun süredir destekleyen okuyuculara geri verecek!
Bu sefer tanıtılan konuk, Microsoft Asya Araştırma Araştırma Merkezi'nde kıdemli araştırmacı olan Dr. Tao Mei idi. Konu, "Video İçeriğinin Yaşam Döngüsü: Oluşturma, İşleme ve Tüketim".
Dr. Tao Mei , Microsoft Asya Araştırma Enstitüsü'nde kıdemli araştırmacı, Uluslararası Model Tanıma Derneği Üyesi, Amerikan Bilgisayar Derneği Seçkin Bilim İnsanı, Çin Bilim ve Teknoloji Üniversitesi ve Sun Yat-sen Üniversitesi'nde Yardımcı Profesör Doktora Danışmanı Başlıca araştırma alanları multimedya analizi, bilgisayarla görme ve makine öğrenmesidir. 100'den fazla makale yayınlamıştır (h-indeksi 42), 10 kez En İyi Bildiri Ödülü'nü kazanmıştır ve 40'tan fazla ABD ve uluslararası patenti (18 hibe) bulunmaktadır. Sonuçlar, on defadan fazla başarıyla Microsoft ürün ve hizmetlerine dönüştürüldü. Araştırma ekibi şu anda videoların ve görüntülerin derinlemesine anlaşılması, analizi ve uygulanmasına kendini adamıştır. Ayrıca IEEE ve ACM Multimedya İşlemleri (IEEE TMM ve ACM TOMM) ve Örüntü Tanıma (Örüntü Tanıma) ve diğer akademik dergilerde yayın kurulu üyesi olarak hizmet vermektedir ve çeşitli uluslararası multimedya konferanslarının (ACM Multimedia, IEEE ICME, IEEE MMSP vb.) Üyesidir. Genel Kurul Başkanı ve Program Komitesi Başkanı. Lisans ve doktora derecelerini Çin Bilim ve Teknoloji Üniversitesi'nden sırasıyla 2001 ve 2006 yıllarında aldı.
Neden "video içeriği" temasıyla paylaşmak istiyorsunuz?
Dr. Tao Mei "video içeriği" konusunu üç açıdan anlattı. Birincisi, görüntülerle karşılaştırıldığında video daha bilgilendiricidir ve işlenmesi daha zordur; ikincisi, bilgisayarla görme teknolojisi alanında yüz tanıma, insan takibi vb. Gibi daha fazla araştırma vardır ve İnternet video içeriği nispeten daha az araştırılır; Son olarak on yıl önce video araştırması yapmaya başladığını söyledi.Herkes videonun bir sonraki trend olduğunu söyledi, bugün bu ifade de doğru görünüyor.
Geleneksel görsel anlama yönteminde (2012'den önce), temelde görsel problemlere giden üç adım vardır:
İlk olarak, bir tabloyu tanıma gibi bir nesneyi anlamak için, önce bir anahtar noktayı (köşeler, kenarlar, yüzler vb.) Tespit etmelisiniz;
İkinci olarak, bu noktaların görsel özelliklerini açıklamak için bazı özellikleri yapay olarak tasarlayın;
Üçüncüsü, yapay olarak tasarlanmış bu özellikleri girdi olarak sınıflandırmak ve tanımak için bazı sınıflandırıcılar kullanılır.
Ve şimdi derin öğrenme, özellikle 2012'de başladıktan sonra:
"Görüntü anlamanın hata oranı düşmeye devam ediyor ve derin sinir ağı en eski 8 katmandan 20 katmana geçti ve şimdi 152 katmana ulaşabiliyor. Son çalışmamız ayrıca videoyu anlamak için derin sinir ağının 2015'te 3B'den başlayabileceğini gösteriyor. 11 CNN katmanı artık 199 katmandır. "
Dr. Tao Mei, konuşmasında video içeriğinin yaşam döngüsünün kabaca Video oluşturma, işleme ve tüketim olmak üzere üç bölüme ayrılmıştır.
Yaratılış
Bir videonun nasıl oluşturulacağı konusunda Dr. Tao Mei temel bir kavram verdi. "Video, Kırık bir kod olarak kabul edilebilecek olan Video'nun tek tek çekimler halinde kesilmesiyle üretilir ve ardından her çekim bir hikaye veya sahne olarak birleştirilir ve her çekim, her alt çekim olmak üzere alt çekimlere bölünebilir. Bir ana çerçeve ile temsil edilebilir. Bu katmanlı yapı sayesinde, doğrusal olmayan bir video akışı, bölümlere ayrılmış bir makale gibi yapılandırılabilir. Bu yapı, sonraki video işleme ve analizinin temelini oluşturur. Bu yapı sayesinde Videoyu farklı birimlere ayırarak, videonun otomatik bir özetini oluşturabilir, yani uzun bir videoyu otomatik olarak harika bir kısa video olarak düzenleyebilir veya uzun bir videoyu temsil etmek için görsel olarak son derece temsili bazı ana çerçeveler kullanabilirsiniz. Bu özetler, kullanıcıların Uzun videolara doğrusal olmayan hızlı göz atma mümkün hale geliyor. "
Dr. Tao Mei, Microsoft'un Bing'in video aramasında şu anda video özetleme teknolojisini kullandığını söyledi.Şimdi dünya çapında 8 milyon Bing kullanıcısı, her video arama sonucunu hızlı bir şekilde önizleyebilen çoklu başparmak adı verilen bir teknoloji aracılığıyla var.
Kürasyon
Kullanıcı videoyu aldıktan sonra, araştırmacının yapması gereken, video klibi etiketlemektir, böylece sonraki aramalar, etikete göre videonun içeriğini arayabilir. "Son çalışmamız, video içeriğini 1.000'den fazla statik etiket ve 500'den fazla hareket etiketiyle etiketleyebiliyor. Tasarladığımız P3D (sözde 3D yeniden gönderme), video içeriğini anlamak için özel olarak tasarlanmış bir 3D kalıntı ağıdır."
Görüntü analizi için en iyi derin sinir ağı, 2015 yılında Microsoft Research Asia tarafından önerilen 152 katmanlı artık ağdır (ResNet). En derin olanı 1.000 katmana ulaşabilir. Ancak video alanında, video için özel olarak tasarlanmış en etkili 3D CNN şu anda yalnızca 11 katmana sahiptir.
Bu sorunu çözmek için Dr. Tao Mei, ekibin yakın zamanda ResNet fikrini 1993D CNN katmanı elde etme fikrini ödünç aldığını ve tanıma oranının UCF 101 veri setinde önceki 3D CNN'ye kıyasla yüzde 6 ila 7 puan artırılabileceğini söyledi. Videoları otomatik olarak etiketlemeye yönelik bu teknoloji, Microsoft'un Azure bulut hizmetinde kullanılacaktır.
Dr. Tao Mei, otomatik video etiketleme teknolojisinin farkına varmanın yanı sıra, ekibin "ileri" araştırma çalışmasını da detaylandırdı: bir video içeriğini tanımlamak için tek bir etiket yerine tutarlı bir doğal dil kullanma.
Örneğin, bu video göz önüne alındığında, bu Videoyu açıklamak için bir cümle oluşturabilir miyiz? Eskiden bu Videonun bir dans olduğunu söylerdik, ancak şimdi size bunun dans eden bir grup insan olduğunu söyleyebiliriz. Bu tekniğe Video Altyazı Oluşturma denir. Açıklama). Bu teknoloji, videonun başlığının otomatik olarak oluşturulmasını mümkün kılıyor. "
Microsoft Research Asia şu anda bu teknolojiyi, sohbet robotlarının Microsoft Xiaoice gibi otomatik değerlendirme işlevinde kullanmaktadır.Bir kullanıcı Xiaoice'a bir video yüklediğinde, birbirlerini övecektir. Teknolojinin yayına girmesinden bir ay sonra, XiaoIce'in bir video web sitesindeki hayranlarının sayısı% 60 arttı. Tabii ki Xiaobing hala resimlerin içeriğine göre modern şiirler yazabilir.Gelecekte Xiaoice'un videoya dayanarak şiirler yazabileceğini umuyoruz.
"Ayrıca videoyu düzenleyebilir, filtreler ekleyebilir veya doğal Videoyu çok çizgi film yapmak için stil dönüşümleri yapabiliriz. Videodaki karakterler bölümlere ayrılabilir ve başka bir sanal sahneye yerleştirilebilir. Hayal edebilirsiniz. , İki kişi farklı bir yerde flört ederken ona bir oda verebilir, aynı odada, yıldızların altında, sessiz bir gölde küçük bir teknede sohbet etmelerini sağlayabiliriz.Ayrıca hikaye anlatımı da sağlayabiliriz. Hizmet, herhangi bir düzenleme ve işleme gerekmeden orijinal görüntü ve video koleksiyonunu belirli bir tasarım duygusu ve görsel anlamda çok çekici bir hikayeye dönüştürür.Bu video demosu, makine tarafından otomatik olarak oluşturulan efekttir. Artı yapay Video işlendiğinde daha moda hale gelebilir. "
Tüketim
Video tüketimi genellikle reklamcılıkla yakından ilgilidir. Mei Tao, video reklamı yaparken çözülmesi gereken iki sorun olduğunu belirtti: İlk sorun reklamın videoda nereye yerleştirildiği; ikinci sorun ise ne tür bir reklamın seçileceği ve bu reklamın ekleme noktası bilgilerinizle ilgili olup olmadığıdır. Alaka düzeyi, kullanıcının daha iyi kabul etmesini sağlar.
Çözümleri, videoyu ayrıştırmak ve iki ölçütü hesaplamaktır; biri, bir reklam ekleme noktasının hikayesinin sürekli olup olmadığını ölçen süreksizlik (süreksizlik); diğeri, orijinal videoyu ölçen çekiciliktir (çekicilik) İçeriğin harika olup olmadığı. Bu iki metriğin farklı kombinasyonları, reklamverenlerin veya izleyicilerin ihtiyaçlarını karşılayabilir.
Sonunda, Mei Tao, ister yapay zeka ister derin öğrenme olsun, bilimsel araştırma yapan insanların gözünde gidecek uzun bir yol olduğu sonucuna vardı. "Bilgisayar görüşü 50 yıldan fazla bir süredir geliştirilmiş olsa da, AI şu anda çok sıcak olmasına rağmen, ancak bilimsel araştırma ve teknoloji yapmak için yine de her sahneyi ve altında yatan temel sorunları çözmek gerekiyor."
Aşağıdaki, Dr. Mei Tao'nun canlı paylaşım kaydıdır.Leifeng.com, sıralama ve düzenlemeyi değiştirmeden yapmıştır.
Sizinle video içerik alanı hakkında konuşmaktan memnuniyet duyuyorum. Neden video içeriği hakkında konuşalım? Üç neden var: İlk neden, videonun görüntülerden daha derin olmasıdır.Video, bilgi alanında bir şeydir.Videoyu araştırmak çok büyük bir zorluktur. İkincisi, herkesin görüş, insan yüzü ve güvenlik alanında birçok özel oturumda ilerleme kaydetmiş olmasıdır Video alanı herkes için nispeten yenidir. Üçüncüsü, on yıl önce video araştırması yaptım, herkes videonun bir sonraki trend olduğunu söyledi, bu ifade bugün de doğru görünüyor.
Bilgisayarla görü (CV), yapay zekanın bir dalı olarak düşünülebilir. 1960'larda CV'nin kurucularından Marvin Minsky, Bilgisayara bir kamera bağla, bilgisayar kameranın gördüğü dünyayı anlayabilir dedi. Bu bir CV insanı. Bir rüyanın. Son 50 yılda CV alanının geliştirilmesinde birçok başarı elde edildi.Görsel anlayış açısından özetleyecek olursak, görsel problemlere giden temelde üç adım vardır: Birincisi, bir masa belirlemek gibi bir şeyi anlamak için, Bazı çizgileri, bazı köşeleri tespit edin. İkinci olarak, tespit edilen özellikleri açıklamak için bazı özellikleri yapay olarak tasarlayın. Üçüncüsü, bazı sınıflandırıcılar tasarlayın. Bunlar, 2012'den önce CV yapmak için attığımız üç adımdır.
Bu grafikten CV'nin bazı ilerlemelerini görebilirsiniz.Örneğin, bu kağıt SIFT (Ölçekli Değişmez Özellik Dönüşümü) 55.000 kez alıntılanmıştır. Ek olarak, yüz tanıma yaparsanız, yüzün yerini bulmanız gerektiğini bileceksiniz. 2001'deki yöntemlerimizden biri, hızlı yüz konumlandırma yapmak için Boosting + Cascade idi. Bugün itibarıyla yüz konumlandırma için birçok derin öğrenme yöntemi olduğunu herkes bilmesine rağmen, bu yöntem hala gerekli ilk adımlardan biridir. Bu makale şimdiye kadar 30.000 kez alıntılanmıştır ve akademik çevrede 10.000'den fazla alıntı yapılmış bir makalenin olması oldukça dikkat çekicidir. 2012'den sonra neredeyse herkes derin öğrenmeyi kullanıyordu. Hinton öğrencileri, ImageNet'te yaklaşık% 15 hata oranı elde etmek için AlexNet'i kullandılar. O zamandan beri, tüm görsel şeyler CNN kullanıyor. Temsilciler GoogLeNet, AlexNet, vb., Görevlerimiz gittikçe daha da zorlaşacak, örneğin şimdi sadece resimlere veya videolara bazı etiketler yerleştirmek için değil, aynı zamanda bu etiketleri değiştirmek için resimlerden dil oluşturmak için yapıyoruz. Doğal dille anlatılabilecek bir cümle.
Bugün bahsettiğimiz şey video anlayışıdır.Bir pikseli anlarsanız veya bir resim veya videoyu anlarsanız, bu anlayışı birkaç seviyeye ayırabilirsiniz. En zor şey, bir resim veya videoda her pikselin hangi etiketi temsil ettiğini anlamaktır. Dahası, her nesnenin nerede olduğu ve hangi kategoriye ait olduğu ile ilgileniyoruz. Üçüncü kısım, nesnenin nerede olduğunu umursamamanızdır. Bana bir resim veya video verirseniz, resim veya videoda hangi etiketlerin olduğunu bileceğim. Bir adım daha ileri gidin, örneğin, size bir resim verirsem, sadece ayrı bir etiket oluşturmakla kalmaz, aynı zamanda resmi açıklamak için çok doğal bir dil üretip üretemeyeceğinizi de görmek gerekir. Yukarı çıkıyorum, size bir resim vereyim, bana bir hikaye anlatır mısınız mesela, makine şimdi böyle bir hikaye üretebilir mi?
Bu resme bir göz atın (bkz. PPT), Görüntü Sınıflandırması (görüntü sınıflandırması) en eski 8 katmandan 20 katmana, şimdi 152 katmanımıza. Microsoft'ta pek çok iş yaptık ve görüntüde çok sayıda görüntü tanıma hesaplama stili aktarımı, vb. Var. Microsoft'un birçok ilgili ürünü vardır: Örneğin, Xiaobing sizinle sadece metin olarak sohbet etmekle kalmaz, aynı zamanda resimler ve videolar aracılığıyla sizinle iletişim kurabilir.
Görüntüden videoya, bir videoyu anlamak için her karedeki hareketi anlamanız gerekir. Bugün neden videodan bahsediyorsun?
Dünyadaki insanların% 50'sinden fazlası artık her gün çevrimiçi video izliyor, Facebook'ta her gün 3,7 milyar video izleniyor ve YouTube'da her gün 500 milyon saat video izleniyor. Video çekerken herkesin aklına gelen ilk şey reklam ... Her yıl videolardaki reklamlar% 30 artarken, YouTube'daki büyüme oranı da her yıl% 30. İnsanlar videolara resimlere göre 2,6 kat daha fazla zaman harcıyor. Video üretimi, metin ve resimlerden% 1200 daha fazladır. 2016'da Çin'in video kullanıcıları 700 milyonu aştı.
Bugün, başka bir perspektiften, video içeriğinin üretim, düzenleme ve yönetiminin hangi süreçlerden geçeceğine ve bunu desteklemek için hangi teknolojilerin mevcut olduğuna bakın .. Yaratılıştan İyileştirmeye ve Tüketim'e kadar olan sıralama hakkında konuşalım.
Nasıl video oluşturulur? Bunda temel bir kavram var. Bir videonun prodüksiyonu önce videoyu çekimler halinde kesmektir.Bunları bozuk kodlar olarak düşünebilirsiniz.Sonra her çekim bir hikaye olarak derlenir ve her birkaç dil bir hikayeye yerleştirilebilir. . Her çekim alt çekimlere bölünebilir ve ardından videomuzun temelini oluşturan bir veri vardır.
Bugünkü bir video 15 dakika veya 1 saat olabilir. Size 5 anahtar kare verebilirseniz, bu çekimi bilirsiniz. 8 dakikalık bir video, spor videosunun hangi bölümünün izlenmesi gerektiğini bilmek için akıllı analiz yoluyla 30 saniyelik bir içerik, örneğin bir spor videosu oluşturabilirse, odak noktası budur.
Başka bir konu da video üretimi. Bugün size bir metin parçası vereceğim ve benim için yeni bir video oluşturacaksınız. Bu şey bir fantezi gibi geliyor, ama buna değer. Size bir video oluşturmanızı söylüyorum, yani 8 rakamı sürekli üzerinde yüzüyor. Ayrıca 6 ve 0 sayıları göz önüne alındığında, 6 ve 0 sayılarının içinde yüzmesine izin verebilir misiniz? Bu çok zor. Son zamanlarda araştırma yaptık ve tek başına sığır eti kavurmak gibi bazı basit şeyler yapabileceğimizi gördük. Aslında bu hala çok zor çünkü ürettiğimiz videonun doğruluğu çok düşük, bu yüzden çok zor.
Bir videonuz olduğunda yapmanız gereken şey videoyu etiketlemektir. Şimdiye kadar 1000 statik etiket ekleyebilirsiniz. Bu statik etiketlere sahip olduğunuzda, bunları içeriğe yerleştirebilirsiniz. Örneğin, videoda bir köprü görünüyorsa, köprü nerede? Örneğin bazı sporlar, tanıdığımız hareket bu, sol hareketin videosu, sağ ise günlük hayatımızdaki bazı davranışlardır. Tanınması en zor olan iki hareket var, biri atlama, diğeri üçlü atlama, ancak şimdi bu çok ince farklılıkları ayırt edebiliriz.
Bugün bahsettiğimiz tek teknik kısım budur. Son zamanlarda yaptığımız çok iyi bir iş, derin seviyeli ağlar yapmaktır ve bazı şekillerde derin seviyeli ağları uygulanabilir hale getirebiliriz. Örneğin, bu şimdiye kadar 152 katmana veya 1001 katmana ulaşabilir ve performans herhangi bir ağı aşar. Bu web sitesindeki resimlerden videolara kadar genişleyebilir miyiz? İki boyutlu evrişim kutusunu üç boyutluya çevirdim, sarıldığında X, Y ve T yönlerinde kıvrılıyor. C3D modeli 13 katman yapabilir, çok karmaşıktır. Onu ayrıştırmak için bir fikrimiz var: Birincisi, bu süreci mümkün kılmak için bu nesnenin numarasını bulmak ve onu görüntü üzerinde işlemek. Çok iş yaptık mesela bu video bir Tai Chi eylemi. P3D ile 4 nokta bulabiliriz. Bu zaten çok dikkat çekici.
Bu videodaki her eklemin tam olarak nasıl hareket ettiğini size söyleyebiliriz (bkz. PPT) Örneğin, bugün hareketlerinizi bozabilen ve size hangi hareketlerin yanlış olduğunu söyleyebilen akıllı bir fitness eğitmeniyim.
Diğeri ise Video altyazı (video açıklaması), size bir video verir, videoyu açıklamak için bir cümle oluşturabilir misiniz? Bu videonun bir dans olduğunu söylerdik ama şimdi size dansın ne olduğunu söyleyebiliriz.
Bu, oluşturduğumuz bir videodur (bkz. PPT). XiaoIce, size sadece güzel olduğunu söylemekle kalmaz, aynı zamanda nerede olduğunu da söyleyen otomatik yorum yapabilir. Arkasında bir çocuk var, kızınızın çok güzel ve şık olduğunu söylüyor. Temel olarak, selfie videoları hakkında yorum yapabilir, çocukların videoları hakkında yorum yapabilir ve evcil hayvanların videoları hakkında yorum yapabilir.
Xiaobing aynı zamanda şiir de yazabilir Yakın zamanda Xiaobing şiirlerinden oluşan bir koleksiyon yayınladık. Xiaobing şöyle dedi: "Yıldızlara, parıldayan yıldızlara, batı dağındaki güneşe bakın ve kurbağa çok uzaktaki sığ suda. Dünyadaki birçok renkle evli."
Ayrıca stil transferi (stil transferi) yapıyoruz, size bir yağlı boya veya karikatür vermek için bu stili videoya aktarabilir misiniz, suyun dalgalarını ifade edebilirsiniz.
Aşağıdaki resim bir eğlence programıdır, bu karakteri bölümlere ayırıp başka bir sanal sahneye koyabiliriz. Tahmin edebileceğiniz gibi, iki kişi farklı bir yerde çıkarken, ona bir oda verip, odada sohbet etmelerine izin verebiliriz.
Bir de Hikaye Anlatımı var Resim ve videolarınızı daha iyi hale getirmek için size hizmetler sunabilir miyim? Bunların hepsi makineler tarafından üretilen efektlerdir (bkz. PPT). Bu stile Moda denir. Manuel işleme eklediğimiz sürece video, resimlerinizi daha şık hale getirebilir. Bu, bazı C (tüketiciler için pazar) senaryolarında kullanımı kolaydır.
Son konu hakkında konuşmama izin verin Bu reklam, Microsoft'a on yıldan daha önce katıldığım bir proje. O zaman, yaptığımız video reklamlarda çözülmesi gereken iki sorun vardı: İlk sorun, reklamların videonun neresine yerleştirildiğiydi; ikinci sorun, ne tür reklamların seçileceğiydi ve reklamların ekleme noktanızdaki bilgilerle alakalı olup olmadığıydı. , Kullanıcı kabulünü daha iyi hale getirir. Bu iki problem nasıl çözülür? O zaman bir plan önerdik. Bir videoya geldim ve videoyu ayrıştırdım. Birkaç değerimiz var. Birincisi, her bir segmentin reklamının yapılıp yapılamayacağını görmek için süreksizliktir (süreksizlik). Süreksizlik noktaları, kullanıcıların kabul etmesini sağlar Derece daha iyidir. Heyecan verici bir aşamada reklam da var. Diğeri ise onu hesaplanabilir hale getiren Çekicilik. O zamanlar iki eğrimiz vardı. İki eğrinin farklı yolları var. İlk yol reklamcıların ihtiyaçlarını karşılamak.
Bu videoda, patlayan bir araba görüntüsü olduğunda, içeriği tanıyabilir ve buraya bir reklam yerleştirebiliriz, böylece reklam ve içerik sorunsuz bir şekilde bağlanır. Hikayenin ihtiyaç duyduğu yerlere de reklam yerleştirebiliriz.
Az önce pek çok senaryo ve teknolojiden bahsettim, ama ister yapay zeka ister derin öğrenme olsun, bilimsel araştırma yapan insanların gözünde önümüzde uzun bir yol var ve bunları tek tek uygulamalıyız.
Bugünkü konuşmam bu, hepinize teşekkür ederim!
Lei Feng net düzenleme
