25 video tanrılarla senkronize edilir, ayrıca video sesini değiştirebilir, Google açık kaynak en son algoritması
İçbükey tapınaktan Xiaocha
Qubit Üretildi | Genel Hesap QbitAI
Yapay zeka için videoda neler olduğunu anlamak zor değil. Onu eğitmenin yolu, denetimli öğrenme için etiketli video veri setlerini kullanmaktır.
Örneğin, AI'ya "beyzbol" etiketli bir video gösterirsek, o zaman bunun hangi spor olduğunu bilebilir. Ama bu yeterli olmaktan uzak, umarız sadece hangi spor olduğunu bilmekle kalmaz, aynı zamanda topun ne zaman fırlatılacağını da tahmin etmesini umarız.
Ancak yapay zekanın videoyu anlamasına izin verin Her kare Videoyu kare kare işaretleyemediğiniz için içerik çok zordur ve denetimli öğrenme yöntemlerini kullanmak pratik değildir.
Bu nedenle, Google araştırmacıları bir Zaman döngüsü tutarlı öğrenme (TCC) kendi kendini denetleyen öğrenme algoritması, sürekli bir süreçte her çerçeve ile belirli bir eylem arasındaki uygunluğu bulabilir.
Şu anda Google, Açık kaynak TCC kodu ile kullanıcıların bu son algoritmayı kendi programlarında kullanabileceklerini umuyoruz.
TCC ilkesi
Bir kişi bir içki dökmek istediğinde, bir çaydanlık, şarap şişesi veya su bardağı için uzanacaktır. Bu, belirli bir sırada meydana gelen bir olaydır. Aynı türdeki videolar benzer zaman sekansına sahip olacaktır.
Ana çerçeve tüm döküm videolarına benzer ve bakış açısı, nesne boyutu, kap şekli veya dökme hızı gibi birçok değişken faktör vardır.
TCC, bu yazışmayı aynı eylem videolarında bulmak için döngü tutarlılığı ilkesini kullanır ve videoları hizalayarak faydalı görsel sunumları öğrenir.
İlk olarak, eğitim algoritması her bir kareyi ayrı ayrı çıkararak video karesinin gömülmesini oluşturur. Ardından, TCC öğrenimi için iki video seçin, bunlardan birini referans video olarak kullanın ve ikinci videodan aynı eylemin en son karesini belirlemek için çerçeve yerleştirmeyi kullanın.
Eğitim süreci ilerledikçe, katıştırıcı eylem bağlamında her bir video karesinin anlamsal bir anlayışını oluşturur, bu da döngü tutarlılık kaybını iyileştirir ve azaltır.
Aşağıdaki resimde Google, Pennsylvania eylem veri kümesinde çömelme egzersizleri yapan bir kişinin videosundan TCC kullanılarak eğitilmiş bir modeli göstermektedir.
Şeklin sol tarafındaki her nokta, çerçeve yerleştirmeye karşılık gelir ve noktanın konumu, geçerli video çerçevesi eylemiyle değişir. Duruşta, ışıklandırmada, vücutta vb. Pek çok farklılık olmasına rağmen, TCC yine de ek açıklamalar sağlamadan iki videoyu senkronize edebilir.
Google ayrıca TCC'yi diğer denetimli öğrenme algoritmalarıyla karşılaştırır. Golf vuruşu ve tenis servisinin iki eylemini tanıdığında, denetimli öğrenme, TCC ile aynı doğruluğu elde etmek için 50 etiketli örnek gerektirir ve TCC yalnızca bir etiketli örnekle yüksek doğruluğa sahiptir. .
Pratik uygulama
TCC, yalnızca bir işaretli video olduğunda diğer benzer videoların işlem aşamalarını sınıflandırabilir ve "Tanrı Senkronizasyonu" na ulaşmak için birden fazla klip videosunu aynı anda hizalamak için referans videoları kullanabilir.
Aşağıda, 25 beyzbol atıcısı videosunun eylemlerini tamamen senkronize eden bir TCC örneği verilmiştir:
Ayrıca TCC, bir videodaki herhangi bir kareyle ilişkili meta verileri başka bir videoya da aktarabilir. Örneğin, bir dökme videodan gelen ses başka bir videoya iletilir, böylece ses ve resim senkronize olur ve hiçbir çelişki yoktur.
Video adresi: Google, video sound_Tencent Video geçişini gerçekleştirmek için TCC algoritmasını kullanır
Blog Adresi:
https://ai.googleblog.com/2019/08/video-understanding-using-temporal.html
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! Ayrıntılar için, lütfen QbitAI diyalog arayüzündeki "işe alma" kelimesini yanıtlayın.
Qubit QbitAI · Toutiao İmzalama Yazarı
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri izleme
