Google beyin mühendisi açıkladı: Derin öğrenme teknolojisi hangi yeni ürünleri getirebilir?
Qubit | Li Lin derlemeyi bitiriyor
Derin öğrenme söz konusu olduğunda, kedileri tanımayı, yüzleri tanımayı veya Go oynamayı, tercüme etmeyi düşünebilirsiniz ... Aslında, bu teknoloji pek çok beklenmedik yerde kullanılabilir.
Öyleyse, "Derin öğrenmedeki en son gelişmeler hangi ürün atılımlarını sağlayabilir?"
Quora hakkında böyle bir soru var ve Google Brain'de araştırma mühendisi olan Eric Jiang da en yüksek övgü cevabını verdi. İşte Jiangın cevabı, büyük hafta sonu için, birlikte yukarı çıkalım:
Derin Öğrenme, aşağıdaki özellikleri içeren bir tür makine öğrenimi teknolojisi anlamına gelir:
-
Büyük ölçekli sinir ağı (milyonlarca serbest değişken dahil);
-
Yüksek performanslı bilgi işlem (binlerce paralel işlemci);
-
Büyük veri (milyonlarca renkli görsel, satranç kaydı vb.)
Şu anda derin öğrenme teknolojisi, görme, ses, robotik ve doğal dil işleme gibi birçok alanda ileri seviyelere ulaştı. Derin öğrenmedeki son gelişmeler, istatistiksel öğrenme, pekiştirmeli öğrenme ve sayısal optimizasyon fikirlerini özümsedi. Bu alana genel bir bakış için bkz. Referanslar.
Aşağıda, mevcut derin öğrenme teknolojisi ile elde edilebilecek bazı ürün kategorilerini belirli bir sıra olmadan listeliyorum:
Özelleştirilmiş veri sıkıştırma, sıkıştırılmış algılama, veriye dayalı sensör kalibrasyonu, çevrimdışı AI, insan-bilgisayar etkileşimi, oyunlar, sanatsal asistanlar, yapılandırılmamış veri madenciliği ve konuşma sentezi.
Özelleştirilmiş veri sıkıştırma
Bir tasarım yaptığınızı varsayalım Canlı video uygulaması , İnternet'e paket yükleme ihtiyacını azaltmak için kayıplı bir kodlama şeması kullanmayı umuyorum.
H.264 gibi hazır bir codec kullanabilirsiniz, ancak H.264 en ideal çözüm değildir çünkü genel video için kalibre edilmiştir, yani kedi videolarından uzun metrajlı filmlere kadar kullanılabilir. FaceTime video için kalibre edilmiş bir codec'e geçmek daha iyi olabilir çünkü ekranın ortasında her zaman bir yüz olduğu gerçeğinden yararlandığımızda daha fazla trafik tasarrufu sağlayabiliriz.
Ancak böyle bir kodlama şeması tasarlamak zordur. Yüzün nerede olduğunu, video nesnesinin kaç kaşı olduğunu, gözün rengini, çenenin şeklini vb. Nasıl açıklayacağız? Ya saçım kaşlarımı kapatırsa? Resimde hiç yüz yoksa veya birden fazla yüz varsa ne yapmalıyım?
Şu anda, derin öğrenme işe yarıyor. Otomatik kodlayıcı Bu bir sinir ağıdır, ancak çıktısı giriş verileriyle aynıdır. Bu "kimlik eşlemesini" öğrenmek önemlidir çünkü bu otomatik kodlayıcının gizli katman sinir ağı giriş katmanından daha küçüktür. Bu "bilgi darboğazı", otomatik kodlayıcıyı gizli katmandaki verilerin sıkıştırılmış bir temsilini öğrenmeye zorlar, bu da sinir ağının diğer katmanları tarafından orijinal biçimine geri döndürülür.
Uçtan uca eğitim yoluyla, otomatik kodlayıcılar gibi derin öğrenme teknikleri verilerinizin nüanslarına uyum sağlayabilir. Temel bileşen analizinden (PCA) farklı olarak, kodlama ve kod çözme adımları (doğrusal) afin dönüşüm ile sınırlandırılmaz. PCA bir tür "kodlama doğrusal dönüşümü" öğrenir ve otomatik kodlayıcı "kodlama programını" öğrenir.
Bu, sinir ağını daha güçlü kılar ve Facebook'ta çok sayıda özçekim depolamaktan YouTube videolarını daha hızlı yüklemeye, bilimsel verileri sıkıştırarak kişisel iTunes kitaplığınızın kapladığı alanı azaltmaya kadar daha karmaşık ve alana özgü sıkıştırma için kullanılabilir. , Bu teknolojiyi kullanabilir. Düşünün, iTunes arşiviniz müziğiniz için biraz yer kaplarsa, özellikle bir "ülke şarkı kodlayıcısı" öğrenebilir!
Sıkıştırılmış algılama
Sıkıştırılmış algılama, kayıplı sıkıştırmanın kod çözme yönleriyle yakından ilgilidir. Pek çok ilginç sinyalin belirli bir yapısı vardır, yani sinyallerin dağılımı tamamen keyfi değildir. Bu, aslında, kod çözme algoritmamız yapısını doğru bir şekilde bulabildiği sürece, sinyalin mükemmel bir şekilde yeniden yapılandırılmasını elde etmek için Nyquist sınırında örneklememize gerek olmadığını gösterir.
Derin öğrenme bu görev için uygundur, çünkü özellikleri manuel olarak etiketlemeden seyrek yapıları öğrenmek için sinir ağlarını kullanabiliriz. Aşağıdakiler bazı ürün uygulamalarıdır:
-
Süper çözünürlük algoritması (waifu2X), Amerikan TV dizisi CSI Miami'deki "geliştir" düğmesinin gerçek versiyonudur;
-
Duvarın diğer tarafındaki insanları görmek için WiFi radyo dalgası paraziti kullanın (MIT Wi-Vi);
-
Eksik gözlemlere dayalı olarak 3B yapıları yorumlayın (2B görüntüler, kısmen kapatılmış görüntüler gibi);
-
Sonar ve lidar bilgilerinin daha doğru şekilde çoğaltılması.
Veriye dayalı sensör kalibrasyonu
İyi sensörler ve ölçüm cihazları genellikle pahalı, karmaşık bileşenlere dayanır.
Örnek olarak bir dijital kamerayı ele alalım. Dijital kameralar, mercek içindeki cam merceğin kesin bir geometrik yapı izlediğini varsayar.Bir resim çekerken, mercekten geçen ışık denklemini kullanarak son görüntünün hesaplanmasından yerleşik işlemci sorumludur.
Lens çizilir, bükülür veya deforme olursa, kameranın orijinal varsayımları bozulur ve görüntü kalitesi iyi olmaz.
Başka bir örnek ver. Hesaplamaları kolaylaştırmak için, MRI ve EKG'de kullanılan mevcut kod çözme modellerimiz kafatasının pozitif bir küre olduğunu varsaymaktadır. Bu bir dereceye kadar uygulanabilir, ancak bazen tespit edilen tümör pozisyonunda birkaç milimetre hata vardır.
Daha hassas fotoğrafçılık ve MRI görüntüleme teknolojisi Olası hata kaynaklarından veya üretim hatalarından gelsinler, geometrik hatalar için tazminat yapılmalıdır.
Neyse ki, derin öğrenme bize verdi Kod çözme algoritmasını kalibre etmek için verileri kullanın Kabiliyet.
"Tek boyutlu" kod çözme modelinden (Kalman filtresi gibi) farklı olarak, daha karmaşık sapmaları ifade etmek için her reseptör veya ölçüm cihazı için ayarlama yapabiliriz. Kamera merceği çizilirse, kod çözme yazılımını değiştirilen geometriyi telafi edecek şekilde eğitebiliriz. Başka bir deyişle, artık çok yüksek hassasiyette sensör üretmemize ve düzenlememize gerek kalmadı, bu da çok fazla para tasarrufu sağlıyor.
Bazı durumlarda, algoritmanın donanım olmadan telafi etmesine izin verebiliriz. Columbia Üniversitesi'ndeki Hesaplamalı Fotoğrafçılık Laboratuvarı, yazılım tanımlı görüntüleme olan lenssiz bir kamera geliştirdi.
Çevrimdışı AI
İnternet olmadan AI algoritmalarını çalıştırabilmek, düşük gecikme gerektiren (robotlar, kendi kendine giden arabalar gibi) veya kararlı bir ağ bağlantısına sahip olmayan (seyahat gibi) uygulamalar için çok önemlidir.
Derin öğrenme bu açıdan özellikle uygundur. Eğitim aşaması bittikten sonra, sinir ağının ileri besleme bağlantısı çok hızlı çalışır.Ayrıca, büyük ölçekli sinir ağını akıllı telefonda çalışana kadar küçültmek kolaydır, ancak doğruluk kaybolur.
Google'ın Google Çeviri'deki uygulaması Çevrimdışı fotoğraf çevirisi İşlevsel olarak bunu zaten yaptı.
Bu teknik aynı zamanda başka olasılıkları da beraberinde getirir:
-
Belirli işlevlerin çevrimdışı olarak kullanılabilmesini sağlayan sanal asistanlar;
-
Bitkilerin, mantarların vb. Zehirli olup olmadığını ve yenemeyeceğini size söyleyen Wilderness survival uygulaması;
-
Basit engellerden kaçınma ve navigasyon işlevlerini gerçekleştirebilen kendi TPU (Google'ın Tensor İşleme Birimi) çipine sahip küçük bir drone.
İnsan bilgisayar etkileşimi
Derin sinir ağı, dünyamızı gerçekten görebilen ve duyabilen ilk modeldir ve insan-bilgisayar etkileşimi için birçok olasılık açan kabul edilebilir bir sağlamlık düzeyine sahiptir.
Artık işaret dilini tanımak ve insanlara kitap okumak için kameraları kullanabiliriz. Aslında, derin sinir ağları gördüklerini tanımlamak için zaten tam cümleler kullanabilir. Baidu Kör Yardımcısı Xiao Ming (DuLight) projesi, görüntüleri sese dönüştürebilen bir kulaklıktır.
İnsan-bilgisayar etkileşimimiz görme ile ilgili alanlarla sınırlı değildir.Derin öğrenme, belden aşağısı felçli kişilerin bilgisayarlarla daha hızlı iletişim kurmasına izin vererek EEG arayüzlerini kalibre etmek için de kullanılabilir ve ayrıca hareket tanıma aracı Soli'ye benzer projeler için daha fazla bilgi sağlayabilir. Doğru kod çözme teknolojisi.
oyun
Hesaplama açısından oyun çok zordur çünkü gerçek zamanlı olarak fizik simülasyonu, AI mantığı, oluşturma ve çok oyunculu etkileşimi çalıştırır. Bu bileşenlerin çoğunun karmaşıklığı en azından O (N ^ 2) 'ye ulaştı Bu nedenle, mevcut algoritmalarımız Moore Yasasının tavanına çoktan dokundu.
Derin öğrenme, oyun yeteneklerinin sınırlarını birkaç farklı şekilde zorlar.
Açıkçası, Bir yönü oyun yapay zekasıdır . Mevcut video oyunlarında, yapay zeka tarafından oyuncu olmayan karakterler (NPC) için tasarlanan mantık, akıllı davranışı taklit etmek için birbirine bükülmüş bir dizi "eğer-öyleyse-öteki" ifadelerinden başka bir şey değildir. Gelişmiş oyuncular için, bu tür bir yapay zeka yeterince akıllı değildir, bu da tek oyunculu modda karakter etkileşimi ile sonuçlanır ve bu da zor değildir.Çok oyunculu oyunlarda bile, en akıllı oyuncular genellikle insan oyunculardır.
Derin öğrenme bu durumu değiştirecek. Google'ın DeepMind's AlphaGo'su bize derin sinir ağları ve gradyan strateji öğreniminin kombinasyonunun, Go gibi karmaşık bir oyunda en güçlü insan oyuncuları yenecek kadar güçlü olabileceğini gösteriyor. AlphaGo tarafından kullanılan derin öğrenme teknolojisi, daha çekici bir oyun deneyimi sağlamak için oyuncuların zayıflıklarından yararlanarak yakında oyunun NPC'sinde kullanılabilir ve diğer oyuncuların oyun verileri AI öğrenme için buluta gönderilebilir.
Oyunlarda derin öğrenmenin bir başka uygulaması da fiziksel dünyanın simülasyonudur. . Doğrusal olmayan dinamik problemi akışkanları ve parçacıkları temel prensiplerden simüle etmek yerine bir regresyon problemine dönüştürebiliriz. Örneğin, akışkanlar dinamiğini yöneten temel yasaları öğrenmek için bir sinir ağını eğitirsek, N-S denklemlerinin (Navier-Stokes denklemleri) büyük ölçekli gerçek zamanlı çözümlerine gerek kalmadan oyunda hızla değerlendirilebilir.
Aslında, Ladicky ve Jeong 2015 bunu çoktan yaptı.
Saniyede 90 kareden daha düşük olamayan VR uygulamaları için bu, mevcut donanım sınırlamaları altında tek uygulanabilir çözüm olabilir.
Üçüncüsü, derin üretken modeller sonsuz zenginlikte prosedür içeriği oluşturmak için kullanılabilir Hayvan grupları, karakter diyalogları, animasyon, müzik ve belki de oyunun hikayesi gibi. Oyunlar bu alanı keşfetmeye yeni başladı. Örneğin, No Mans Sky sınırsız içeriğe sahip bir oyun olma potansiyeline sahip.
Son olarak, pastanın üzerinde kiraz benzeri bir süsleme olarak, derin sinir ağları paralel küçük toplu değerlendirme için çok uygundur; bu, bir GPU üzerinde çalışan AI mantığının aynı anda 128 NPC ve 32 su akışını simüle edebileceği anlamına gelir.
Sanat asistanı
Sinir ağları iyi görüntü, ses ve metin algısına sahip olduğundan, boyama , Beste yapmak , bir roman yazmak Şaşırtıcı değil.
Uzun yıllardır insanlar bilgisayarları beste yapmak ve boyamak için kullanmaya çalışıyordu, ancak derin öğrenmenin ortaya çıkmasına kadar gerçekten "iyi sonuçlar" üretmeye başladık. Artık Apple'ın App Store'da bu tür algoritmaları eğlence için kullanan birkaç uygulama var, ancak Yakında bu tür algoritmaların profesyonel içerik oluşturma yazılımında yardımcı üretim yöntemleri veya filtreler olarak kullanıldığını görebiliriz.
Yapılandırılmamış veri madenciliği
Web'den bilgi edinme açısından derin öğrenme henüz insan seviyesine ulaşmadı Ancak derin sinir ağları, makinelere, onları hiper metnin ötesinde içeriği anlamaya yeterli hale getiren görsel yetenekler kazandırır.
Örneğin:
-
Taranmış broşürlerden olayları analiz edin;
-
EBay'deki hangi öğelerin aynı olduğunu belirleyin;
-
Kamera aracılığıyla müşteri duygularını tanımlayın;
-
RSS kullanmadan web sayfalarından blog içeriğini çıkarın;
-
Fotoğraf bilgilerini finansal değerleme araçlarına, sigorta poliçelerine ve kredi puanlarına entegre edin.
Konuşma sentezi
Üretken modellerin gelişim düzeyi ve verilerin zenginliği açısından, Morgan Freeman veya Scarlett Johansson'un sesiyle size makaleler okuyan uygulamalar er ya da geç ortaya çıkacaktır. Vanguard oyunundaki şifrem benim sesimdir.
diğer
· Uyarlanabilir işletim sistemi / ağ yığını zamanlaması : İşletim sisteminde iş parçacığı ve süreçleri düzenlemek çok zor bir problem.Şu anda çok tatmin edici bir çözümümüz yok.Modern işletim sistemlerinin, dosya sistemlerinin ve ağ iletim protokollerinin zamanlama algoritmaları TCP / IP hala oldukça basit. Kullanıcıya özel programlama modellerine uyum sağlamak için küçük sinir ağları kullanabiliriz.
-
Mikroskop yazılımının koloni sayımı ve hücre takibi (Biyolojik deney araştırması için)
-
" Simülasyonu makine öğrenimi ile değiştirin "Strateji, ilaç tasarımı alanında zaten bir rol oynadı ve hangi bileşiklerin yararlı ve hangilerinin toksik olduğunu bulma verimliliğini büyük ölçüde artırdı.
Referanslar
-
Otomatik kodlama varyasyonu tüm bölmeler Otomatik Kodlama Varyasyon Bayes, https://arxiv.org/abs/1312.6114
-
Tek çekim derin üretken modeller, https: //arxiv.org/pdf/1603.05106v2.pdf
-
Derin Takviyeli Öğrenme: Piksellerden Pong,
-
-
-
Google Çeviri, derin öğrenmeyi telefona nasıl sıkıştırıyor, https://research.googleblog.com/2015/07/how-google-translate-squeezes-deep.html
-
Soli Projesi, https://atap.google.com/soli/
-
Regresyon Ormanlarını kullanan veriye dayalı Akışkan Simülasyonları, https://graphics.ethz.ch/publications/papers/paperJeo15a.php
-
-
Sinir Ağlarında Derin Öğrenme: Genel Bakış,
-
Google, makine öğrenimi görevlerini TPU özel yongasıyla güçlendirir, https://cloudplatform.googleblog.com/2016/05/Google-supercharges-machine-learning-tasks-with-custom-chip.html
-
-
Sanatsal Tarzın Nöral Algoritması,
-
Tekrarlayan Sinir Ağları ile Müzik Oluşturma,
-
Makine ile yazma, https://www.robinsloan.com/notes/writing-with-the-machine/
