Google efsanesi Jeff Dean'in son konuşması: Geleceğin makine öğrenimi çipi nasıl oluşturulur?
Yunzhong Derleme ve düzenleme
Qubit Üretildi | Genel Hesap QbitAI
Gelecekteki makine öğrenimi hızlandırma çipleri nasıl oluşturulur?
Google Brain'in başkanı Jeff Dean, bu soruyu yanıtlamak için en nitelikli kişilerden biridir. Dün, NIPS konferansı sırasında Jeff Dean, Google'ın AI çipleri hakkındaki son araştırmasını ayrıntılı olarak tanıttı.
Aşağıda Jeff Dean'in son konuşmasının ana içeriği yer almaktadır.
Hepimizin bildiği gibi, derin öğrenme, desteklemek için çok sayıda bilgi işlem kaynağı gerektirir, Derin öğrenme, bilgisayarları tasarlama şeklimizi değiştiriyor . Örneğin, hesaplama doğruluğunu azaltmak sorun değil.
Google'ın yeni makine öğrenimindeki başarılarından biri TPU'dur. Bu özel AI hızlandırma çipi, esas olarak sinir ağlarını yürütmek için kullanılır muhakeme Hesaplama. Google'ın arama, nöral makine çevirisi, konuşma ve görüntü tanıma ve ünlü AlphaGo'nun arkasında TPU, bilgi işlem desteği sağlar.
Birinci nesil TPU, muhakeme konusunda büyük ilerleme kaydetti, ancak Eğitim Nasıl yapılır?
Google, ikinci nesil TPU'yu geliştirdi. İkinci nesil TPU, aynı anda eğitim ve çıkarım hesaplamaları gerçekleştirmek için tasarlanmıştır. İkinci nesil TPU'nun mimarisi aşağıdaki şekilde gösterilmektedir:
Google ayrıca, hesaplama verimliliğini daha da artıran bir dizi (TPU Kapsülü) oluşturmak için 64 TPU kullanır. Ne kadar güçlü? Örneğin, Resnet-50'yi% 75'in üzerinde bir doğruluk elde etmek için eğitmek, tek bir ikinci nesil TPU tüm gün sürerken, dizi yalnızca 22 dakika sürer, hız herhangi bir ek kod optimizasyonu olmaksızın 31 kat artar.
Başarılar geçmişe aittir ve gelecekteki zorluklar ciddidir. 2009'dan bu yana, arXiv'deki makine öğrenimi makalelerinin büyüme oranı Moore Yasasını aştı.
Yani, düşünülmesi gereken bir sonraki soru şudur: Gelecekteki makine öğrenimi hızlandırıcısı nasıl inşa edilmeli? Şimdi başlarsanız, iki yıl içinde kullanıma sokulabilecek ve beş yıl içinde modası geçmeyecek bir yapay zeka çipi nasıl tasarlanır?
Dikkate alınması gereken konular arasında doğruluk, seyreklik ve katıştırma, parti boyutu, eğitim algoritması vb. Yer alır. Ama önce Tüm sistem değiştirilmeli . Geleneksel düşük seviyeli sistem kodu (işletim sistemi, derleyici, depolama sistemi), günümüzün makine öğrenimini henüz yaygın olarak kullanmamıştır.
Daha yüksek performanslı makine öğrenimi modelleri için paralellik çok önemlidir. Ancak birden fazla bilgi işlem cihazında iyi performans elde etmek kolay değildir.
Neden böyle?
Çünkü Öğrenilmiş Dizin yapısı, geleneksel bir dizin yapısı değil . Bu kısım aslında Google güncel Araştırma sonuçları.
Bu araştırmada Google, tüm mevcut dizin yapılarının, Öğrenilen Dizinler adı verilen derin öğrenme modelleri de dahil olmak üzere diğer model türleriyle değiştirilebileceğini varsaymıştır. Temel fikir, bir modelin sorgunun sıralama düzenini veya yapısını öğrenmesi ve bu sinyali kaydın konumunu etkili bir şekilde tahmin etmek için kullanabilmesidir.
Google ayrıca Öğrenilen Dizinin geleneksel dizin yapısından daha iyi performans gösterdiği koşulları teorik olarak analiz etti ve Öğrenilen Dizinin yapı tasarımındaki ana zorlukları açıkladı.
İlk sonuçlar, bir sinir ağı ortamında, bunun önbellek için optimize edilmiş B-Ağacı'nı% 70 oranında hızlandırırken, bellek kullanımının büyüklüğünden tasarruf sağladığını gösteriyor.
Ayrıca GPU / TPU, Öğrenilmiş Dizini daha uygulanabilir hale getirir. Tabii ki, GPU / TPU da yüksek arama gecikmesi gibi zorluklarla karşı karşıya, ancak toplu talepler gibi teknikler kullanılarak arama maliyetleri paylaşılabilir.
Google, veri yönetim sisteminin temel bileşenlerini bir öğrenme modeliyle değiştirme fikrinin gelecekteki sistem tasarımı üzerinde derin bir etkiye sahip olacağına inanmaktadır.
Çalışmanın bu bölümünün ayrıntılarıyla ilgileniyorsanız, Google'ın gazetesine bakabilirsiniz. Öğrenilen Dizin Yapıları Örneği Adres burada: https://arxiv.org/abs/1712.01208.
QbitAI WeChat genel hesap (QbitAI) diyalog arayüzünde, "anahtar kelimeyi yanıtlayın" Jeff ", Jeff Dean'in konuşmasının PPT'sinin tam metnini indirebilirsiniz.
Bir şey daha...
Jeff Dean sonunda Twitter'da bir hesap açtı ~
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! Ayrıntılar için, lütfen QbitAI diyalog arayüzünde "işe alım" kelimesiyle yanıt verin.
Qubit QbitAI · Toutiao İmzalama Yazarı
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
