Intel AI Ürünleri Bölümü CTO'su ile röportaj: Google TPU, saf GPU'nun en iyi mimari olmadığını gösteriyor
1 Xinzhiyuan Orijinal
Ağustos 2016'da Intel, bir derin öğrenme çip şirketi olan Nervana Systems'ı 400 milyon ABD Doları karşılığında satın aldığını duyurdu ve bu, Intel'in derin öğrenmeyi yayması için önemli bir sinyal olarak dış dünya tarafından yorumlandı.
Geçtiğimiz yıl Intel, Nervana çevresinde birçok önemli stratejik ayarlama yaptı: 24 Mart'ta Xinzhiyuan, Intel'in Nervana'nın CEO'su Naveen Rao'nun başkanlığındaki Yapay Zeka Ürünleri Grubu (AIPG) adında birleşik bir AI departmanı kurduğunu bildirdi. Ürünler açısından Intel, Nervana teknolojisini Intelin işlemci ürün serisine dahil etmeyi planlıyor. Bu plana Knights Crest deniyor. Intel'in bu plan için yüksek beklentileri var ve derin öğrenme için önemli bir pazarlık çipi.
Nervana, Intel'in yapay zeka teknolojisi gücünün zamirlerinden biri haline geldi. Nervana'nın kurucusu, benzersiz bir geçmişe sahiptir ve Qualcomm'un sinir ağı projesinin araştırma ve geliştirme başkanıdır. Nervana, işinin başında GPU teknolojisinde iyiydi. Asıl strateji, bir yazılım ekosistemi oluşturmak için GPU kullanmak ve ardından kullanıcıların başarılı bir şekilde kenetlenebilmesi için kendi çiplerini bu ekosisteme bağlamaktı. Bu nedenle Nervana, Tensorflow ile rekabet eden bir çerçeve olan Neon'u önerdi.Neon'un GPU optimizasyonu Nvidia'dan daha iyi.
Tıpkı Intel'in yapay zeka düzenine odaklanmak için Nervana'yı kullandığı gibi, yapay zeka çip pazarı da sessizce değişiyordu. Bu yıl Mayıs ayında yapılan I / O konferansında Google, kullanıcıların bulut hizmetleri aracılığıyla kullandığı ikinci nesil TPU'yu piyasaya sürdü. TPU'nun yeni bir eğitim işlevi vardır. Yalnızca bu da değil, Google kullanıcıları ayrıca özel bir ağ aracılığıyla bulutta makine öğrenimi süper bilgisayarları oluşturmak için TPU'yu kullanabilir.
Öte yandan GPU pazarında baskın bir konuma sahip olan Nvidia, TPU'dan daha iyi yeni bir ürün Volta GPU hızlı derin öğrenme performansını piyasaya süreceğini duyurdu.
TPU tarafından temsil edilen CPU, GPU ve özel yongalar, derin öğrenmedeki üç ana yonga gücünü oluşturur ve bunların arkasındaki üç büyük şirket, Intel, NVIDIA ve Google, kendi uzmanlıklarına dayalı bir ekosistem inşa ediyor. Çipler ve ayrıca bulut ve yazılım çerçevelerinde doğrudan rekabet var ve tüm pazar sıcak.
Yerleşik bir dev olarak Intel, derin öğrenmedeki teknolojisi ve ürün düzeni hakkında nadiren halka açık bir şekilde konuşuyor. 5 Temmuz'da Xinzhiyuan, Intel'in Yapay Zeka Ürün Bölümünün Baş Teknoloji Sorumlusu Amir Khosrowshahi ile röportaj yaptı. Bu, Amir'in yerel bir medya kuruluşuyla yaptığı ilk derinlemesine röportaj.
Amir Khosrowshahi, Harvard Üniversitesi'nden fizik ve matematik alanında lisans derecesi ve fizik alanında yüksek lisans derecesi ve Berkeley, California Üniversitesi'nden hesaplamalı nöroloji alanında doktora derecesi aldı. Amir, Intel'in 2016 yılında Intel'in Nervana Systems'ı satın almasıyla Intel'e katıldı ve daha önce Nervana'nın kurucu ortağı ve CTO'suydu. 2014 yılında Nervana'yı kurmadan önce Amir, Qualcomm'un nöromorfik hesaplama bölümünde bir yıl analog VLSI sensör araştırması için çalıştı. Berkeley'deki California Üniversitesi'nde 5 yıl okudu ve Redwood Teorik Nöroloji Merkezi'nde araştırmacıydı. Redwood'daki araştırma alanları arasında deneysel sinirbilim, makine öğrenimi, dağıtılmış hesaplama ve bilgisayarla görü bulunmaktadır.
Amir, yapay zeka ve derin öğrenme alanının hızla geliştiğine inanıyor. Google TPU ve TensorFlow'un avantajları sadece geçicidir ve Intel'in daha iyi ürünleri vardır. Yongalar veya işlemciler, başarılı bir makine öğrenimi çözümü oluşturmanın yalnızca küçük bir parçasıdır. Üretimden üretime ve satışa kadar eksiksiz bir süreç, başarılı olmak için işbirliği gerektirir. En önemli şey, Intel'in Google ile rekabet etmesine gerek olmamasıdır. "Google, Facebook, Amazon, Baidu ... hepsi Intel müşterileri ve Intel, tüm makine öğrenimi çerçevelerini ve geliştirici topluluklarını desteklemekten mutluluk duyuyor." Pazardaki rakip çerçeveler ve bu çerçeveler ile Intel Neon arasındaki rekabetle ilgili olarak Amir, bu şirketlerin birbirleriyle ölümüne ya da ölümüne rekabet etmelerine bakılmaksızın, "Intel'de bu farklı şirketlerle işbirliği yapabilirsiniz" dedi.
Intelin ağır sıklet derin öğrenme ürünü Knights Crest ile ilgili olarak Amir, bunun uzun vadeli bir proje olduğunu söyledi. Dünyayla ilk tanışan, bu yılın ikinci yarısında piyasaya sürülmesi beklenen 28 nanometrelik çip Lake Crest olacak. Amir Khosrowshahi'ye göre Lake Crest, "bir çipe koyabileceğiniz ham hesaplama gücünün sınırı" olan güçlü ham hesaplama gücü (Ham Hesaplama) ile karakterize edilir.
Amir CPU'yu destekliyor. Ana görüş, CPU işlemenin artık bilgi işlem gücü talebini karşılayamayacağıdır.Herkes, CPU'ya ek olarak yetkin bir yardımcı işlemci mimarisi arıyor.Sektörün en umut verici GPU'su NVIDIA'dır. Ancak Amir, Google'ın TPU'sunun ortaya çıkmasının, belki de saf bir GPU'nun en uygun mimari olmadığını gösterdiğine inanıyor. Yapay zekanın gelişmesiyle sadece CPU'nun köşeye sıkıştırılmayacağına, daha da önemli hale geleceğine inanıyor. Örnek olarak sinir ağlarını ve Monte Carlo arama ağaçlarını organik olarak birleştiren kapsamlı AlpahGo mimarisini aldı: Derin öğrenme + evrimsel arama + Monte Carlo ağaç araması + ... yapmak istiyorsanız, CPU yeterince esnektir. "Nervana, şirketi kurarken CPU'larla mücadele ediyordu. Zordu. Şimdi daha da zor buluyoruz."
Bir sinirbilimci olarak Amir, nöromorfik bilgi işlem-beyin benzeri çiplerin olasılıkları konusunda iyimser değil. Beyin benzeri hesaplamanın araştırmadan ilginç olduğunu düşünüyor, ancak bir ürün haline gelmek pratik değil. "Henüz anlamadığınız bir şeyi taklit etmenin bir anlamı yok." Dedi Amir.
Aşağıda, röportajın harmanlanmış tam metnidir.
Derin öğrenme, bu kadar yüksek hassasiyetli hesaplamalar gerektirmez
Xinzhiyuan: Nervana, 2016 yılında Intel tarafından satın alındıktan sonra, 2017 yılının 1. çeyreğinde bir çip Lake Crest'i piyasaya sürmeyi beklediğini söyledi. Şimdi Intel, 2017'nin ikinci yarısında bu çipin piyasaya sürüldüğünü duyurdu. Zaman neden tekrar tekrar erteleniyor?
Amir: Sebeplerden biri, Nervana çipinin sadece Nervana için yapılmış olmasıdır. Nervana Cloud'a koyarsanız, hızlıca bir çip üretebilirsiniz. Ancak Intel'in birçok farklı müşteri için işlemci üretmesi gerekiyor.Bu müşteriler Google ve Facebook dahil büyük şirketler ve mükemmel çalışabilmeleri gerekiyor.Ürün birimine ek olarak birçok şeyin yapılması gerekiyor. Nervana'nın o zamanki planı, Nervana'nın veri merkezinde çalışacak bir işlemci yapmaktı. Intele ulaştıktan sonra, stratejimiz, spesifikasyonlarımız ve kalite standartlarımız değişti. "Nervana'nın kendisi için yaptığı işlemciyi" "Intelin herkes için işlemcisi" haline getirmeliyiz. Bu, çıkış süresindeki gecikmenin büyük bir kısmı. Bu iyi bir şey çünkü Intel bu çipe çok yatırım yaptı.
Xinzhi Yuan: Önümüzdeki 3 ila 5 yıl içinde Intel'in AI ürün grubu nedir?
Amir : Intel, Nervana teknolojisini entegre ettikten sonra Knights Crest adlı bir dizi ürün serisi piyasaya sürmeyi planlıyor. İlk duyurumuz, bu yılın ikinci yarısında satışa sunulması beklenen 28 nanometrelik bir çip olan Lake Crest oldu. Bundan sonra, derin öğrenmeyle ilgili olarak, geleceğin iki farklı yönde gelişeceğini düşünüyorum - biri gittikçe daha fazla bilgi işlem gücüne sahip olmak, diğeri ise heterojen hesaplamayı entegre etmek.
Derin öğrenme alanı çok hızlı gelişiyor ve yanlış bir şey olmadığından emin olmak için birden fazla el için hazırlıklı olmalıyız. Farklı sorunlar ve farklı iş akışları farklı donanım gerektirir, bu nedenle Intel bir dizi Crest ürünü çıkaracaktır. Lake Crest'in ilk sürümü, bir çipe koyabileceğiniz ham hesaplama gücünün sınırı olan güçlü ham hesaplama gücü (Raw Compute) ile karakterize edilir. Bir yandan teknolojinin gelişmesiyle 28nm'den 16nm'ye, 14nm, 10nm'ye ... Crest ürünleri giderek daha fazla hesaplama gücüne sahip olacak, kayan nokta hesaplaması ve en yüksek performans da geliştirilecek.
Öte yandan, görüntü [işlemciye] benzer bir işlem yapacağız. 1990'ların başında CPU'da görüntü işleme yapıldı. Daha sonra biri görüntü verilerini işlemek için daha uygun olan GPU'yu (görüntü işlemcisi) icat etti. Daha sonra biri bu IP'yi CPU'ya koydu. Şimdi bizde aynı Bir sürü CPU çekirdeği ve GPU çekirdeği var. Bu tür bir CPU'da, GPU çekirdeklerinin oranı kullanım senaryosuna göre değişecek, bazen çok büyük (bir cep telefonunda olduğu gibi) ve bazen (bir veri merkezinde olduğu gibi) çok küçük veya çok az. Aynı şey Crest ürün grubu için de geçerli. Aynı CPU işlemcide hem CPU çekirdeği hem de sinir ağı çekirdeği var. Bir veri merkezinde kullanılıyorsa, daha fazla sinir ağı çekirdeği olacaktır. Bir dizüstü bilgisayarda kullanılıyorsa, o zaman Sinir ağı çekirdekleri, GPU çekirdekleri ve CPU çekirdekleri var. Veri merkezi işlemcileri için vizyonumuz bu. Şimdi sadece Lake Crest'i resmi olarak duyuruyoruz. Neler olduğunu söylemek zor.
Xinzhiyuan: Gerisini söylemek zor mu?
Amir: Sahada farklı hızlarda farklı yönler gelişmektedir. Bir derin öğrenme modelinin fiili kullanımı, sadece modelin kendisini değil, aynı zamanda başarılı olmak ve para kazanmak için mühendislik, ürünler ve müşterilerde işbirliğini de gerektirir. Bazı şirketlerin çok uzun bir iş döngüsü var çünkü ürünlerini cilalamak ve sadece araştırmaya bakmak zorundalar.Üç yıl sonra, kullanılan teknoloji üç yıl öncesinden tamamen farklı olabilir.Şimdi derin öğrenmeyi kullanıyoruz ve üç yıl sonra sinir ağlarına ihtiyacımız olmayabilir. Belki tamamen farklı bir sinir ağı kullanılıyor ... Şu anda araştırmada çok fazla heyecan verici şey gördüm ve sonunda hangisinin başarılı olacağını söylemek hala iyi değil. Bu nedenle, hazırlıklı olmak için çeşitlendirilmiş bir ürün portföyümüz var, bu bakımdan Intel'in çok sayıda CPU ve FPGA'si var.
Araştırma açısından, Intel kısa süre önce bir yapay zeka uygulama laboratuvarı kurdu. Sorumlu kişi benim. Laboratuvarda birçok araştırma - biraz çılgın - sinir ağları dışındaki teknolojilerin gelecekteki kullanımıyla ilgilenmek için Intel'in de uygun ürünleri var. Birçok farklı mimari için geliştirdik. Örneğin, Derin öğrenme yapmak 32 bitlik hesaplamalar gerektirmez.Laboratuvarda 16 bit, 8 bit ila 2 bit ve 1 bit hesaplama mimarileri geliştiriyoruz.
Bunu iki yıl önce söyleseydim, Wu Enda kesinlikle buna karşı çıkardı. Ama şimdi Wu Enda, derin öğrenmenin bu kadar yüksek hassasiyetli hesaplamalar gerektirmediğini anlayan ilk kişi. . Intel, Baidu ile işbirliği yaptı ve düşük hassasiyetli hesaplamada uzmanlaşmış Baidu Brain'de bir laboratuvar kurdu. Şimdi, etkinleştirme için 1 bitlik düşük hassasiyetli hesaplamayı inceleyeceğiz. 32 bit'ten 16 bit'e, 8 bit ... 2 bit, 1 bit, yüksek hassasiyetten düşük hassasiyete geçiş kaçınılmaz bir trend mi? Yoksa prensipte 32 bitten tamamen farklı bir hesaplama olan yaklaşık 1 bit mi? Bu açık bir sorudur ve üzerinde çalışıyoruz.
Xinzhiyuan: Baidu ile işbirliği yapıyorsunuz Baidu kendi çiplerini geliştirmeyi düşünüyor mu?
Amir: Baidu'nun güçlü bir donanım ekibi var ve kendi FPGA ürünlerini de geliştiriyor. Ama bu soruyu Lu Qi'ye sormalısın (gülüyor).
Derin öğrenme modelleri, bir dereceye kadar şiddet içeren bilgi işlem için gelişebilir
Xinzhiyuan: CPU'nun geleceği nedir?
Amir: Nervana başlangıçta CPU ile mücadele ediyordu, zordu ama şimdi daha da zor buluyoruz. Mevcut derin öğrenme modeli, bazı şeyleri ayırt etmek için büyük miktarda girdi gerektiren şiddet içeren hesaplamaya doğru bir dereceye kadar gelişebilir. Gelecekteki derin öğrenme modeli daha küçük olabilir ve model kullanım oranı daha yüksek olacaktır, böylece milyarlarca TPFLOTS'a gerek yoktur - aslında, derin öğrenme, başarılı olmak için rakipleri geçmeli, sadece TPFLOTS'a bakmamalıdır.
Ayrıca iyi bir örnek var AlphaGo, AlphaGo çok ilginç bir mimari gösteriyor, bir yanda farklı evrişimli sinir ağları var, diğer yanda Monte Carlo arama ağacı var. İkisi organik olarak birleştirilmiştir - ikisini pek ayırt edemezsiniz. Bu farklı şeyleri yapmak için bir mimari geliştirmek zordur, bu nedenle CPU, bu kapsamlı mimari için bilgi işlem için en iyi seçim olabilir. Yani, gelecekte derin öğrenme + evrimsel arama + Monte Carlo ağaç arama + ... yapmanız gerekecek, CPU yeterince esnektir. CPU'nun gelecekte her zaman alakalı olacağını düşünüyorum.
Tabii az önce de söylediğim gibi, başarı sadece işlemciye değil, aynı zamanda ekosisteme ve iş modeline de bağlı ve gerçekten kullanılabilen ve satılabilen şeyler yapılıyor.
Donanım ekibinin en zor kısmı yazılım bölümüdür
Xinzhiyuan: Geçen yıl, Intel Corporation'ın şu anki başkan yardımcısı ve Intel'in yapay zeka ürün bölümü Naveen Rao'nun genel müdürü olan Nervana'nın CEO'su ile bir röportaj yapan Xinzhiyuan, Intelin güçlü noktalarından birinin, farklı ihtiyaçlar için farklı ürünler sağlayabilen çok eksiksiz bir ürün portföyüne sahip olması olduğunu söyledi. ürün. Ama dediğiniz gibi teknoloji ve pazarlar, özellikle yapay zeka ve derin öğrenme hızla gelişiyor. Intel, yeni müşteri ihtiyaçlarını her an karşılayabilmesini nasıl sağlıyor?
Amir: Teknoloji döngüsü nispeten uzundur Bu süre zarfında, çip mimarisi gerçekten modası geçmiş olabilir veya rakipler görünebilir. Bununla birlikte, ister Nervana'da ister Intel'de olsun, makine öğrenimi yapmanın çok zor bir şey olduğunu görüyoruz - her şeyi çözebilecek süper bir çip yapmak sizin için zor değil, çevrenizdeki şeyler için. Google, 2015 yılında "Makine Öğrenimi Sisteminin Oluşturulmasında Teknik Zorluklar" adlı ilginç bir makale yayınladı (Not: Aslında makale "Makine Öğrenimi Sisteminin Oluşturulmasında Gizli Teknik Borç" başlıklı ve Google ekibi bunu 2015 yılında NIPS'te yayınladı. ).
Kağıtta bir resim var, çip ortada küçük siyah bir parçadır, etrafı güvenlik, gecikme gibi çeşitli diğer mühendislik problemleriyle çevrilidir ... Ancak bunlar toplandığında iyi bir çözüm olabilir. Derin öğrenmede iyi bir iş çıkarmak sadece işlemciye bağlı değildir.
Elbette, Intelde laboratuvarlarımız olduğunu ve birçok harika ve heyecan verici projede bazılarını da ürünlere dönüştürdüğümüzü söylemiştim - işte burada AIPG (Intelin Yapay Zeka Ürünleri Grubu) oynar - I Umarım bunlar gelecekte uygulanacaktır. Gördüğünüz ürünlere ek olarak Intel, araştırma ve geliştirmeye büyük yatırım yaptı. Öte yandan, şu anda yapıldığını gördüğünüz ürünler, sadece iyi teknoloji sayesinde değil, aynı zamanda istikrarlı ve yeterince güvenilir oldukları için de varlar.
Xinzhiyuan: Aslında, yongalara veya donanıma ek olarak, daha fazlası bir ekosistem oluşturma sürecidir. "Yumuşak ve sert entegrasyon" üzerine daha fazla vurgu yapıldığında, Intel AI ürünlerinin yazılım açısından düzeni nasıldır?
Amir: Sektörde bir söz vardır: "Donanım ekibinizin en zor kısmı yazılım ekibinizdir" (Donanım ekibinizin en zor kısmı yazılım ekibinizdir). Yazılım ekibi her zaman donanım ekibinden çok daha büyüktür. Donanım işlemcileri üzerinde çalışacak yazılım geliştirmek büyük bir projedir Bu, Xeon ve Xeon Phi ekipleri gibi Intel AIPG için de geçerlidir.
Yazılım açısından özellikle Nervana Graph'ten bahsetmek istiyorum. Biliyorsunuz, alt katman donanım ve ardından matris ürünü için sinir ağı. Aslında ortada tüm çerçeveler tarafından paylaşılan başka bir katman var. TensorFlow, Neon, Torch, PaddlePaddle ... hepsi grafikler, dinamik grafikler ve konvolüsyonlar kullanıyor. , Gömme katmanı ... TensorFlow ve Torch farklı diller olmasına rağmen, gerçek işlemler aynıdır. Şimdi bu çerçevelerin tüm ortak özelliklerini bir veri akış kitaplığı olan Ngraph dediğimiz bir kitaplığa yerleştirmek için mükemmel bir zaman olduğunu gördük.Ngraph'da grafik bir derin öğrenme işlemidir. (Edge) veridir. Ngraph ile Intel, bir donanım tedarikçisi olarak tüm çerçeveleri destekleyebilir. Hangi çerçeveyi kullanırsanız kullanın, yeni bir çerçeve oluşturabilirsiniz.Bunu desteklemekten mutluluk duyuyoruz.
Intel farklı şirketlerle işbirliği yapabilir ve bu şirketler birbirleriyle ölümüne rekabet eder
Xinzhiyuan: Yazılım açısından Google, TensorFlow'u başlattı ve Neon'u çok geride bırakarak bugün en büyük makine öğrenimi geliştirici topluluğunu oluşturdu. Intel bununla nasıl rekabet ediyor?
Amir: Neon ile TensorFlow arasındaki fark, Neon'un bir donanım tedarikçisi olan Intel'in desteğine sahip olması ve tam yığın desteği verebilmesidir. Neon'da sinir ağları çalıştırmanın en hızlı olmasını sağlayabiliriz. Diğer çerçeveler, kontrolümüz altında olmadıkları için hız o kadar iyi olmayabilir, çünkü hedeflenen optimizasyon yoktur. TensorFlow mükemmel değil ve mimari sorunlar var. TensorFlow'un sadece bir yıldır var olduğu ve şimdi alan çok hızlı değiştiği unutulmamalıdır, gelecekte diğer çerçevelerin TensorFlow'u geçmesi çok muhtemeldir - Neon olabilir veya Rusya'dan bir yüksek lisans öğrencisi olabilir. TensorFlow ile rekabetimiz dostça. Laboratuvardaki eski sınıf arkadaşlarım TensorFlow'da. Ürünleri daha iyi hale getirmek için birbirimizle "rekabet ederiz".
Aslında Intel, Google ile "rekabet" etmeyecektir. Müşterimiz Google, Facebook ve Amazon da öyle. Müşteriler TensorFlow'u kullanmayı seviyorlarsa, TensorFlow'u onlar için özel olarak optimize edeceğiz.Ben kendim de bu tür konferanslara katıldım. Framework'ün en hızlı şekilde çalışmasını istiyoruz. Piyasada pek çok rekabet eden çerçeve var ve Intel de buna çok yatırım yaptı. Aslında Intel'e katıldık çünkü Intel'de bu farklı şirketlerle işbirliği yapabiliyorsunuz ve bu şirketler birbirleriyle ölümüne ve hayatına rekabet ediyor.
İkinci nesil TPU'dan daha iyi olduğunu düşündüğümüz bir çip geliştiriyoruz
Xinzhiyuan: Google kısa süre önce Google Cloud'a bağlı olan ve Google Cloud kullanan müşterilerin kullanımına sunulan ikinci nesil TPU'yu piyasaya sürdü. Yayınlanan verilere göre, ikinci nesil TPU hakkında ne düşünüyorsunuz? Google'ın TPU'yu bulut hizmetlerine bağlayan iş modeli ne olacak?
Amir: İkinci nesil Google TPU'nun detayları hala net değil, ancak yayınlanan performans verileri gerçekten çok güzel - görüntüler de güzel. Google harika bir şirket, dediğinizi yapın ve yapın. Buna saygı duyuyorum. Aslında, Nervana'yı kurduğumuzda, Google Brain-Nervana'yı hedeflediğimiz herkesin Google Beyni olacak. Teknolojiye dönüş, İlk nesil TPU çok ilginç bir üründür. İlk nesil TPU, sorunlar için özel yongaların özelleştirilmesinin gelecekteki geliştirme yönü olduğunu göstermektedir. . Google çok akıllı ve veri merkezleri için kendi çiplerini geliştirdi. Bu, eğitim için veya tüm mimari için saf bir GPU'nun en iyi çözüm olmayabileceğini gösterir.
İkinci nesil TPU'ya gelince, size söyleyebileceğim şey şu: ben Intel'in temel rekabet gücü olan ikinci nesil TPU'dan daha iyi olduğunu düşündüğümüz çipler geliştiriyoruz. Üstelik ürünlerimiz herkes tarafından satın alınabilir. İkinci nesil TPU'nun performans verileri çok iyi, ancak daha iyi bir çip yapabileceğimize çok eminiz - uygun bir mimariye sahibiz, ölçeklenebilir ve gerektiğinde değiştirilebilir. Buluta bağlı iş modeli çok iyi Nervana'da yaptığımız buydu. Intel ayrıca özelleştirilmiş bir dikey yığın oluşturuyor. Kısacası Google'ın ürünleri çok iyi ve iş modeli de iyi ama yaptığımız ürünler çok daha iyi.
Nvidia açık kaynağı çok iyi, ancak donanım açık kaynağı pek kullanışlı değil
Xinzhiyuan: Açık kaynaklı donanım hakkında ne düşünüyorsunuz?
Amir: Donanım üretmek zor bir iştir. Intel'de, silikon gofretleri ev kimyasallarıyla aşındıran uzman kimyagerler var ... Çip üretim süreci karmaşık ve güzel ve insanların yaptığı en şaşırtıcı şeylerden biri olduğu söylenebilir. Intel'in kimyagerler, bilgisayar bilimcileri, mimarlar vb. Dahil kendi fabrikaları vardır. Bir işlemci üretmek için tasarım en zoru değil, zor olan bir şeyi kullanılabilir kılmaktır. Doğrudan "Evet, işte bu şeyin tasarımı" demekle karşılaştırıldığında, işleri gerçekçi yapmak binlerce kez daha zor. Sadece tasarım planına bakıldığında, kullanılabilecek bir şey yapmak zordur - belki zeki insanlar bunu yapar, ancak Intelin gücü, kimyadan silikon plaka işlemeye ve tasarımdan üretime kadar tüm süreçte yatar ve bu da kusurlara neden olabilir. Tüketiciler, ürünleri çok az ve düşük maliyetle çok düşük fiyatlarla satın alabilirler.
Nvidia açık kaynak kodu çok iyi, Nvidia'nın çok iyi mühendisleri var - ekibimizde Nvidia'dan birçok mühendis var. Ancak, açık kaynak, genel halk için işlemci yapımında pek bir fark yaratmıyor, en azından ben öyle düşünüyorum. Ama ben bir sinirbilimciyim, belki yanılıyorum :)
Beyin benzeri potansiyel müşteriler: Anlamadığınız bir şeyi simüle etmenin bir anlamı yok
Xinzhiyuan: Evet, bir sinirbilim geçmişiniz var ve Nervana'nın çipi de sinirbilim ilkelerini ödünç alıyor. Beyin benzeri cips olasılığı hakkında ne düşünüyorsunuz?
Amir: Beyin benzeri çipler veya nöromorfik hesaplama, 1990'larda Carver Mead of Caltech tarafından önerildi İnsan beyin nöronlarının ve sinapslarının aktivitelerini taklit etmek için analog çipler kullanabileceğine inanıyordu. İnsan beyni sinir uyarılarının iletimi kademeli bir süreçtir.Sinyal ancak biriken güç belirli bir sınırı aştığında geçecektir, bu nedenle enerji tüketimi çok düşüktür. Mead, çiplerin benzer şekilde yapılabileceğini ve hesaplanabileceğini düşünerek bu konsepti daha da geliştirdi. Ancak beyni tamamen taklit etmemiz gerektiğini düşünmedi. Orijinal konsept, doğru hesaplamalar yapmak için bu eşikle birlikte yanlış hesaplama öğelerini kullanabilmenizdir. Bu kavramın uzun bir geçmişi vardır ve 1950'lerde von Neumann tarafından ortaya atılmıştır: hassas hesaplamalar yapabilen bir bilgisayar yapmak için hassas olmayan öğeler kullanabilirsiniz. Bu aynı zamanda bu fikirden çıkarabileceğimiz ana ilham kaynağıdır. Şimdi, beyin benzeri alanda, insan beynini simüle eden, ince taneli, eşzamansız, dağıtılmış sinir ağları var ... Bunların hepsi araştırma açısından çok iyi. Ancak pratik bir bakış açısıyla, bu sistemleri üretimde çalıştırmaları için nasıl eğiteceğimizi hâlâ bilmiyoruz.
Bugünün sinir ağı, yükselen sinir ağından çok farklı ve tamamen farklı bir alan olduğu söylenebilir. Nitekim, günümüz sinir ağları biyolojiden ilham almaktadır, ancak bu ilham çok sınırlıdır. Uzun süredir biyoloji okudum ve beyin anlayışımızın hala çok sınırlı olduğunun ve ürünlere dönüştürülemeyeceğinin çok farkındayım. Yapmak istediğimiz şey makine öğrenimi, sinirbilim değil. IBM'in TrueNorth ve diğer nöromorfik çipleri çok iyidir ve harika araştırma konseptleridir, ancak daha çok bir çekiçle çivi bulmaya benzerler. Anlamadığınız bir şeyi taklit etmenin hiç mantıklı olmadığını düşünüyorum.
Günümüzün derin öğrenme ve sinir ağları, sinirbilim ilkelerinden yararlanmaktadır. Örneğin, şimdi psikolojiden gelen dikkat mekanizmasından (Dikkat) yararlanan makaleler var. Mevcut sinir ağı araştırması, birçok farklı disiplinden gelen bilgilerden yararlanıyor, ancak bunları tamamen simüle etmeyi amaçlamıyor. Dahası, TrueNorth bile gerçek bir sinir ağından çok farklıdır ve sadece küçük bir kısmı benzerdir. İnsan nöronları çok karmaşıktır ve hem analog hem de dijital özelliklere sahip milyarlarca başka nörona bağlıdır. Bunu, sinirbilimci olduğum için söylüyorum - sektöre girmeden önce yıllarca sinirbilim araştırması yaptım.Beyin benzeri nöromorfik çiplerin beyni taklit ederek yapılabileceğini düşünenlerin çoğu sinirbilimci değildir ve bana öğretilmemiştir. İşkence, ne arayacağını bilmeden beyne delinmiş bir sonda ile deney yapmaya dayandı. Sinirbilim seviyorum.Belki gelecekte sinirbilimden ilham alıp bunu yapay zeka çip mimarisine ve ürünlerine dönüştürebiliriz. Aslında Intel'in beyin benzeri çipler üzerine de araştırması var. Ancak ürün hala çok uzakta.
Xinzhiyuan'ın işe alım bilgilerini görüntülemek için orijinal metni okumak için tıklayın
