Li Kaifu'nun kitabı, profesyonel olmayanlara derin öğrenmenin ne olduğunu nasıl açıklayacağınızı anlatıyor
Geçen yıldan bu yana, yapay zeka bilimiyle ilgili birçok şeyin bu işte yapılması gerekiyor. Uzun zamandır bilgisayar bilimleri geçmişi olmayan bir kişiye derin öğrenmenin ne olduğunu nasıl açıklayacağımı düşünüyorum, böylece teknik olmayan bir yatırımcı, işletme yöneticisi, endüstri uzmanı, medya muhabiri ve genel halk, derin öğrenmenin neden özel olduğunu anlayabilir. Etkili, yapay zekanın insanların belirli sorunları çözmelerine nasıl yardımcı olabileceğini anlayın. Ortada, Quora'nın kısa bir cevabından esinlenerek, sinir ağlarını karşılaştırmak için su akışını kullanma fikrini kabaca oluşturdu. Bankacılık, eğitim ve yatırım çevrelerindeki insanlara yönelik konuşmalarda bu metafora dayalı bir açıklama yöntemini denedim ve etkisi çok iyi. Yavaş yavaş böyle bir makale oluştu ve son zamanlarda Kai-Fu Lee ve benim ortak yazımız olan popüler bilim kitabı "Yapay Zeka" ya dahil edildi.
[Not] Bu makaledeki derin öğrenme kavramının kasıtlı olarak matematiksel formüllerden ve matematiksel argümanlardan kaçındığını belirtmek özellikle önemlidir. Derin öğrenmeyi su borusu ağlarıyla popüler hale getirmenin bu yöntemi yalnızca genel halk için uygundur. Matematik ve bilgisayar bilimlerini anlayan profesyoneller için bu açıklama oldukça eksik ve yanlıştır. Akış kontrol valfinin analojisi ve derin sinir ağındaki her bir nöronla ilgili ağırlık ayarlaması matematiksel olarak eşdeğer değildir. Su borusu ağının genel açıklaması, derin öğrenme algoritmalarında maliyet fonksiyonu, gradyan inişi ve geri yayılma gibi önemli kavramları kasıtlı olarak göz ardı eder. Profesyoneller derin öğrenmeyi öğrenmek istiyorlarsa, yine de profesyonel eğitimlerle başlamaları gerekir.
Temel olarak konuşursak, derin öğrenme, tüm makine öğrenimi yöntemleri gibi, sahadaki benzer problemleri çözmek için matematiksel modellerle gerçek dünyadaki belirli problemleri modelleme sürecidir.
Her şeyden önce, derin öğrenme bir tür makine öğrenimidir. "Öğrenme" olarak adlandırıldığı için, doğal olarak insan öğrenme sürecimize benzer. Hatırlayın, bir insan çocuğu nasıl öğrenir?
İnsan çocukları nasıl öğrenir? Makine nasıl öğrenir?
Örneğin, birçok çocuk karakterleri tanımak için okuma yazma kartları kullanır. Eski zamanlarda insanların kullandığı "Shang Da Ren, Kong Yiji" gibi takip kitaplarından, çocuklara cep telefonlarında ve tabletlerde okumayı öğreten okuma yazma kartı APP'ye kadar en temel fikir basitten karmaşığa doğru sıralamayı takip etmektir. Çocuklar her bir Çince karakterin çeşitli yazma yöntemlerini tekrar tekrar okurlar (daha büyük çocuklar bile farklı kaligrafi yazı tiplerini tanımayı öğrenmelidir) ve daha fazla okuduktan sonra doğal olarak hatırlayacaklardır. Bir dahaki sefere aynı kelimeyi tanımak kolay olacak.
Bu ilginç okuryazarlık süreci basit görünse de sonsuz derecede gizemlidir. Karakterleri tanıyorken, birçok benzer görüntü tarafından uyarıldıktan sonra her bir Çince karakter için belirli bir düzenliliği özetleyen çocuk beyni olmalıdır.Beyin bir dahaki sefere bu düzenliliğe uyan bir model gördüğünde, bunun ne olduğunu bilecektir. Kelime yukarı.
Aslında, bir bilgisayara karakterleri okumayı öğretmek neredeyse aynıdır. Bilgisayar önce her kelimenin modelini birçok kez okumalı ve daha sonra bilgisayar beyninde (işlemci artı bellek) bir kuralı özetlemelidir ve bilgisayar, önceki özete uygun olduğu sürece gelecekte benzer örüntüleri görecektir. Bilgisayar, kalıbın hangi karakter olduğunu bilebilir.
Mesleki terimlerle ifade etmek gerekirse, bilgisayarın öğrenme ve tekrar tekrar görüntüleme için kullandığı resimlere "eğitim veri kümeleri", "eğitim veri kümelerinde", bir veri türünün başka bir veri türünden farklı nitelikleri veya özellikleri " Özellikler "; bilgisayarın" beyindeki "kuralları özetlediği sürece" modelleme "," beyindeki "bilgisayar tarafından özetlenen kurallar genellikle" modeller "dediğimiz şeydir ve bilgisayar, resimlere tekrar tekrar bakarak kuralları özetler. Ve sonra karakterleri tanımayı öğrenme sürecine "makine öğrenimi" denir.
Bir bilgisayar tam olarak nasıl öğrenir? Bilgisayar tarafından özetlenen yasa nedir? Hangi makine öğrenimi algoritmasını kullandığımıza bağlıdır.
Çocuklarda okuryazarlık fikrini taklit eden çok basit bir algoritma var. Ebeveynler ve öğretmenler bu tür bir deneyime sahip olabilirler: çocuklar okumayı öğrenmeye başlarlar Örneğin, çocuklara ilk önce "bir", "iki" ve "üç" ü ayırt etmeyi öğretirken, çocuklara tek vuruşta yazılan kelimenin "bir" olduğunu söyleyeceğiz. İki vuruşla yazılan kelime "iki" ve üç vuruşla yazılan kelime "üç" dür. Bu kuralın hatırlanması ve kullanımı kolaydır. Ancak yeni karakterler öğrenmeye başladığınızda bu kural çalışmayabilir. Örneğin, "kou" da üç vuruştur, ancak "üç" değildir. Çocuklara genellikle bir kutunun içinde olanın "ağız" ve yatay sıralar halinde düzenlenen şeyin "üç" olduğunu söyleriz. Bu örüntü bir katmanı daha zenginleştirdi, ancak okuryazarlık sayısındaki artış hala kaçınılmaz. Kısa süre sonra çocuklar "tian" ın da kare olduğunu keşfettiler, ama "ağız" değil. Bu sırada çocuklara kutuda "on" olduğunu "Tian" olduğunu söyleyeceğiz. Gelecekte çocuklara büyük olasılıkla "Tian" ın üst kısım için "Yu", alt kısım için "Jia" ve üst kısım için "Shen" anlamına geldiğini söyleyeceğiz. Adım adım zenginleştirilen bu tür karakteristik kuralların rehberliğinde, birçok çocuk yavaş yavaş kuralları kendi kendilerine özetlemeyi, yeni Çince karakterleri ezberlemeyi ve ardından binlerce Çince karakteri öğrenmeyi öğrenirler.
Karakteristik yasaya dayalı yukarıdaki okuryazarlık sürecine çok benzeyen, karar ağacı adı verilen bir makine öğrenimi yöntemi vardır. Bilgisayarın yalnızca "", "" ve "" üç karakterini tanıması gerektiğinde, bilgisayarın yalnızca tanınması için Çince karakterin vuruş sayısını sayması gerekir ve bunu ayırt edebilir. Tanınacak Çince karakter setine (eğitim veri seti) "" ve "" eklediğimizde, bilgisayarın önceki değerlendirme yöntemi başarısız olur ve diğer değerlendirme koşulları devreye sokulmalıdır. Bundan adım adım, bilgisayar giderek daha fazla karakteri tanıyabilir.
Ekteki resim, bilgisayar üç yeni Çince karakter olan "siz", "" ve "" 'yi öğrenmeden önce ve sonra bilgisayarın içindeki karar ağacındaki farkı gösterir. Bu, üç yeni Çince karakteri ve onların özelliklerini bilgisayar için "gördüğümüzde", bilgisayarın bir çocuk gibi olduğunu, yeni kuralları özetleyip hatırladığını ve daha fazla Çince karakteri "tanıdığını" gösterir. Bu süreç, en temel makine öğrenimi türüdür.
Elbette, karar ağaçlarına dayanan bu öğrenme yöntemi çok basit, genişletilmesi zor ve gerçek dünyadaki farklı durumlara adapte edilmesi zor. Sonuç olarak, bilim adamları ve mühendisler birçok farklı makine öğrenimi yöntemi icat ettiler.
Örneğin, Çince "siz", "" ve "" karakterlerinin, çıkıp çıkmadıkları, vuruşlar arasındaki konumsal ilişki vb. Özelliklerini belirli bir uzaydaki bir noktaya eşleştirebiliriz (biliyorum, matematik var Terminoloji Ancak bu önemli değildir, "haritalamanın" gerçek anlamını anlayıp anlamamanız sonraki okumayı hiç etkilemez). Başka bir deyişle, eğitim veri setinde, bu üç karakteri yazmanın çok sayıda farklı yolu, bilgisayar açısından uzayda çok sayıda nokta haline gelir. Her kelimenin özelliklerini yeterince iyi çıkardığımız sürece, uzaydaki çok sayıda nokta kabaca üç farklı aralığa dağıtılacaktır.
Şu anda, alanı birkaç bağımsız bölgeye bölmek için kısa bir bölümleme yöntemini (boşlukta düz bir çizgi çizmek gibi) kullanıp kullanamayacağınızı görmek için bilgisayarın bu noktaların kurallarını gözlemlemesine izin verin ve eğitim veri kümesindeki her bir kelimeyi aşağıdakilere karşılık getirmeye çalışın: Noktaların hepsi aynı bölgede bulunur. Bu bölümleme mümkünse, bilgisayarın bu karakterlerin uzaydaki dağılımını öğrendiği ve bu karakterler için bir model oluşturduğu anlamına gelir.
Daha sonra, Çince karakterlerin yeni bir görüntüsünü gördüğünde, bilgisayar görüntüyü uzayda bir noktaya dönüştürür ve ardından noktanın hangi karakter alanına denk geldiğini belirler. Şimdi, görüntünün hangi karakter olduğunu bilemezsiniz. ?
Birçok insan, bir düzlem alanını bölmek için düz çizgiler çizme yöntemini kullanarak binlerce Çince karaktere ve en azından on binlerce farklı yazma yöntemine uyum sağlamanın zor olduğunu fark etmiş olabilir (şekilde gösterildiği gibi). Uzayda bir nokta olarak her bir Çince karakterin farklı deformasyonlarına karşılık gelmek istiyorsanız, her bir Çince karakterin karşılık gelen noktasını farklı alanlara bölmek için matematiksel olarak basit bir yöntem bulmak son derece zordur.
Yıllardır matematikçiler ve bilgisayar bilimcileri benzer problemlerle uğraşıyorlar. İnsanlar makine öğrenimi yöntemlerini geliştirmeye devam ediyor. Örneğin, uzaydaki taramalı noktaları ayırmak için çeşitli eğriler çizmek için karmaşık bir üst düzey işlevi kullanın veya iki boyutlu bir alanı üç boyutlu bir alana, dört boyutlu bir alana veya hatta birkaç yüz veya birkaç bine dönüştürmenin bir yolunu bulun. On binlerce boyutta yüksek boyutlu uzay. Derin öğrenme pratik hale gelmeden önce, insanlar birçok geleneksel, derin olmayan makine öğrenimi yöntemlerini icat ettiler. Bu yöntemler belirli alanlarda belirli başarılar elde etmiş olsa da, dünya gerçekten karmaşık, çeşitli ve çeşitlidir.İnsanların bilgisayarlar için seçtikleri modelleme yöntemi ne kadar zarif olursa olsun, dünyadaki her şeyin karakteristik yasalarını gerçekten canlandırmak zordur. Bu, dünyanın gerçek yüzünü sınırlı sayıda renkle resmetmeye çalışan bir ressam gibi Resim becerileri ne kadar iyi olursa olsun, "gerçekçi" olması zor.
Öyleyse, dünya yasalarını tanımlarken bilgisayarların temel araçlarını nasıl büyük ölçüde genişletebiliriz? Bilgisayar için son derece esnek bir ifade biçimi tasarlamak ve ardından bilgisayarın büyük ölçekli öğrenme sürecinde denemeye ve bulmaya devam etmesine ve sonunda gerçek dünyanın özelliklerini karşılayan bir ifade yolu bulana kadar kuralları kendi kendine özetlemesine izin vermek mümkün mü?
Şimdi, sonunda derin öğrenme hakkında konuşuyoruz!
Derin öğrenme, bilgisayarın nihayet hedefe ulaşana kadar denemeye devam etmesine izin verirken, ifade yeteneği açısından esnek ve değişken bir makine öğrenme yöntemidir. Matematiksel olarak konuşursak, derin öğrenme ile yukarıda bahsedilen geleneksel makine öğrenimi yöntemleri arasında önemli bir fark yoktur.Tümleri, yüksek boyutlu bir uzayda nesne özelliklerine dayalı olarak farklı nesne türlerini ayırt etmeyi umuyorlar. Bununla birlikte, derin öğrenmenin ifade yeteneği, geleneksel makine öğreniminden çok farklıdır.
Basitçe söylemek gerekirse, derin öğrenme, bilgisayarın öğrenmek istediği şeyi büyük miktarda veri olarak ele almak, bu verileri birden çok katman içeren karmaşık bir veri işleme ağına (derin sinir ağı) atmak ve ardından bu ağ tarafından neyin işlendiğini kontrol etmektir. Sonuç verileri gereksinimleri karşılıyor mu? Varsa, bu ağı hedef model olarak tutun. Aksi takdirde, çıktı gereksinimleri karşılayana kadar ağ parametre ayarlarını tekrar tekrar ve ısrarla ayarlayın.
Bu hala çok soyut ve anlaşılması çok zor. Daha sezgisel bir yola geçelim.
Derin öğrenme ile işlenecek verilerin bilgi "akışı" olduğunu ve verileri işlemek için derin öğrenme ağının borular ve vanalardan oluşan devasa bir su borusu ağı olduğunu varsayalım. Ağın girişi bir dizi boru açıklığıdır ve ağın çıkışı da bir dizi boru açıklığıdır. Bu su borusu ağının birçok katmanı vardır ve her katmanda suyun yönünü ve akışını kontrol edebilen birçok düzenleme vanası vardır. Farklı görevlerin ihtiyaçlarına göre, su borusu şebekesinin katman sayısı ve her katmandaki ayar vanası sayısı farklı kombinasyonlarda değiştirilebilir. Karmaşık görevler için, kontrol vanalarının toplam sayısı binlerce veya daha fazla olabilir. Su borusu şebekesinde, her katmandaki her bir ayar vanası, bir sonraki katmandaki tüm regülasyon vanalarına su boruları vasıtasıyla bağlanır ve önden arkaya tamamen katman katman bağlı bir su akış sistemi oluşturur (burada nispeten basit bir durumdur) , Farklı derin öğrenme modellerinin su borularının montajı ve bağlantısında farklılıklar vardır).
Peki, bilgisayarlar okumayı öğrenmek için bu devasa su boruları ağını nasıl kullanabilir?
Örneğin, bilgisayar üzerinde "" yazan bir resim gördüğünde, basitçe resmi oluşturan tüm sayıları oluşturur (bilgisayarda resmin her bir renk noktası "0" ve "1" 'den oluşur. (Sayılarla gösterilir) hepsi girişten nargile ağına dökülen bir bilgi akışı haline gelir.
Su borusu ağının her çıkışına, bilgisayarın tanımasını istediğimiz her bir Çince karaktere karşılık gelen bir karakter plakası ekledik. Şu anda, giriş Çince "" karakteri olduğundan, su tüm su borusu ağından geçtiğinde, bilgisayar "" kelimesiyle işaretlenmiş boru çıkışının en fazla su akışına sahip olup olmadığını görmek için borunun çıkışına gidecektir. . Eğer öyleyse, bu, boru hattı ağının gereksinimleri karşıladığı anlamına gelir. Durum böyle değilse, bilgisayara bir sipariş vereceğiz: Su borusu ağındaki her bir akış kontrol vanasını, "Tian" çıkışından dijital su "çıkışı" en fazla olacak şekilde ayarlayın.
Şu anda, bilgisayar bir süredir meşgul ve ayarlanacak çok fazla valf var! Neyse ki, bilgisayar hesaplama hızı hızlıdır, şiddetli hesaplama artı algoritma optimizasyonu (aslında, esasen hassas matematiksel yöntemlerdir, ancak burada matematiksel formüller hakkında konuşmuyoruz, sadece bilgisayarın umutsuzca hesapladığını hayal etmeniz gerekiyor), her zaman hızlı bir şekilde verebilirsiniz Bir çözüm bulun, çıkıştaki akış gereksinimleri karşılayacak şekilde tüm vanaları ayarlayın.
Bir sonraki adımda, "" kelimesini öğrenirken, "" kelimesini içeren her resmi çok sayıda su akışına dönüştürmek, onu su borusu ağına beslemek ve doğru olup olmadığını görmek için benzer bir yöntem kullanacağız. "Shen" kelimesi olan borunun çıkışı en fazla suya sahiptir, yoksa tüm kontrol vanalarını tekrar ayarlamamız gerekir. Bu sefer yeni öğrenilen "tian" kelimesinin etkilenmemesi ve yeni "" kelimesinin doğru bir şekilde işlenebilmesi sağlanmalıdır.
Bu, tüm Çince karakterlere karşılık gelen su, tüm su borusu şebekesinden istenen şekilde akana kadar tekrarlanır. Şu anda bu su borusu ağının zaten eğitilmiş bir derin öğrenme modeli olduğunu söylemiştik.
Örneğin, ekli resim su borusu şebekesine dökülen "" kelimesiyle su akış sürecini göstermektedir. Suyun "" kelimesi ile işaretlenmiş çıkışlardan daha fazla akmasını sağlamak için, bilgisayarın tüm akış kontrol vanalarını belirli bir şekilde neredeyse çılgınca ayarlaması ve su akışı gereksinimleri karşılayana kadar denemeye ve keşfetmeye devam etmesi gerekir.
Bu boru hattı ağı tarafından çok sayıda okur yazarlık kartı işlendiğinde ve tüm vanalar yerinde ayarlandığında, tüm su boru hattı ağı Çince karakterleri tanımlamak için kullanılabilir. Şu anda, ayarlanan tüm vanaları "kaynaklayabilir" ve yeni su akışının gelmesini bekleyebiliriz.
Eğitim sırasında yapılana benzer şekilde, bilinmeyen resimler bilgisayar tarafından bir veri akışına dönüştürülecek ve eğitimli su borusu ağına beslenecektir. Şu anda, bilgisayarın sadece hangi çıkış ağzının en fazla su akışına sahip olduğunu ve bu resimde hangi karakterin yazıldığını gözlemlemesi gerekiyor.
Basit mi? Büyülü mü? Derin öğrenme, en iyi modeli "yakalamak" için vananın çılgınca ayarlanmasına dayanan bir öğrenme yöntemi mi? Tüm su borusu şebekesinde, neden her bir vana bu şekilde ayarlansın, neden bu dereceye ayarlansın, her bir çıkışın son su akışına göre mi tamamen belirleniyor? Bunda gerçekten derin bir gerçek yok mu?
Derin öğrenme, kabaca yarı teorik ve yarı teorik, yarı teorik, yarı teorik, yarı teorik, yarı teorik, yarı teorik, yarı teorik, yarı teorik, yarı teorik, yarı teorik, yarı teorik, yarı teorik, yarı teorik ve yarı teorik bilgileri mümkün olduğu kadar çok bilgisayar kullanan ve yarı teorik bilgileri kullanan yarı teorik bir algoritmadır. Ampirik modelleme yöntemi.
Derin öğrenme için temel yol gösterici ilke, bir tür pragmatik düşüncedir.
Daha karmaşık dünya kanunlarını anlamak istemez misin? Ardından, tüm su borusu ağındaki ayarlanabilir vana sayısını artırmaya devam edeceğiz (katman sayısını artırın veya katman başına düzenleyici vana sayısını artırın). Çok fazla eğitim veriniz ve büyük ölçekli bilgi işlem gücünüz yok mu? Ardından, birçok CPU'nun ve birçok GPU'nun (grafik işlemcileri, genellikle grafik yongaları olarak bilinir, orijinal olarak çizim ve oyun oynamaya adanmış ve derin öğrenme hesaplamaları için özellikle uygundur) devasa bir bilgi işlem dizisi oluşturmasına izin verdik ve bilgisayar umutsuzca sayısız valfi ayarlıyor Süreçte, eğitim verilerindeki gizli yasaları öğrenin. Belki de tam da bu pragmatizm nedeniyle, derin öğrenmenin algılama yeteneği (modelleme yeteneği) geleneksel makine öğrenimi yöntemlerinden çok daha güçlüdür.
Pragmatizm anlamamak demektir. Derin öğrenme modeli çok "akıllı" olacak şekilde eğitilmiş ve sorunu çok iyi çözebilse bile, çoğu durumda tüm su borusu ağını tasarlayan kişi bile boru hattındaki her bir vananın neden bu şekilde ayarlanması gerektiğini net bir şekilde açıklayamayabilir. . Başka bir deyişle, insanlar genellikle yalnızca derin öğrenme modelinin çalışıp çalışmadığını bilirler, ancak modeldeki bir parametrenin değeri ile son modelin algılama yeteneği arasındaki nedensel ilişkinin ne olduğunu söylemek zordur.
Bu gerçekten ilginç. Tarihteki en etkili makine öğrenimi yöntemi, birçok kişiye sadece anlaşılabilen ve açıklanamayan bir "kara kutu" gibi görünmektedir.
Bundan ortaya çıkan felsefi bir spekülasyon, eğer insanlar sadece bilgisayarın yapmayı öğrendiklerini bilirlerse, ancak bilgisayarın öğrenme sürecinde ne tür bir yasaya hakim olduğunu söyleyemezlerse, bu öğrenmenin kendisi kontrolden çıkacak mı?
Örneğin, birçok insan bu şekilde gelişmeye devam edersek, bilgisayarın sessizce öğrenmesini istemediğimiz şeyi öğreneceğinden endişeleniyor mu? Ek olarak, prensip olarak, derin öğrenme modelinin katman sayısı süresiz olarak artırılırsa, bilgisayarın modelleme yeteneği, gerçek dünyanın nihai karmaşıklığı ile karşılaştırılabilir mi? Cevap evet ise, o zaman yeterli veri olduğu sürece, bilgisayar evrendeki tüm olası bilgileri öğrenebilir - bundan sonra ne olacak? İnsanları geride bırakan bilgisayarların bilgeliğiyle ilgili endişeleriniz mi var? Neyse ki, uzmanlar derin öğrenmenin karmaşık bilgiyi evren düzeyinde ifade edip edemeyeceği konusunda henüz anlaşamadılar. İnsanlık, en azından öngörülebilir gelecek için nispeten güvenlidir.
Ek bir nokta: Şu anda, büyük ölçekli işlemler sırasında "derin öğrenmenin" neye benzediğini "görmemize yardımcı olabilecek bazı görselleştirme araçları ortaya çıktı. Örneğin, Google'ın ünlü derin öğrenme çerçevesi TensorFlow, derin öğrenme işlemlerinden geçen tüm ağın gerçek zamanlı özelliklerini çizmek için anlaşılması kolay diyagramlar kullanan küçük bir aracın (Tensorflow-Neural Network Playground) web sürümünü sağlar.
Ekteki resim, 4 ara katmana (gizli katmanlar) sahip derin bir sinir ağının, belirli bir eğitim veri setine karşı öğrendiğinde nasıl göründüğünü göstermektedir. Şekilde, ağın her seviyesi ile bir sonraki seviye arasındaki veri "akışının" yönünü ve boyutunu sezgisel olarak görebiliriz. Ayrıca bu web sayfasındaki derin öğrenme çerçevesinin temel ayarlarını istediğimiz zaman değiştirebilir ve derin öğrenme algoritmasını farklı açılardan gözlemleyebiliriz. Bu, derin öğrenmeyi öğrenmemiz ve anlamamız için çok yararlıdır.
Leifeng.com: Bu makale Kaifu Li ve Yonggang Wang'ın "Yapay Zeka" kitabından alınmıştır.
