Yapay Zekanın AI Derin Öğrenimi: Kökeni, İlkeleri ve Uygulamaları
Big V Wu Enda bir keresinde şöyle demişti: Yapay zeka araştırması yapmak bir uzay gemisi yapmak gibidir.Yeterli yakıta ek olarak, güçlü bir motor da gereklidir. Yakıt yetersizse, uzay aracı amaçlanan yörüngeye giremez. Ve motor yeterince güçlü değil, uzay aracı havalanamıyor bile. Yapay zekaya benzer şekilde, derin öğrenme modelleri motorlar gibidir ve büyük eğitim verileri yakıt gibidir. Her ikisi de yapay zeka için eşit derecede vazgeçilmezdir.
Derin öğrenme, son yıllarda çok ilgi gören bir araştırma alanıdır ve makine öğreniminde önemli bir rol oynamaktadır. Derin öğrenme, insan beyninin hiyerarşik yapısını kurarak ve simüle ederek, böylece dış verileri yorumlayarak, harici olarak girdi verilerinde düşük seviyeden yüksek seviyeye özelliklerin çıkarılmasını gerçekleştirir.
Derin öğrenme
Derin Öğrenme kavramı, yapay sinir ağlarının araştırılmasından türetilmiştir. Birden çok gizli katmana sahip çok katmanlı algılayıcı, bir tür derin öğrenme yapısıdır. Derin yapılandırılmış öğrenme [Derin Yapılandırılmış Öğrenme], hiyerarşik öğrenme [Hiyerarşik Öğrenme] veya derin makine öğrenimi [Derin Makine Öğrenimi] olarak da bilinen derin öğrenme, bir algoritmalar koleksiyonu ve makine öğreniminin bir dalıdır. Üst düzey veri özetlerini modellemeye çalışır.
Makine öğrenimi, makinenin tanımlama ve yargılarda bulunmak için dış dünyadan büyük miktarda veri girişinden kuralları öğrenmesine izin veren algoritmaları kullanır. Makine öğreniminin gelişimi iki dalga sığ öğrenme ve derin öğrenme yaşadı. Derin öğrenme, sinir ağlarının gelişimi olarak anlaşılabilir.Nöral ağlar, insan beyninin veya biyolojik sinir ağlarının temel özelliklerini soyutlayıp modelleyebilir.Dış ortamdan öğrenebilir ve biyolojiye benzer etkileşimli bir şekilde çevreye uyum sağlayabilirler. Sinir ağı, karmaşık sorunları çözmek ve akıllı kontrol için etkili bir yol sağlayan akıllı disiplinlerin önemli bir parçasıdır. Yapay sinir ağları bir zamanlar makine öğrenimi alanında ilgi odağı haline geldi.
Bunu açıklamak için basit bir örnek kullanalım: Biri giriş sinyallerini almak ve diğeri de çıkış sinyallerini göndermek için iki nöron grubunuz olduğunu varsayalım. Giriş katmanı giriş sinyalini aldığında, giriş katmanında basit bir değişiklik yapar ve bunu bir sonraki katmana geçirir. Derin bir ağda, girdi katmanı ile çıktı katmanı arasında birçok katman olabilir (bu katmanlar nöronlardan oluşmaz, ancak nöronlar şeklinde anlaşılabilir), algoritmanın birden fazla işlem katmanını kullanmasına izin verir ve Bu katmanların sonuçları doğrusal ve doğrusal olmayan şekilde dönüştürülür.
Derin öğrenmenin kökeni
1. İnsan beyni görme mekanizmasının aydınlanması
İnsanlar her zaman büyük miktarda duyusal veriyle karşı karşıyadır, ancak beyin her zaman önemli bilgileri kolayca yakalayabilir. Yapay zekanın temel sorunu, beynin bilgiyi verimli ve doğru bir şekilde temsil etme yeteneğini taklit etmektir. Son yıllarda yapılan araştırmalar sayesinde, yapay zekanın gelişimini teşvik eden beyin mekanizmaları hakkında bir miktar anlayış kazandık.
Nörolojik araştırmalar, insan görsel sisteminin bilgi işlemesinin hiyerarşik olduğunu, düşük seviyeli V1 alanından, V2 alanının şekline ve daha sonra daha yüksek katmanlara kadar uç özellikler çıkardığını gösteriyor. İnsan beyni harici sinyaller aldığında, verileri doğrudan işlemez, ancak çok katmanlı bir ağ modeli aracılığıyla veri yasasını elde eder. Bu seviye
Yapısal algılama sistemi, görsel sistemin işlemesi gereken veri miktarını büyük ölçüde azaltır ve nesnenin yararlı yapısal bilgilerini tutar.
2. Mevcut makine öğreniminin sınırlamaları
Derin öğrenme, sığ öğrenmenin tam tersidir. Güncel öğrenme yöntemlerinin çoğu yüzeysel yapı algoritmalarıdır ve belirli sınırlamaları vardır.Örneğin, sınırlı örneklemlerde karmaşık fonksiyonları temsil etme yeteneği sınırlıdır ve karmaşık sınıflandırma problemleri için genelleme yetenekleri bir dereceye kadar sınırlıdır.
Derin öğrenme, doğrusal olmayan derin bir ağ yapısını öğrenerek, giriş verilerinin dağıtılmış temsilini karakterize ederek ve birkaç örnek set olması durumunda veri setinin temel özelliklerini öğrenerek karmaşık fonksiyon yaklaşımı sağlayabilir.
Sığ öğrenme de yaygın olarak kullanılmasına rağmen, yalnızca basit hesaplamalar için etkilidir ve derin makine öğrenimi gerektiren insan beyninin tepki etkisine ulaşamaz. Tüm bunlar, sığ öğrenme ağlarının, derin ağ modellemesi konusundaki araştırmalarımıza ilham veren büyük sınırlamaları olduğunu gösteriyor.
Derin makine öğrenimi, verilerin dağıtılmış temsilinin kaçınılmaz sonucudur. Birçok öğrenme yapısına sahip öğrenme algoritmaları ile elde edilen öğrenciler yerel tahmin operatörleridir.Örneğin, çekirdek yöntemiyle oluşturulan öğrenci, şablonun eşleştirme derecesinin ağırlıklandırılmasıyla oluşturulur. Bu tür problemler için genellikle makul varsayımlarımız vardır, ancak amaç işlevi çok karmaşık olduğunda, parametrelerle tanımlanması gereken bölge sayısı da çok fazladır, bu nedenle bu tür modellerin genelleme yeteneği çok zayıftır. Makine öğrenimi ve sinir ağı araştırmalarında, dağıtılmış temsil, boyutluluk lanetini ve yerel genelleme sınırlamalarını kaldırabilir. Dağıtılmış temsil, sadece kavramlar arasındaki benzerliği iyi tanımlayamaz, aynı zamanda uygun bir dağıtılmış temsil, sınırlı veriler altında daha iyi genelleme performansı gösterebilir. Alınan bilgilerin anlaşılması ve işlenmesi, insan bilişsel faaliyetlerinin önemli bir parçasıdır.Bu bilginin yapısı genellikle çok karmaşık olduğu için, yapısı
Bazı insan bilişsel etkinliklerini gerçekleştirmek için derin öğrenme makineleri gereklidir.
3. Özellik çıkarma ihtiyacı
Makine öğrenimi, makinelerin tanımlama ve yargılarda bulunmak için dış dünyadan büyük miktarda veri girişinden kuralları öğrenmesine izin veren algoritmalar kullanır. Görüntü tanıma, konuşma tanıma, doğal dil anlama ve diğer sorunları çözmede genel makine öğrenimi süreci Şekil 1'de gösterilmektedir.
Veriler önce sensörler aracılığıyla, ardından ön işleme, özellik çıkarma, özellik seçimi ve ardından çıkarım, tahmin ve tanıma yoluyla elde edilir. İyi özellik ifadesi, son algoritmanın doğruluğunu etkiler ve sistemin ana hesaplaması ve testi bu bağlantıdadır. Bu bağlantı genellikle manuel olarak yapılır.Özelliklerin manuel olarak çıkarılması çok zahmetli bir yöntemdir.Seçimin kalitesi garanti edilemez ve ayarlanması çok zaman gerektirir. Bununla birlikte, derin öğrenme, özellik seçim sürecine insan müdahalesi olmadan bazı özellikleri otomatik olarak öğrenebilir.
Derin öğrenme çok seviyeli bir öğrenmedir.Şekil 2'de gösterildiği gibi, daha az gizli katmanla insan beynine benzer bir etki elde etmek imkansızdır. Bu, birden fazla öğrenme katmanı, katman katman öğrenme ve öğrenilen bilginin bir sonraki katmana aktarılmasını gerektirir.Bu şekilde, girdi bilgileri hiyerarşik bir şekilde ifade edilebilir. Derinlemesine öğrenmenin özü, dış verileri yorumlayabilmek için insan beyninin hiyerarşik yapısını kurarak ve simüle ederek, dıştan giriş ses, görüntü, metin ve diğer verilerin alt seviyeden üst seviyesine özelliklerinin çıkarılmasıdır. Geleneksel öğrenme yapısıyla karşılaştırıldığında, derin öğrenme, genellikle birden fazla gizli düğüm katmanı içeren model yapısının derinliğini vurgular.Derin öğrenmede, özellik öğrenimi çok önemlidir.Son tahmin ve tanıma, özelliklerin katman katman dönüşümü ile tamamlanır.
Klasik derin öğrenme algoritmaları
Makine öğreniminin bir dalı olarak derin öğrenme, denetimli öğrenme ve denetimsiz öğrenme olarak ikiye ayrılabilir. Her iki yöntemin de kendine özgü öğrenme modelleri vardır: çok katmanlı algılayıcılar, evrişimli sinir ağları, vb. Denetimli öğrenmeye aittir; derin inanç ağları, otomatik kodlayıcılar, denoising otomatik kodlayıcılar, seyrek kodlama vb. Denetimsiz öğrenmeye aittir.
1. Denetimli öğrenme: evrişimli sinir ağı CNN'leri
1960'larda Hubel ve Wiesel, kedi görsel korteks hücrelerinin incelenmesi yoluyla alıcı alan kavramını önerdiler. Bundan ilham alan Fukushima, nörokognitronun (neocognitron) CNN'lerin evrişimli sinir ağının ilk gerçekleştirilmesi olarak kabul edilebileceğini ve aynı zamanda yapay sinir ağları alanında alıcı alan kavramının ilk uygulaması olduğunu öne sürdü. Daha sonra LeCun ve arkadaşları, evrişimli bir sinir ağını eğitmek için hata gradyan tabanlı bir algoritma tasarladı ve kullandı ve o sırada diğer yöntemlere göre bazı örüntü tanıma görevlerinde lider bir performans sergiledi. Modern fizyolojide görsel sistemin anlaşılması, CNN'lerin görüntü tanımada uygulanmasının temelini oluşturan CNN'lerdeki görüntü işleme süreciyle de tutarlıdır. CNN'ler, çok katmanlı hiyerarşik ağları gerçekten başarılı bir şekilde benimseyen ilk güçlü derin öğrenme yöntemleridir. Verilerin uzamsal uygunluğunu inceleyerek eğitim parametrelerinin sayısını azaltırlar. Şu anda, görüntü tanıma alanında, CNN'ler verimli bir tanıma yöntemi haline geldi.
CNN'ler, Şekil 3'te gösterildiği gibi çok katmanlı bir sinir ağıdır. Her katman, çok sayıda iki boyutlu düzlemden oluşur ve her düzlem, birden çok bağımsız nörondan oluşur. Üst katmandaki bir grup yerel birim, bir sonraki katmandaki bitişik birimlerin girdisi olarak kullanılır Bu yerel bağlantı görüntüsü, algılayıcıdan kaynaklanır. Dış dünyadan gelen görüntü girişi, eğitilebilir bir filtre ve önyargı yoluyla dönüştürülür.Erişimden sonra, C1 katmanında 3 özellik haritası oluşturulur; daha sonra özellik haritasındaki her piksel grubu toplanır ve önyargılıdır ve ardından Sigmoid'den geçirilir Fonksiyon, S2 katmanının özellik haritasını elde eder; bu haritalar daha sonra C3 katmanını elde etmek için filtreden geçirilir; C3, S2'ye benzer ve sonra S4 üretilir; son olarak, bu piksel değerleri rasterleştirilir ve elde etmek için sinir ağına vektörler olarak bağlanır. Çıktı. Genel olarak, C katmanı öznitelik çıkarma katmanıdır ve her bir nöronun girişi önceki katmanın yerel alıcı alanına bağlanır ve yerel özellik çıkarılır ve bununla diğer özellik uzayları arasındaki konumsal ilişki yerel özelliğe göre belirlenir; S katmanı özelliktir. Haritalama katmanında, özellik haritalama yer değiştirme değişmezliğine sahiptir.Her özellik bir düzleme eşlenir ve düzlemdeki tüm nöronların ağırlıkları eşittir, böylece ağın serbest parametrelerinin sayısını azaltır ve ağ parametre seçiminin karmaşıklığını azaltır. Her özellik çıkarma katmanını (C katmanı), yerel ortalama alma ve ikincil çıkarma için bir hesaplama katmanı (S katmanı) izleyecektir.Bu, iki özellik çıkarımının yapısını oluşturur, böylece giriş örneklerini tanımlarken, ağ Çok iyi bozulma toleransı. Her nöron için karşılık gelen bir alıcı alan tanımlanır ve yalnızca kendi alıcı alanından gelen sinyalleri kabul eder. Çoklu eşleme katmanlarının kombinasyonu, katmanlar ve uzamsal alan üzerindeki bilgiler arasındaki ilişkiyi elde edebilir, böylece görüntü işlemeyi kolaylaştırabilir.
CNN'ler, uyarlanabilir ve verilerin yerel özelliklerini araştırmada iyi olan bir tür yapay sinir ağlarıdır. Ağırlık paylaşım ağı yapısı, onu biyolojik sinir ağlarına daha çok benzetir, ağ modelinin karmaşıklığını azaltır, ağırlık sayısını azaltır ve CNN'lerin çeşitli örüntü tanıma alanlarında uygulanmasını sağlar ve iyi sonuçlar elde eder. CNN'ler, ağ yapısını optimize etmek ve belirli bir derecede yer değiştirme değişmezliği sağlamak için yerel algılama alanlarını, paylaşılan ağırlıkları ve uzamsal veya zamansal alt örneklemeyi birleştirerek verilerin kendisinde bulunan yerellik gibi özelliklerden tam olarak yararlanır. LeCun tarafından üretilen LeNet modeli, çeşitli görüntü tanıma görevlerine uygulandığında iyi sonuçlar elde etmiştir ve genel görüntü tanıma sistemlerinin temsilcilerinden biri olarak kabul edilmektedir. Bu yıllar süren araştırma çalışmaları sayesinde, CNN'ler yüz tanıma, belge analizi, ses algılama, plaka tanıma vb. Gibi giderek daha fazla uygulanmaktadır. 2006 yılında, Kussul ve arkadaşları tarafından önerilen permütasyon kodlama teknolojisini kullanan sinir ağı, yüz tanıma, el yazısı rakam tanıma ve küçük nesne tanıma gibi tanıma görevlerinde bazı özel sınıflandırma sistemleriyle karşılaştırılabilir performans elde etti; 2012'de araştırmacılar Video verilerindeki sürekli çerçeveler, evrişimli sinir ağının girdi verileri olarak kullanılır, böylece zaman boyutundaki veriler, insan vücudunun eylemlerini tanımak için tanıtılabilir.
2. Denetimsiz öğrenme: Derin İnanç Ağı DBN'leri
DBN'ler, şu anda yaygın olarak çalışılan ve uygulanan bir derin öğrenme yapısıdır ve birden fazla sınırlı Boltzmann makinesi tarafından biriktirilir. Görünür katman, yani giriş veri katmanı () ve gizli katman (h) olarak ikiye ayrılan RBM yapısı Şekil 4'te gösterilmektedir.Her katmanın düğümleri arasında bağlantı yoktur, ancak katmanlar birbiriyle bağlantılıdır. Geleneksel sigmoid inanç ağıyla karşılaştırıldığında, RBM'nin ağırlık öğrenmeye bağlanması kolaydır. Hinton ve diğerleri, tipik bir DBN'nin gizli katmanları varsa, o zaman ortak olasılık dağılımının, giriş verileri ile gizli vektör arasındaki ilişkiyi tanımlamak için kullanılabileceğine inanıyor:
Bunların arasında koşullu olasılık dağılımı var. DBN öğrenme sürecinde öğrenilmesi gereken, ortak olasılık dağılımıdır.Makine öğrenimi alanında, ortak olasılık dağılımının anlamı nesnelerin üretilmesidir.
Geleneksel BP algoritması, klasik ağ yapısında yaygın olarak kullanılmaktadır, ancak derin öğrenme eğitimi için birçok güçlükle karşılaşmıştır: Birincisi, BP algoritması denetimli öğrenmedir ve eğitim, etiketli bir örnek seti gerektirir, ancak mevcut gerçek veriler hepsi Etiketsiz; ikincisi, çok gizli katmanlı bir öğrenme yapısında BP algoritmasının öğrenme süreci yavaştır; üçüncü olarak, uygun olmayan parametre seçimi yerel optimal çözümlere yol açacaktır. Üretken ağırlıkları elde etmek için ön eğitim, denetlenmeyen açgözlü katman katman algoritması kullanır Denetimsiz açgözlü katman katman eğitim algoritmasının Hinton tarafından etkili olduğu kanıtlanmıştır.
Denetimsiz açgözlü katman katman eğitim algoritmasının temel fikri şudur: DBN'yi katman katmana ayırın (bkz. Şekil 5), her katmanda denetimsiz öğrenme gerçekleştirin, bir seferde yalnızca bir katmanı eğitin ve sonucu üst katmanın girdisi olarak kullanın ve son olarak denetimi kullanın. Tüm katmanları ayarlamayı öğrenin. Bu eğitim aşamasında, önce görsel katmanda bir v vektörü oluşturulur ve değer bunun aracılığıyla gizli birime eşlenir; daha sonra, orijinal giriş sinyalini yeniden oluşturmaya çalışmak için görsel katmanın girişi rastgele seçilecektir; son olarak , Bu yeni görünür birimler gizli birimlere yeniden eşlenir ve yeni gizli birimler h elde edilir. Bu yinelemeli adımın gerçekleştirilmesine Gibbs örneklemesi denir. Gizli katman aktivasyon ünitesi ile görünür katman girdisi arasındaki korelasyon farkı, ağırlık güncellemesinin ana temeli olarak kullanılır. En üstteki iki katmanda, ağırlıklar birbirine bağlanır, böylece alt katmanın çıktısı bir referans ipucu sağlar veya üst katmanla ilişkilendirilir, böylece üst katman onu bellek içeriğine bağlar. Ön eğitimin ardından DBN, ağ yapısının performansını ayarlamak için etiketli verileri ve BP algoritmasını kullanabilir. DBN'lerin BP algoritmasının yalnızca ağırlık parametresi alanında kısmi bir arama yapması gerekir. İleri sinir ağı ile karşılaştırıldığında, eğitim süresi önemli ölçüde azalacaktır.Eğitim RBM, Gibbs'in etkili rasgele örnekleme tekniğidir. Açgözlü öğrenme algoritması sürecinde, Uyan-Uyku algoritmasının temel fikri benimsenir.Uyandırma aşamasında, algoritma, öğrenmeden elde edilen ağırlıkları kullanarak bir sonraki katmanın eğitimi için aşağıdan yukarıya doğru veri sağlamak için kullanır; Uyku aşamasında, kendine göre Yukarıdan aşağı sıra, verileri yeniden düzenlemek için ağırlıklar kullanır.
DBN'ler, şu anda geniş çapta incelenen ve uygulanan bir derin öğrenme yapısıdır. Esnekliği nedeniyle genişletilmesi nispeten kolaydır. Örneğin, evrişimli DBN'ler, konuşma sinyali işleme sorununa çığır açan bir ilerleme getiren DBN'lerin bir uzantısıdır. Ortaya çıkan bir üretici model olarak, DBN'ler nesne modelleme, özellik çıkarma, tanıma ve diğer alanlarda yaygın olarak kullanılmaktadır.
Derin öğrenme uygulamaları
Pratik uygulamalarda birçok problem derin öğrenme ile çözülebilir. Öyleyse bazı örnekler verelim:
Siyah beyaz resimlerin renklendirilmesi
Derin öğrenme, nesneleri ve durumlarını temel alarak resimleri renklendirmek için kullanılabilir ve sonuçlar insan boyama sonuçlarına çok benzer. Bu çözüm, renkleri yeniden oluşturmak için büyük bir evrişimli sinir ağı ve denetlenen katmanlar kullanır.
makine çevirisi
Derin öğrenme, işlenmemiş dil dizilerini çevirebilir ve algoritmaların kelimeler arasındaki bağımlılıkları öğrenmesine ve bunları yeni bir dile eşlemesine olanak tanır. Bu işlemi yapmak için büyük ölçekli bir LSTM RNN ağı kullanılabilir.
Görüntülerde nesne sınıflandırması ve tespiti
Bu görev, görüntünün daha önce bildiğimiz belirli bir kategoriye bölünmesini gerektirir. Şu anda, bu tür bir görev için en iyi sonuçlar, süper büyük ölçekli evrişimli sinir ağları kullanılarak elde edilmektedir. Çığır açan gelişme, Alex Krizhevsky ve diğerleri tarafından ImageNet yarışmasında kullanılan AlexNet modelidir.
El yazısını otomatik olarak oluştur
Bu görev, önce bir miktar el yazısı metin vermek ve ardından yeni benzer el yazısı sonuçları oluşturmaya çalışmaktır. İlk olarak, insanlar kağıt üzerinde bir metni elle yazmak için bir kalem kullanırlar ve ardından el yazısını modeli eğitmek için bir külliyat olarak kullanırlar ve son olarak yeni içerik oluşturmayı öğrenirler.
Otomatik oyun
Bu görev, bilgisayar ekranındaki görüntüye göre oyunun nasıl oynanacağına karar vermektir. Bu türden zor bir görev, modelin derinlemesine geliştirilmesinin araştırma alanıdır ve asıl buluş, DeepMind ekibinin sonucudur.
Sohbet robotu
Belirli soruları yanıtlamak için bir sohbet botu oluşturmak için diziye dayalı bir model. Çok sayıda gerçek oturum veri kümesine dayalı olarak oluşturulur.
Derin öğrenme araştırmalarında birçok sorun olmasına rağmen, makine öğrenimi alanındaki etkisi küçümsenemez. Daha karmaşık ve güçlü derinlemesine modeller, büyük verilerde taşınan bilgileri derinlemesine ortaya çıkarabilir ve gelecekteki ve bilinmeyen olaylar hakkında daha doğru tahminler yapabilir. Kısacası, derin öğrenme, incelenmeye değer bir alandır ve önümüzdeki birkaç yıl içinde daha olgun hale gelecektir.
