Sınıf Bayesci Çıkarıma Pratik Bir Giriş
Bayesçi akıl yürütme nedir? Naive Bayes uygulaması gibi önceki makalelerde Bayes olasılığının bilgisini analiz ettim, bu sefer New York Üniversitesi weijima metodoloji dersine entegre edildi (http: //www.cns .nyu.edu / malab / index.html), size daha pratik bir sürüm sunmak için.
1. Bayesci olasılık nedir ve klasik olasılıkla ilişkisi nedir?
Önce Bayes'ten bahsetmek, problemi ölçmek için olasılığı kullanmaktır. Herkes olasılık konusuna aşina hisseder, olasılığın tanımı hakkında konuşmanız istenir, ancak bunu mutlaka söylemeyebilirsiniz. Klasik olasılık, bir olayın olasılığını ifade eder. Ortaokul ders kitaplarımızda ifade olasılığı, bir olayın meydana gelme sıklığıdır ve bu sıklık, bir olayın gerçekleşme olasılığını temsil eder. Başka bir deyişle, buna nesnel olasılık denir.
Bayesçi çerçeve altındaki olasılık teorisi, cevabı bize başka bir açıdan veriyor. Olasılığın, bir şeyin olup olmadığına ne kadar inandığımızı gösteren kişisel öznel kavramımız olduğunu söyledi. . Pierre Lapalace'in dediği gibi: Olasılık teorisi, sağduyunun hesaplamaya indirgenmesinden başka bir şey değildir, bu Bayes okulunun özüdür, yani beynimizdeki dış bilgi ve inançlar arasındaki etkileşimi çözer.
Olasılığın iki yorumu, frekans türü ile Bayes türü arasında ayrım yapar. Aynı zamanda, ikisi arasındaki bağlantıyı görmek zor değildir.Bir olayın olasılığına ilişkin tahmininiz, belirli bir sıklıktaki istatistiklere dayanmaktadır. Ama aralarındaki fark nedir?
Her şeyden önce size şu olayı verelim: Varsayalım ki çocuğunuzu ayı görmeye götürüyorsunuz, sonra çocuk ayın bir parça peynir olduğunu söylüyor, ona ne dersiniz? Öncelikle bilmelisiniz ki ay peynir değil, taş bir gezegen Peki çocuklarınıza bunu nasıl anlatacaksınız? Her şeyden önce, olasılık dünyasında yaşıyoruz. Söylemek zorunda olduğun şey, ayı taş ya da peynir olarak düşünebileceğin ama hiçbirine inanmadığın. Onlara inanmadığın için onlara Hipotez 1 ve Hipotez 2 diyorsun ve sonra onları veriyorsun Her sayı, olasılık olan olasılığın boyutunu temsil eder. Ardından, frekans görünümü ile Bayesian arasındaki farka bakarız.
1. Frekans görünümünün ebeveynleri: Bazı ölçümler yapmak için gökyüzüne gidin, peynirin taşa oranına bakın ve ardından Hipotez 1 ve Hipotez 2'nin olasılığını hesaplayın.
2. Bayesçi ebeveynler: Çocuklarla gökyüzüne gidemeyiz, ancak hayatımızdaki deneyimi hayal edebilir ve sonra ders kitabına bakabiliriz. Her şeyden önce ders kitabı, şu ana kadar gökyüzündeki ışığın% 99.99'unun taş olduğunu söylüyor. Öyleyse tekrar yaşam deneyimini düşünün, eğer peynir ise gerçekten parlak sarı bir parıltıdır, bu nedenle hayatın kanıtı, ayın peynir olduğu hipotezinin barışı ihlal etmediğini göstermektedir. Sonra ikisini bir araya getirin ve daha sonra anlatılacak olan bir dizi formül aracılığıyla, çocuğa gözleminin makul olasılığını kitaptaki bilgilerle birleştirin: Ayın bir taş olma olasılığı% 99,9'dur. Bayes, kendi bilgisizliğimizi kabul ederek, farklı varsayımlarda ayarlamalar için yer açar.
Hangi süreç daha mantıklı? Hangi yöntem daha doğrudur? Kendin analiz et. Burada söylemek istediğim şey, Gerçek dünyada, yaptığımız şey çoğu zaman olayların olasılığını tahmin etmek için fenomenin ampirik akıl yürütmesini bir tür a priori ile birleştirmektir. Bu tam olarak Bayesçi düşüncedir. Hiç kimse her önemli şeyi yapmayacaktır. Sınırsız ölçüm, tüm olaylar tekrarlanamaz (ayrılık mümkün değil, borsa çöküşü mümkün değil), yapabileceğimiz tek şey bu.
Bayes matematiksel formülü çok basittir: Birincisi, önceki olasılık P (A), ikinci olasılık P (B | A) ve son olarak son olasılık P (A | B) olmalıdır. Bu üç unsur, Bayes istatistiğinin üç unsurunu oluşturur. Olasılık pratik koşullu olasılıkla ifade edilir ve son durum da koşullu olasılıkla ifade edilir.Buna dayalı Bayes Yasasının matematiksel denklemi son derece basittir:
Ay örneğini uygulamak için, P (A) ayın peynir olduğu hipotezini ve P (B | A) sarı ışıldama fenomenini temsil eder. Yani, ayın peynir olma olasılığı, ay peynir ise sarı renkte parlama olasılığıdır.İlk ikisini alırsanız, kanıtları birleştirdikten sonra ayın peynir olma olasılığını hesaplayabilirsiniz. Burada hesaplaması daha zor olan P (B)
Aslında, hesaplaması için sonucu verebilecek tüm hipotezleri dahil etmeli ve her hipotez altında gözlemlenen fenomenin olasılığını genişletmek için marjinal olasılık yasasını kullanmalısınız.Örneğin bu soruda, ayı peynir olarak düşünmelisiniz. Hem hipotezler hem de taş dahil edilmiş ve her hipotez altında ışık yayma olasılığı ayrı ayrı hesaplanmıştır.
Çok ilginç bir fenomen, önceki olasılığımızın 1 veya 0 olduğu doğrulanırsa (yani bir şeyi onaylayın veya reddedin), o zaman kanıtı nasıl artırsak da, yine de aynı koşullu olasılığı elde edeceksiniz (şu anda P (A) = 0 veya 1, P (A | B) = 0 veya 1) Bunun bize söylediği ilk deneyim, çok erken yargılarda bulunmamamızdır. Yargılarda bulunduktan sonra, tahminleriniz gelişmeyecek veya buna inanç denilebilir . Bilişinizi geliştirmek istiyorsanız, çeşitli varsayımlara yer bırakmanız gerekir.
Bayes analizi fikri, bir şeyin olasılığının kanıt birikiminden çıkarılmasında önemli bir rol oynar Bize, bir şeyi tahmin etmek istediğimizde, ihtiyacımız olan şeyin ilk önce mevcut deneyim ve bilgiye dayalı olarak bir önceki olasılık sonucuna varmak olduğunu söyler. Sonra yeni kanıtlar biriktikçe bu olasılığı ayarlayın. Bir olayın olasılığını elde etmek için kanıt toplama sürecinin tamamına Bayes analizi denir.
Bayes matematiksel hesaplama esas olarak koşullu olasılığın pratikliğini araştırır. Ama bazen şartlı olasılığı anlamıyoruz, örneğin ünlü Simpson davasında, Simpson'ın karısını öldürmekten suçlu olduğunu kanıtlamak için savcı Simpson'ın daha önce aile içi şiddet geçmişi olduğunu söyledi ve savunma avukatı Amerika Birleşik Devletleri'nde 4 milyon kadının kocaları veya erkek arkadaşları tarafından dövüldüğünü söyledi. Ancak bunların sadece 1432'si öldürüldü, olasılık 2800'de 1. Bu aslında şartlı olasılığın kötüye kullanılmasıdır, çünkü savunma avukatı tarafından kullanılan koşul aile içi şiddet ve spekülasyon için kullanılan olay erkek arkadaşının birini öldürmesidir.Aslında buradaki şartlar cinayet ve aile içi şiddet ve spekülasyon yapılacak olay katilin öldüğüdür. Erkek arkadaş (aslında olasılık% 90 kadar yüksek), bu Bayes analizinin doğru kullanımıdır, ancak savunma avukatları durumu test edilecek hipotez ile tamamen karıştırır.
İkinci olarak, modelleme yapmak için Bayes olasılık araçlarını kullanın
Bayes olasılığı çok temel bir istatistiksel bilgidir.Bazıları bunu sadece istatistik olarak görür, ancak psikoloji, ekonomi, sinirbilim ve diğer alanlarda büyük potansiyele sahiptir. neden? Bu tür bir problemin araştırma nesnesi genellikle son derece yüksek belirsizliğe sahip olduğundan, çok sayıda alt düzey birimden oluşan karmaşık bir sistemdir. Bu, Schrödinger denkleminin moleküler yapısını çözmek için fiziği doğrudan kullanmayı imkansız kılar.İnsan davranışını hidrojen atomlarının spektrumu gibi çözemezsiniz.
Peki ne yapmalı? Saf istatistikler mi? Tüm olası insanların özellikleri ile davranışları arasındaki ilişkiyi saymak için bir ölçek yapabilir ve ardından bir Pearson katsayısı bulabilirsiniz. Ancak böyle bir yöntem kullanılabilmesine rağmen, nicelleştirme ve makine öğreniminin hızlı gelişimi ile bugün hala biraz naiftir.
Uzlaşma yöntemi mi? Bayes modelleme. Bayes modelleme, "kara kutu" problemlerinin üstesinden gelmede çok iyidir.Doğru tahmin için iyi olmayan ancak biraz modelleme kullanan bu tür şeylerle uğraşmak çok faydalıdır. Bayes modelleme, deneysel verileri ve teoriyi hızlı bir şekilde birleştirebilir. Ve beyin işleme bilgilerimizin Bayesci çerçeveye uygun olduğu söyleniyor.
A priori, gözlem ve olasılık hipoteziniz olduğu sürece, bir Bayesçi kullanabilirsiniz. Buradaki olasılık genellikle teorik modelimiz tarafından sağlanır ve Bayesci çerçeve bu modelin parametrelerini hızla dışarı çıkarabilir. Bu aynı zamanda, birkaç farklı model varsayımınız ve bazı verileriniz varsa, Bayes'in size hangisinin daha makul olduğunu hızla söyleyeceği anlamına gelir.
Örneğin, psikolojik bir fenomeni açıklayan tamamen farklı iki hipoteziniz varsa, Bayes yöntemi size hızlı bir şekilde hangisinin daha makul olduğunu söyler. Bunu açıklamak için aşağıdaki örnekleri kullanalım. Az önce söylediğim gibi, bir model oluşturuyoruz ve Bayes'i onu bir tahmin makinesine dönüştürmek için kullanıyoruz. Model ne kadar basit olabilir? Aşağıdaki örneği düşünün:
1. Birden çok hareketli nesne örnekleri
Bayesçi davranış modellemesi (Weiji Ma)
Bayesçi davranış modellemesi (Weiji Ma)
Yukarıdaki resim gibi birlikte hareket eden bir grup nesne görürseniz, insanlar bunların bir bütün olduğunu düşünme eğilimindedir. Bu fenomen, Gestalt psikolojisi tarafından doğal bir psikolojik eğilim olarak açıklanmaktadır. Aynı fenomeni açıklamak için, yalnızca basit bir Bayes olasılık modeli oluşturmanız gerekir:
1. Olası iki hipotez ve fenomeni bulun A'daki beş nesne bağımsızdır ve sadece birlikte yukarı doğru hareket ederler B'deki beş nesne bir bütündür. Olgu: Beş nesne birlikte yukarı doğru hareket ediyor
2. A ve B'nin öncelikli olasılığını bulun: Önceki tamamdır. Bilgiye veya çok sayıda geçmiş gözlemlere dayanarak, sıradan yaşam deneyimi veya kitaplar size iki durum arasında büyük bir boşluk olmayabileceğini söyleyecektir.
3. A ve B'nin fenomeni alma olasılığı.Aslında, fenomenin hipotezini ölçer.Bu durumda, B neredeyse kesinlikle fenomeni alır.A, eğer her nesnenin yukarı veya aşağı gitme olasılığı 0.5 ise, o zaman olmalıdır Öğrenin: 1/32
4. Birleşik arka olasılık: B, A'yı eziyor.
Bu nedenle, hem A hem de B mümkün olsa bile A'nın doğru olduğunu düşünme eğilimindeyiz. Buradan çıkan sonuç, insanların Gestalt ilkesine uygun olarak, birlikte hareket eden nesneleri bir bütün olarak görme eğiliminde olmalarıdır.
2. Spor baş dönmesi
Benzer bir yöntem, içimizdeki çok yaygın bir fenomen olan deniz tutması gibi günlük hayatımızdaki birçok olguyu açıklayabilir. Deniz tutması ile ilgili önemli bir evrimsel psikoloji teorisi, bunun ataların zehirli bir boşaltım tepkisi olduğunu söylüyor, çünkü atalar zehiri tattıktan sonra baş dönmesine neden olacak ve kusma bu sırada zehiri boşaltabilir. Evrimsel psikoloji, aslında atalarımızın anılarında yaşadığımızı göstermek için bu örneği kullanır.
Öyleyse, bu çok basit model hipotezinin geçerli olma olasılığı nedir? Bu sorunu analiz etmek için Bayes yöntemini kullanırsanız, çok net bir çerçeve olacaktır. Burada vertigonun gerçekten de beynimizin bu fenomene dayalı olarak dünyaya verdiği yanıt olduğunu varsayıyoruz Kabinde vertigo var. Üç olası modelimiz var:
A, Beynimiz kendi hareketimizi algılar, gözümüze ve vestibüler hislere neden olan kendi hareketimizdir.
B. Beynimiz yerin hareketini algılar, kendi hareketimiz (salınım) görsel algımıza yol açar ve vestibüler kabin ve yerin göreceli hareketini algılar.
C Beynimiz zehir soluduğumuzu tespit etti. Zehrin etkileri kendi hareketinize ve algıladığınız yerin şiddetli sarsılmasına (halüsinasyonlar) neden olur.
Bayesçi analiz çerçevesi bize A olasılığının 0 olduğunu, çünkü nedenselliğin yanlış olduğunu ve kendi hareketimizin yalnızca görsel algımızı açıklayabileceğini söyler. B, önceki 0'dır. Dünya sona ermedikçe, atalarımız arabalar ve gemiler gibi hızlı hareket eden nesneler üzerinde neredeyse hiç hareket etmeyeceklerdir. C. Bu durum gerçekten ataların yaşamlarında ortaya çıkacaktır. Zehir, öyleyse halüsinasyonlar üretmek gerçekten mümkündür, bu nedenle olasılık 0 değildir. Dolayısıyla, ilk ikisine kıyasla, C en olası olanıdır. Elbette, dikkatli olursanız, burada özellikle öncelere ilişkin çok fazla varsayımda bulunulduğunu göreceksiniz, ancak bu şüphesiz görece makul bir çerçeve.
3. Renk hatası
Arkadaş çevresini abartan bu yazıdan hiç etkilendiniz mi, bu eteğin rengi siyah mı altın mı? Bazıları siyah olduğunu sanıyor, bazıları altın olduğunu düşünüyor, ama bu ne renk? Kimse bilmiyor. Bu, nesnel dünyanın var olmadığı anlamına mı geliyor? Yoksa iyimserlik ve karamsarlığı tespit etmenin bir yolunu mu buluyoruz? İlk ikisini düşünüyorsanız Bayes'i anlamıyorsunuz demektir. Aslında bu sorunun özü, bu eteğin renginin gerçekten belirsiz olmasıdır. Ve gerçek dünyadaki renk yargımız aslında Bayesçi bir çıkarımdır.
Bakalım neden, renk aslında spektrum tarafından belirleniyor ve aynı zamanda farklı frekanslardaki ışık bileşenlerinin boyutu. Burada bir sadeleştirme yapıyoruz, sadece siyah, beyaz ve gri var. Bildiğiniz gibi, aslında, gerçek dünyadaki nesneler renk hakkında konuşamazlar, sadece yansıtırlar ve yansıma ile çarpılan olay ışığı onu nasıl gördüğümüzü belirler. Siyah nesne 0'ın yansıtıcılığını temsil eder, beyaz nesne 1'dir ve orta gri renktedir. Ancak, araştırmanızın yalnızca yansıyan ışık yoğunluğunu tespit edebileceğini hatırlıyorsunuz, bu da yansıma ile çarpılan ışık yoğunluğuna eşittir. Gözleriniz yansıyan bir ışık yoğunluğu algılarsa ve nesne tanıma sorunumuz aslında yansıtma özelliğini bulmaksa (renkle ilgilidir).
Yani araştırmamız bir ikilemle karşılaştı. Topladığı verilerin yansıyan ışık yoğunluğu, hem yansıtma hem de olay ışığı bilgilerini içerir. Elde ettiğimiz şey, yansıma ve gelen ışığın bir kombinasyonudur, öyleyse neden siyah, beyaz ve gri renkler görüyoruz? Bunun nedeni, beynimizin a priori ve olasılığa dayalı bir Bayesçi çıkarım yapmasıdır. Her şeyden önce, burada önceli nedir? Doğada, o andaki ve sahnedeki ışık yoğunluğuna dayalı olarak gelen ışık yoğunluğunu sıklıkla tahmin ederiz Bu ampirik değer bizim önceliğimizdir (burada bu ampirik değeri, en olası değerin merkezli olarak düşünmek en iyisidir. Gauss dağılımı). Günlük yaşam nedeniyle her zaman bu tür ışıktadır. Daha sonra şu andaki çarpım kuralına göre (bu, olasılığa eşdeğerdir, yansıma ve gelen ışık yoğunluğuna sahipsiniz, gözlerinizin algılama ışık yoğunluğunu tamamen belirleyebilirsiniz, bir Dirac işlevi), yansımanın posterior dağılımını anlayabilirsiniz, Bu dağılımın zirvesi, muhtemelen göreceğiniz renktir.
Bu deney eteğin rengini açıklar.Siyah veya altın görmeniz, spot üzerindeki ışık yoğunluğu ile ilgili günlük deneyiminizle ilgilidir.Görünüşe göre bardaki DG ile güneşin altındaki inşaat mühendisinin farklı fikirleri var. . Bu da bize gördüğümüzün asla doğru olmadığını söylüyor. Aldığımız bilgi her zaman sınırlı olduğundan, bilinçsizce çok fazla beyin takviyesi yapıyoruz.Bu beyin takviyeleri nihayet gördüğümüz dünyayı oluşturuyor.
Muhtemelen dönen dansçılar deneyini hatırlarsınız.Renk problemini şimdi anlarsanız, bu problemi açıklamak kolaydır. Sağa mı sola mı döndüğünü görüyor musun? Sol beyinli veya sağ beyinli insanları açıklamak için alıntı yapılmamış mı? Hâlâ inanıyor musun? Dönen dansçı, farklı yorumları barındırabilen eksik bilgilerle tipik bir sorundur. Bazı dedikodu iddiaları güvenilir olmasa da, bu tür soruları yanıtlarken insanlar arasında gerçek farklılıklar varsa, bize hiç düşünmediğimiz bir şey söyleyebilirler (öncülümüze ne sebep oldu? ).
Bu tür beyin takviyelerinin sayısız örneğinden alıntı yapabilirsiniz, örneğin İngilizce bir makaledeki her kelimenin ilk ve son harflerinden bazılarını neden tahmin edebilirsiniz?
4. Zamanla ilgili faktörlerin tahmini
Bayes yönteminin çözmede çok iyi olduğu bir problem, zamanla ilgili faktör ön varsayımıdır. Diyelim ki sık sık yemek yemek için en sevdiğiniz bir restorana gidiyorsunuz ve bir gün aniden bu restorandaki yemeklerin aniden lezzetli olduğunu fark ediyorsunuz. Sorun ne olabilir? Şef değişti mi? Ancak görmek için restorana giremezsiniz, bu sırada birkaç gün önce yediklerinizin tadının değişip değişmediğini düşünmeye başlayacaksınız, dikkat etmediniz.
Aslında, burada zaten Bayesci bir çıkarım sürecine başladınız. Diyelim ki günde bir kez yemek yemeye geldiniz ve şefin belli bir noktada kırılma olasılığını tahmin etmek istiyorsunuz, bu klasik bir nokta tahmin problemidir. Bu soru zordur, çünkü her öğünü bir ölçü olarak düşünürseniz, ölçümün kendisi gürültülüdür, bu da bir karar vermenizi zorlaştırır.Aşçı kötü bir ruh hali içinde olduğu ve o gün yemeği pişirdiği için mi? Şefi değiştirdi. Söylemeye gerek yok, bu sorunun pratikliği, ister tıbbi bir sağlık teşhis problemi mi, yoksa belirli bir kişilerarası ilişkideki bir değişiklik mi (iyi bir ilişki aniden değişir mi? Hayır, tüm ani değişiklikler potansiyel olarak uzun planlıdır).
Peki bunu nasıl yapacaksınız? Aslında, bu zaten çok karmaşık matematiği içermeye başladı Bayesçi öze geri dönecek olursak, öncül nerede ve olasılık nerede? Pek çok Bayesçi problemde, a priori öznellikle doludur ve burada bir istisna yoktur.Tüm öznelliğin en amacı, bunun sabit olduğunu, yani şef değişiminin zaman içinde tekdüze olduğunu varsaymaktır.
Öyleyse, olasılık ne olacak? Olasılık, üretken bir modeldir. Bu size şefin değişmesi gibi dahili bir süreç vermek ve ardından yemeğin tadındaki değişikliği çıkarmaktır. Yerleştirilebilecek en basit modellerden biri, dönüşüm olasılığının zaman içinde bağımsız olduğu bir Markov sürecidir. Bu üretici modelle, şefin farklı zamanlarda değiştirdiği yemeklerin tadı için bir dizi dağılım elde edeceksiniz. Bu, üretken model bölümünü tamamlar.Aşağıdaki çalışma çok basittir.Bayesian'a göre tersine çevirin ve belirli bir gözlem altında farklı zaman periyotlarında değişen potansiyel faktörün (cook) olasılık dağılımını elde edersiniz.
Üç Bayesci çıkarım bize ne anlatır?
Geleneksel derin öğrenme, veriler tarafından yönlendirilen çok sayıda etiketli kara kutu ile karakterize edilir ve olasılık dağılımını dikkate almaz. Derin üretken modeller çağında, olasılık dağılımını göz önünde bulundurmalıyız, bu nedenle, derin üretken modeller ve Bayesian'ın derin bir iç bağlantısı vardır. Aynı zamanda, Bayesci çerçeve, etkili öncelikleri birleştirerek daha az veriyle daha iyi genelleme sonuçları elde edebilir ve ayrıca derin öğrenmenin ihtiyaçları ile son derece uyumludur. Ağ eğitiminde ikisinin kombinasyonu için lütfen Deep Bayes'e bakın.
Bayes analizinde şunu bulacaksınız: Her zaman bir öncekine, olasılığa sahipsin ve olasılık aslında basit bir model (Aynı zamanda çok karmaşık olabilir!). Aslında, biz Bayesian'ı düşünme sürecimizde aktif veya pasif olarak, doğru veya yanlış kullanıyoruz. Tanıdığınız gerçeklerin çoğu sizin çıkarımlarınızdır. Aynı nesnel verilerle karşı karşıya kaldıklarında, farklı önsel veya olasılığa sahip kişiler tamamen zıt sonuçlara varabilir. Dogmatik kişi, belirli bir hipoteze sonsuz derecede güçlü bir öncül vermiş olabilir. Kolayca kandırılan çoğu insan, karmaşık sosyal olayları açıklamak için iyi insanları ve kötüleri kullanmak gibi çok basit olasılık modelleri kullanmış olabilir. Akıllı olmaya ne dersin? Diğer olasılıkları göz ardı ederek kendine faydalı açıklayıcı bir model kullanabilir.
Kaynak: Chaos Cruiser
(Bu makale bir ağ alıntı veya yeniden basımdır, telif hakkı orijinal yazara veya yayın medyasına aittir. Çalışmanın telif hakkıyla ilgiliyseniz, lütfen bizimle iletişime geçin.)
