Özel | Bir Makalede Olasılık Teorisini Okuma: Bayes Teorisi (bağlantı ile)
Eser sahibi: Jaime Zornoza
Çeviri: Li Jie
Redaksiyon: Zheng Zi
Bu makalenin uzunluğu yaklaşık olarak 3400 kelime , Okumanız tavsiye edilir 10 dakika
Bu makale, kavram öğrenmede yaygın olarak kullanılan Bayes teorisini ayrıntılı olarak tanıtmaktadır.
Basit bir örnekle, temel olasılık teoremlerinden birini anlayın.
Bu makale, bazı temel olasılık ve istatistik bilgilerine sahip olmanızı gerektirir. Eğer yapmadıysanız, korkmayın, size bu konuları tanıtmak için bulabileceğim en iyi kaynaklardan bir dizi derledim, böylece makalenin içeriğini okuyabilir, anlayabilir ve tam olarak tadını çıkarabilirsiniz.
Bu makalede, olasılık teorisinde en ünlü ve en sık kullanılan teoremlerden birini tartışacağız: Bayes teoremi. Hiç duymadın mı O zaman kutsanacaksın! Bilginizi pekiştirmek için okuyun ve basit bir örnek kullanın, böylece bunu başkalarına da basit terimlerle açıklayabilirsiniz.
Gelecek makalelerde, Bayes teoreminin bazı daha pratik basitleştirmelerinin yanı sıra gizli Markov modelleri gibi diğer olasılıklı makine öğrenimi yöntemlerini öğreneceğiz.
başlayalım!
Olasılığa Giriş
Bu bölümde, bu makaleyi anlamak için olasılık temeli sağlamak için üç büyük özlü kaynağı (özellikle ilk ikisi, üçüncüsü biraz daha kapsamlı) listeledim. Merak etmeyin, bu kavramlar çok basit, sadece hızlıca okuyun ve kesinlikle tamamen anlayacaksınız.
Temel olasılık teorisinde ustalaştıysanız, bu bölümü atlayabilirsiniz.
- Ana olasılık teorisi terimlerini ve bu makaleyi anlamak için gereken diğer konuları kapsayan kısa bir tanıma sahip orta derecede zor bir makale (https://medium.com/@laumannfelix/statistics-probability-fundamentals-1-1325ef72f3f) Bazı açıklayıcı basit örnekler.
- Makine öğreniminde olasılığa ilginç bir giriş ( esas olarak gizemli ama basit bir örnek aracılığıyla olasılık temel terimlerini tanıtır.
- Harvard Üniversitesi'ndeki İstatistik 110 kursu (https://projects.iq.harvard.edu/stat110/home). Sadece temel bilgileri öğrenmek değil, aynı zamanda istatistiklerin güzel dünyasını daha derinlemesine anlamak istiyorsanız, işte daha bol kaynaklar.
Artık içeriğin geri kalanını okumaya devam edebilir, arkanıza yaslanıp rahatlayabilir ve keyfini çıkarabilirsiniz.
Bayes teoremi
Bayes kimdir?
Thomas Bayes (Thomas Bayes, 1701-1761) İngiliz bir ilahiyatçı, matematikçi ve Kraliyet Cemiyeti'nin (dünyadaki en eski ulusal bilim topluluğu ve Birleşik Krallık'ta bilimsel araştırmaları teşvik eden önde gelen ulusal kuruluş) üyesidir. Newton, Darwin ve Faraday gibi diğer bilim adamları da Royal Society'ye katıldı. En önemli olasılık teoremlerinden birini öne sürdü ve ona Bayes teoremi veya koşullu olasılık teoremi adını verdi.
Bayes teoreminin babası saygın Thomas Bayes'in portresi
Teorem: Koşullu Olasılık
Bu teoremi açıklamak için çok basit bir örnek vereceğiz. Size çok nadir bir hastalık teşhisi konduğunu varsayalım Bu hastalığa sahip hastaların oranı nüfusun sadece% 0,1'i, yani binde 1 kişidir.
Bu hastalığı kontrol etmek için katıldığınız test, hastaların% 99'unu doğru bir şekilde tanımlayabilir ve sağlıklı insanları yanlış sınıflandırma şansı yalnızca% 1'dir.
Gerçekten kader! Doktor, bu hastalık ölümcül mü?
Çoğu insan bunu sorar. Ancak, bu testten sonra, gerçekten bu hastalığa yakalanma olasılığımız nedir?
% 99! Emanetlerimi düzenlemeye başlayabilirim.
Bu fikre dayanarak, Bayesçi düşünce üstünlüğe sahip olmalıdır, çünkü aslında gerçek değerden çok uzaktadır. Biraz fikir edinmek için Bayes Teoremini kullanalım.
Bayes teoremi veya daha önce bahsedilen koşullu olasılık teoremi, belirli bir olay (E) meydana geldiğinde (örneğin, bir testte pozitif olarak teşhis edildiğinde) hipotezin (H) doğru olma olasılığını hesaplamak için kullanılır. Aşağıdaki şekilde hesaplanmıştır:
Bayes'in koşullu olasılık formülü
Eşittir işaretinin sol tarafındaki P (H | E) terimi, hastalık testinde pozitif (E) olarak teşhis edilmiş olması koşuluyla bir hastalığa (H) sahip olma olasılığıdır. Aslında hesaplamak istediğimiz şey budur. Olasılık maddesindeki dikey çizgi (|) koşullu olasılığı gösterir (yani, A'nın B koşulu altında olasılığı P (A | B) olarak ifade edilir).
Hipotez doğruysa, sağ payın sol terimi P (E | H) olayın olasılığıdır. Örnekte, eğer bu hastalığa sahipsek, testte pozitif olarak teşhis edilme olasılığımızdır.
Yanındaki P (H) öğesi, herhangi bir olay meydana gelmeden önce varsayılan varsayılan olasılıktır. Bu, herhangi bir testten önce hastalanma olasılığıdır.
Son olarak, paydadaki P (E) terimi, olayın olasılığı, yani pozitif bir hastalık olarak teşhis edilme olasılığıdır. Bu terim daha küçük iki terimin toplamına ayrılabilir: hastalıklı ve test edilmiş pozitif ve hastalıksız ve test edilmiş pozitif.
Pozitif bir test sonucu olasılığını yeniden yapılandırdı
Bu formülde, P (~ H), hastalık olmamasının önceki olasılığını temsil eder, burada ~ negatifi temsil eder. Aşağıdaki şekil, koşullu olasılığın genel hesaplamasında yer alan her bir öğeyi açıklamaktadır:
Bayes'in teorem formülünde yer alan her terimi tanımlayın
Bizim için, H'nin bir hastalığı olduğunu varsayarsak, bu tür bir hastalık için yapılan testlerde E olayının pozitif olarak teşhis edildiğini lütfen unutmayın.
Gördüğümüz ilk formülü (hasta olma ve pozitif olarak teşhis edilme koşullu olasılığını hesaplamak için tam formül) kullanırsak, paydayı ayrıştırıp sayıları girersek, aşağıdaki formülü elde ederiz:
Koşullu olasılık hesaplaması
0,99, bir hastalığın pozitif teşhisi konma olasılığının% 99, 0,001, hastalığın 1/1000 olasılığından, 0,999 hastalığa yakalanmama olasılığının ve 0,01, hastalık olmasa bile pozitif olarak teşhis edilme olasılığından gelir. Hesaplamanın nihai sonucu:
Hesaplama sonuçları
% 9! Bu hastalığa yakalanma şansımız sadece% 9! "Bu nasıl mümkün olabilir?" Kendinize soruyor olabilirsiniz. Hayır, dostlarım, bu sihir değil, sadece olasılık: uygulamalı matematikte sağduyu. Daniel Kahneman'ın (Daniel Kahneman) "Düşünen, Hızlı ve Yavaş" adlı kitabında tanımladığı gibi, önceki örnekte gösterildiği gibi, insan beyninin olasılığı tahmin etmesi ve hesaplaması zordur, bu nedenle sezgisellik konusunda dikkatli olmalıyız Alışkanlıkla düşünün, bir adım geriye gidin ve kullanabileceğiniz olasılık araçlarını kullanın.
Şimdi, ilk test pozitif olarak teşhis edildikten sonra, sonuçları gözden geçirmek için farklı bir klinikte aynı koşullara sahip başka bir test yapmaya karar verdiğimizi hayal edin.Maalesef, tekrar pozitif bir teşhis aldık, bu da ikinci kez Test ayrıca bu hastalığa sahip olduğumuzu da gösterdi.
Şu anda gerçek hasta olma olasılığı nedir? Önceki önceki olasılığın (% 0,1'lik prevalans) önceki arka olasılıkla (bir testte pozitif olarak teşhis edilen) değiştirilmesinin dışında, önceki formülü tam olarak kullanabiliriz. Olasılık% 9) ve diğer maddelerdir.
Elde edilen sayıları işlersek:
İkinci test pozitif olduktan sonra koşullu olasılığı hesaplayın
İkinci test pozitif
Şimdi aslında bu hastalıktan muzdarip olma şansımız daha yüksek,% 91. Durum berbat görünse de, iki kez pozitif test ettikten sonra, hastalığımızın olup olmadığından hala tam olarak emin olamayız. Olasılık dünyasında kesinlik yok gibi görünüyor.
Teoremin arkasındaki gerçekler
Bu ünlü teoremin arkasındaki gerçek, bu dünyadan asla tam olarak emin olamayacağımızdır, çünkü bu sürekli değişen bir varoluştur ve değişim gerçekliğin özüdür. Bununla birlikte, yapabileceğimiz şey, bu teoremin ifade ettiği gibi, gittikçe daha fazla veri veya kanıt elde ettikçe, gerçeklik anlayışımız güncellenmiş ve geliştirilmiştir.
Bu çok basit bir örnekle açıklanabilir. Şu senaryoyu hayal edin: Kare şeklindeki bir bahçenin kenarında bir sandalyede oturuyorsunuz ve bahçeden dışarıya bakıyorsunuz. Karşı tarafta, kareye mavi bir top atan bir hizmetçi vardı. Bundan sonra, diğer sarı topları da kareye atmaya devam etti ve size orijinal mavi topa göre nerede olduklarını söyledi.
Giderek daha fazla sarı top iniş yaptıkça ve ilk mavi topa göre nerede olduklarını öğrendikçe, mavi topun olası konumları hakkındaki anlayışınızı kademeli olarak artırırsınız ve bahçenin belirli kısımlarını dışarıda bırakırsınız: Daha fazla kanıt elde etmek için (daha fazla sarı top) bilgimizi güncelledik (mavi topların konumu).
Yukarıdaki örnekte, yalnızca üç sarı top atıldığında, mavi topun bahçenin sol üst köşesinde bir yerde olduğu fikrini belirlemeye başlayabiliriz.
Bayes teoremi ilk kez önerdiğinde başlangıçta yayınlamamış, özel bir şey olmadığını düşünmüş, teoremin bulunduğu kağıt ölümünden sonra keşfedilmiştir.
Günümüzde, Bayes teoremi sadece modern olasılığın temellerinden biri değil, aynı zamanda spam filtreleri, metin işleme ve hatta metin işlemeyle hiçbir ilgisi olmayan senaryolar gibi birçok akıllı sistemde de kullanılmaktadır.
Bir sonraki makalede, bu uygulamaların ne olduğunu ve Bayes Teoremi ve varyantlarının birçok pratik kullanım durumuna nasıl uygulanabileceğini göreceğiz. İzlemek istiyorsanız lütfen kanalımı takip edin ve bizi izlemeye devam edin!
İşte bu, umarım bu yazıyı beğenirsiniz. Benimle LinkedIn üzerinden iletişime geçebilir veya Twitter'da @jaimezorno beni takip edebilirsiniz. Ek olarak, veri bilimi ve makine öğrenimi hakkındaki diğer makalelerime de göz atabilirsiniz. Mutlu okumalar dilerim!
Orjinal başlık:
Olasılık Öğrenimi I: Bayes Teoremi
Orijinal bağlantı:
https://www.kdnuggets.com/2019/10/probability-learning-bayes-theorem.html
Editör: Wang Jing
Redaksiyon: Hong Shuyue
Çevirmen Profili
Li Jie , Hong Kong Bilim ve Teknoloji Üniversitesi'nden telekomünikasyon alanında yüksek lisans derecesi ile mezun oldu ve şu anda Hong Kong Baptist Üniversitesi Birleşik Koleji, Pekin Normal Üniversitesi Veri Bilimi Bölümü'nde yardımcı doçent. Veri bilimi gibi, okumak gibi, kod çalışmak ve manuel çalışma yapmak gibi. Her zaman öğrenme durumunu ve yaşam sevgisini sürdürmeyi, mutlu olmayı ve her gün ilerlemeyi umuyorum ~
- Bitiş -
Tsinghua-Qingdao Veri Bilimi Enstitüsü'nün resmi WeChat kamu platformunu takip edin " THU Veri Pastası "Ve kız kardeş numarası" Veri Pastası THU "Daha fazla ders avantajı ve kaliteli içerik elde edin.
