Makine öğrenimi ile istatistik arasındaki fark nedir?
İstatistikler ve makine öğrenimi arasındaki ayrım bulanıktı. Hem endüstri hem de akademi her zaman makine öğreniminin istatistiklerden alınan muhteşem bir onay olduğuna inanmıştır. Makine öğrenimini destekleyen yapay zeka aynı zamanda "istatistiklerin uzantısı" olarak da adlandırılır. Örneğin, Nobel Ödülü sahibi Thomas. Sargent bir keresinde yapay zekanın aslında istatistik olduğunu, ancak çok muhteşem bir söylemle söylemişti.
Elbette bazı farklı sesler var. Bununla birlikte, bu görüşün artıları ve eksileri arasındaki tartışma, insanların kafasını karıştıran, görünüşte derin ama belirsiz argümanlarla dolu.
Matthew Stewart adlı bir Harvard doktora öğrencisi, makine öğrenimi ve istatistiğin "istatistik ile makine öğrenimi arasındaki fark" ve "istatistiksel modeller ile makine öğrenimi arasındaki fark" perspektiflerinden birbiriyle eş anlamlı olmadığını gösterdi.
Makine öğrenimi ile istatistikler arasındaki temel fark, "amaç" ta yatmaktadır
Çoğu insanın düşündüğünün aksine, makine öğrenimi onlarca yıldır var. Bunun nedeni, o zamanki bilgi işlem gücünün büyük miktarda hesaplama talebini karşılayamaması ve yavaş yavaş terk edilmesiydi. Ancak son yıllarda bilgi patlamasının getirdiği veri ve hesaplama gücünün avantajları nedeniyle makine öğrenimi hızla iyileşiyor.
Eve daha yakın, makine öğrenimi ve istatistikler birbiriyle eşanlamlıysa, o zaman neden her üniversitenin istatistik bölümünün kapılarını kapattığını ve "makine öğrenimi" bölümlerine geçtiğini görmüyoruz? Çünkü aynı değiller!
Bu konuda sık sık bazı belirsiz ifadeler duyuyorum, en yaygın olanı şu ifadedir:
Makine öğrenimi ile istatistik arasındaki temel fark, amaçlarıdır. Makine öğrenimi modelleri, mümkün olan en doğru tahminleri yapmak için tasarlanmıştır. İstatistiksel modeller, değişkenler arasındaki ilişkileri anlamak için tasarlanmıştır.
Bu teknik olarak doğru olmasına rağmen, bu ifade özellikle net ve tatmin edici bir cevap vermemektedir. Makine öğrenimi ile istatistik arasındaki en büyük farklardan biri aslında amaçlarıdır.
Bununla birlikte, makine öğreniminin doğru tahminlerle ilgili olduğunu söylemek neredeyse anlamsızdır ve bu kavramlarda gerçekten yetkin değilseniz, istatistiksel modeller akıl yürütme için tasarlanmıştır.
İlk olarak, istatistiklerin ve istatistiksel modellemenin aynı olmadığını anlamalıyız. İstatistik, verilerin matematiksel olarak incelenmesidir. Veri olmadıkça istatistik yapılamaz. İstatistiksel bir model, esas olarak verilerdeki farklı içerikler arasındaki ilişkiyi anlamak veya gelecekteki değerleri tahmin edebilen bir model oluşturmak için kullanılan bir veri modelidir. Normal şartlar altında ikisi birbirini tamamlar.
Bu nedenle, aslında iki açıdan tartışmamız gerekiyor:
İlk olarak, istatistikler ve makine öğrenimi arasındaki fark nedir?
İkinci olarak, istatistiksel modeller makine öğreniminden nasıl farklıdır?
Daha açık bir şekilde ifade etmek gerekirse, tahminlerde bulunabilen birçok istatistiksel model vardır, ancak tahmin sonuçları nispeten tatmin edici değildir.
Ve makine öğrenimi, güçlü tahmine dayalı yetenekler elde etmek için genellikle yorumlanabilirlikten ödün verir. Örneğin, doğrusal regresyondan sinir ağlarına, yorumlanabilirlik kötüleşmesine rağmen, öngörü yeteneği büyük ölçüde geliştirildi.
Makro açıdan bakıldığında, bu iyi bir cevap. En azından çoğu insan için yeterince iyi. Bununla birlikte, bazı durumlarda, bu ifadenin makine öğrenimi ile istatistiksel modelleme arasındaki farkı yanlış anlamak kolaydır. Doğrusal regresyon örneğine bakalım.
İstatistiksel model ve makine öğrenimi çevrimiçi regresyon arasındaki fark
Belki de istatistiksel modelleme ve makine öğreniminde kullanılan yöntemlerin benzerliğinden dolayı, insanlar aynı şey olduğunu düşünüyor. Bunu anlayabiliyorum ama durum böyle değil.
En bariz örnek, bu yanlış anlamanın ana nedeni olabilecek doğrusal regresyondur. Doğrusal regresyon, doğrusal bir regresyon eğitebileceğimiz ve en küçük kareler yöntemiyle istatistiksel bir regresyon modeline uyabileceğimiz istatistiksel bir yöntemdir.
Bu durumda, öncekinin yaptığı şeyin modeli "eğitmek" olduğu, yalnızca verilerin bir alt kümesini kullandığı ve eğitilen modelin nasıl performans gösterdiğini, testten sonra verilerin başka bir alt kümesini geçirmesi gerektiği görülebilir. Bilmek. Bu örnekte, makine öğreniminin nihai amacı, test setinde en iyi performansı elde etmektir.
İkincisi için, önceden verilerin Gauss gürültüsüne sahip doğrusal bir regresyon olduğunu varsayıyoruz ve ardından tüm verilerin ortalama kare hatasını (MSE) en aza indiren bir çizgi bulmaya çalışıyoruz. Eğitim veya test setlerine gerek yoktur.Birçok durumda, özellikle araştırmada (aşağıdaki sensör örneği gibi), modellemenin amacı, gelecekteki verileri tahmin etmek değil, veriler ve çıktı değişkenleri arasındaki ilişkiyi tanımlamaktır. Bu sürece tahmin değil istatistiksel çıkarım diyoruz. Bu modeli tahminler yapmak için kullanabilsek de, ki bu sizin de düşündüğünüz gibi olabilir, modeli değerlendirme yöntemi artık test seti değil, model parametrelerinin önemi ve sağlamlığıdır.
Makine öğreniminin amacı (burada özellikle denetimli öğrenme olarak anılacaktır) öngörülebilir bir model elde etmektir. Modelin açıklanıp açıklanamayacağı umurumuzda değil. Makine öğrenimi yalnızca sonuçları önemsiyor. Şirket söz konusu olduğunda, değeriniz yalnızca performansınızla ölçülür. İstatistiksel modelleme, değişkenler arasındaki ilişkiyi bulmak ve tahmine hitap eden ilişkinin önemini belirlemek için daha fazladır.
İkisi arasındaki farkı göstermek için kendi örneğimi vereyim. Ben çevre bilimciyim. Çalışmanın ana içeriği sensör verilerini ele almaktır. Sensörün bir uyarana (gaz konsantrasyonu gibi) yanıt verebileceğini kanıtlamaya çalışırsam, sinyal yanıtının istatistiksel olarak anlamlı olup olmadığını belirlemek için istatistiksel bir model kullanacağım. Bu ilişkiyi anlamaya ve tekrarlanabilirliğini test etmeye çalışacağım, böylece sensörün tepkisini doğru bir şekilde tanımlayıp verilere dayanarak çıkarımlar yapabileyim. Ayrıca test edebilirim, yanıt doğrusal mı? Yanıt, sensördeki rastgele gürültüden ziyade gaz konsantrasyonundan mı kaynaklanıyor? ve daha fazlası.
Aynı zamanda 20 farklı sensörden de veri alıp, bunlarla karakterize edilebilen bir sensörün tepkisini tahmin etmeye çalışabilirim. Sensörler hakkında fazla bir şey bilmiyorsanız, bu biraz tuhaf görünebilir, ancak gerçekten şu anda çevre biliminin önemli bir araştırma alanıdır.
Sensörün çıktısını temsil etmek için 20 farklı değişkenli bir model kullanmak açıkçası bir tahmindir ve modelin yorumlanabilir olmasını beklemiyordum. Kimyasal kinetiğin doğrusal olmaması ve fiziksel değişkenler ile gaz konsantrasyonu, vb. Arasındaki ilişki nedeniyle, bu modelin çok ezoterik olabileceği ve bir sinir ağı kadar yorumlanması zor olabileceği anlaşılmalıdır. Umarım bu model insanlar tarafından anlaşılabilir, doğru tahminler yapabildiği sürece oldukça mutluyum.
Bilimsel bir makalede yayınlayabilmem için veri değişkenleri arasındaki ilişkinin istatistiksel olarak bir dereceye kadar önemli olduğunu kanıtlamaya çalışırsam, makine öğrenimi yerine istatistiksel modeller kullanacağım. Bunun nedeni tahminlerde bulunmaktan çok değişkenler arasındaki ilişkiyi önemsiyorum. Tahmin yapmak yine de önemli olabilir, ancak çoğu makine öğrenimi algoritması yorumlanabilirlikten yoksundur, bu da verilerdeki ilişkileri kanıtlamayı zorlaştırır.
Açıkçası, hedeflere ulaşmak için benzer yöntemler kullanılsa da, bu iki yöntem amaçlarında farklıdır. Makine öğrenimi algoritmalarının değerlendirilmesi, doğruluklarını doğrulamak için test setlerini kullanır. Bununla birlikte, istatistiksel modeller için, güven aralıkları, anlamlılık testleri ve diğer testler aracılığıyla regresyon parametrelerinin analizi, modelin geçerliliğini değerlendirmek için kullanılabilir. Bu yöntemler aynı sonuçları ürettiğinden, insanların neden aynı olduklarını varsaydığını anlamak kolaydır.
İstatistikler ve makine öğrenimi çevrimiçi regresyon arasındaki fark
10 yıldır var olan bir yanlış anlama var: Her ikisinin de aynı temel olasılık kavramını kullandıkları gerçeğine dayanarak iki terimi karıştırmak mantıksız.
Bununla birlikte, bu iki terimi olasılıkta aynı temel kavramlara dayanarak karıştırmak mantıksızdır. Örneğin, makine öğrenimini sadece göz alıcı bir görünümdeki istatistikler olarak ele alırsak, şunu da söyleyebiliriz:
Fizik, matematik için daha iyi bir terimdir.
Zooloji, pul koleksiyonu için daha iyi bir terimdir.
Mimarlık, kumdan kale yapımı için daha iyi bir terimdir.
Bu ifadeler (özellikle sonuncusu) çok saçma ve benzer iki fikrin terimlerini tamamen karıştırıyor.
Aslında fizik, matematiğin temelinde yaratılmıştır ve fiziksel olayları gerçekte anlamak matematiğin bir uygulamasıdır. Fizik aynı zamanda istatistiğin tüm yönlerini içerir ve modern istatistikler genellikle olasılık uzayları oluşturmak için Zermelo-Frankel küme teorisi ile ölçüm teorisini birleştiren bir çerçevede oluşturulur. Çok ortak yönleri var çünkü benzer kökenlerden geliyorlar ve mantıklı bir sonuca varmak için benzer fikirleri kullanıyorlar. Benzer şekilde mimari ve kumdan kale mimarisinin pek çok ortak noktası olabilir, ancak mimar olmasam bile net bir açıklama yapamam ama açıkça farklı olduklarını görebiliyorum.
Daha ileri gitmeden önce, makine öğrenimi ve istatistiklerle ilgili diğer iki yaygın yanılgıyı kısaca açıklamamız gerekiyor. Bu, yapay zekanın makine öğreniminden farklı olması ve veri biliminin istatistiklerden farklı olmasıdır. Bunlar tartışmasız konulardır, bu nedenle yakında netleşeceklerdir.
Veri bilimi, temelde küçük veri kümeleri veya büyük veri kümeleri dahil olmak üzere verilere uygulanan hesaplama ve istatistiksel yöntemlerdir. Ayrıca, bilim insanlarının verileri daha iyi anlamalarına ve ondan çıkarımlar yapmalarına yardımcı olmak için verileri kontrol etme ve görselleştirme gibi keşif amaçlı veri analizi gibi şeyleri de içerir. Veri bilimi aynı zamanda veri paketleme ve ön işleme gibi şeyleri de içerir, bu nedenle belirli bir düzeyde bilgisayar bilimi içerir, çünkü web sunucuları arasında veritabanları, bağlantılar ve ardışık düzenleri kodlamayı ve oluşturmayı içerir.
İstatistik yapmak için mutlaka bir bilgisayara güvenmeniz gerekmez, ancak bu veri bilimiyse, onu bilgisayar olmadan çalıştırmanın bir yolu yoktur. Bu bir kez daha, veri biliminin istatistiği kullanmasına rağmen, ikisinin aynı kavram olmadığını gösteriyor.
Aynı şekilde makine öğrenimi de yapay zeka değildir; aslında makine öğrenimi yapay zekanın bir dalıdır. Bu oldukça açıktır, çünkü belirli veri türleri hakkında genel tahminlerde bulunmak için makineleri geçmiş verilere dayanarak "öğretiyoruz (eğitiyoruz)".
Makine öğrenimi istatistiklere dayanır
İstatistikler ile makine öğrenimi arasındaki farkı tartışmadan önce, benzerliklerden bahsedelim.Aslında bunu makalenin ilk yarısında zaten tartışmıştık.
Makine öğrenimi, istatistiksel bir çerçeveye dayanır, çünkü makine öğrenimi verileri içerir ve verilerin istatistiksel bir çerçeveye göre tanımlanması gerekir, bu yüzden bu çok açıktır. Bununla birlikte, çok sayıda parçacık için termodinamiğe genişletilmiş istatistiksel mekanizma da istatistiksel çerçeve altında oluşturulmuştur.
Basınç kavramı aslında istatistiksel verilerdir ve sıcaklık da istatistiksel bir veridir. Bunun mantıksız olduğunu düşünebilirsiniz, ama bu doğru. Bu nedenle, mantıksız olan bir molekülün sıcaklığını veya basıncını tarif edemezsiniz. Sıcaklık, moleküler çarpışmaların ürettiği ortalama enerjinin bir göstergesidir. Örneğin, çok sayıda moleküle sahip evler veya dış mekanlar, onları tanımlamak için sıcaklığı kullanmamız mantıklıdır.
Termodinamik ve istatistiğin aynı şey olduğunu düşünür müsünüz? Elbette hayır Termodinamik, hareketin etkileşimini ve transfer olgusunda üretilen ısıyı anlamamıza yardımcı olması için istatistik kullanır.
Aslında termodinamik, sadece istatistikten ziyade birden çok disipline dayanır. Benzer şekilde, makine öğrenimi, matematik ve bilgisayar bilimi gibi diğer birçok alandan gelen içeriğe dayanır. Örneğin:
Makine öğrenimi teorisi matematik ve istatistikten gelir
Makine öğrenimi algoritmaları optimizasyon teorisine, matris cebirine ve hesaba dayanır
Makine öğreniminin gerçekleştirilmesi, çekirdek haritalama ve özellik karması gibi bilgisayar bilimi ve mühendislik kavramlarından gelir.
Bir kişi Python'da program yazmaya başladığında ve aniden bu algoritmaları Sklearn kütüphanesinden bulup kullandığında, yukarıdaki kavramların çoğu nispeten soyuttur, bu yüzden farkı görmek zordur. Bu durumda, bu soyut tanım aynı zamanda makine öğreniminin içeriğinin belli bir dereceye kadar cehaletine yol açar.
İstatistiksel öğrenme teorisi - makine öğreniminin istatistiksel temeli
İstatistikler ile makine öğrenimi arasındaki temel fark, istatistiklerin tamamen olasılık alanlarına dayandırılmasıdır. Tüm istatistiksel içeriği küme teorisinden türetebilirsiniz. Küme teorisi, verileri nasıl sınıflandırdığımızı tartışır (bu sınıflara "kümeler" denir) ve ardından toplamının 1 olduğundan emin olmak için bu küme üzerinde bazı ölçümler gerçekleştiririz. Bu yöntemi bir olasılık alanı olarak adlandırın.
İstatistiklerin, bu setlerin ve ölçümlerin tanımı dışında hiçbir varsayımı yoktur. Bu nedenle olasılık uzayı tanımımız çok katıdır. Matematiksel gösterimle (, F, P) yazılan bir olasılık uzayı üç bölümden oluşur:
Örnek bir alan, , tüm olası sonuçların kümesidir.
Olayların bir koleksiyonu, F, her olay 0 veya diğer değerleri içerir.
Her olayın olasılığı, olaydan olasılığa bir fonksiyon olan P olasılığına atanır.
Makine öğrenimi istatistiksel öğrenme teorisine dayanmaktadır ve istatistiksel öğrenme teorisi hala olasılık uzayının aksiyomatik diline dayanmaktadır. Bu teori, geleneksel istatistiksel teoriye dayanmaktadır ve 1860'larda geliştirilmiştir.
Makine öğrenimi birden fazla kategoriye ayrılmıştır. Bu makalede, yalnızca denetimli öğrenme teorisine odaklanıyorum çünkü açıklaması en kolay olanıdır (yine de matematiksel kavramlarla dolu olduğu için hala belirsizdir).
İstatistiksel öğrenme teorisinde denetimli öğrenme bize S = {(x, y)} olarak işaretlediğimiz bir veri seti verir, bu da N veri noktası içeren bir veri setimiz olduğu ve her bir veri noktasının şu şekilde tanımlandığı anlamına gelir: "Özellikler" adı verilen diğer değer açıklamaları x ile tanımlanır ve bu özellikler, istediğimiz y değerini döndürmek için belirli bir işlev tarafından açıklanır.
Bu veri kümesi verildiğinde, x değerlerini y değerlerine eşleyen bir işlevi nasıl bulacağınızı sorun. Haritalama sürecini açıklayan tüm olası işlevler kümesine bir hipotez uzayı diyoruz.
Bu işlevi bulmak için, algoritmaya bu soruna en iyi nasıl yaklaşılacağını "öğrenmesi" için bir yol vermemiz gerekir ve bu, "kayıp işlevi" adı verilen bir kavramla sağlanır. Bu nedenle, hipotezlerimizin her biri için (yani önerilen işlev), tüm veriler altında beklenen riskinin değerini karşılaştırarak bu işlevin performansını ölçmek zorundayız.
Beklenen risk, esasen kayıp fonksiyonunun toplamı ile verilerin olasılık dağılımının çarpımıdır. Bu eşlemenin ortak olasılık dağılımını biliyorsak, en uygun işlevi bulmak çok basittir. Ancak bu ortak olasılık dağılımı genellikle bilinmemektedir, bu nedenle en iyi yolumuz, optimal bir fonksiyonu tahmin etmek ve ardından kayıp fonksiyonunun optimize edilip edilmediğini ampirik olarak doğrulamaktır. Biz buna ampirik risk diyoruz.
Bundan sonra, beklenen en küçük riske sahip hipotezi, yani tüm işlevler arasında en küçük en küçük değeri veren hipotezi bulmak için farklı işlevleri karşılaştırabiliriz.
Bununla birlikte, kayıp işlevini en aza indirmek için algoritma, fazla uydurarak hile yapma eğilimindedir. Bu nedenle eğitim seti aracılığıyla işlevi "öğrenmek" ve ardından eğitim seti ve test seti dışındaki veri setindeki işlevi doğrulamak gerekir.
Makine öğreniminin doğasını nasıl tanımladığımız, aşırı uyum sorununa yol açar ve ayrıca eğitim ve test setleri arasında ayrım yapma ihtiyacını açıklar. Ve istatistikteki deneysel riski en aza indirmeye çalışmamıza gerek yok. Aşırı uyum, istatistiklerin doğal bir özelliği değildir. İşlemi istatistikte görüntüleme ihtiyacının en aza indirilmesi Ampirik riski en aza indirmek için bir işlevden seçim yapan bir öğrenme algoritmasına ampirik risk minimizasyonu denir.
illüstrasyon
Basit bir örnek olarak doğrusal regresyonu ele alalım. Geleneksel kavramlarda, veriyi tanımlayabilecek bir fonksiyon bulmak için verilerdeki hatayı en aza indirmeye çalışırız, bu durumda genellikle varyansı kullanırız. Varyans, pozitif ve negatif değerlerin birbirini iptal etmesini önlemek için kullanılır. Daha sonra regresyon katsayısını bulmak için kapalı ifadeyi kullanabiliriz.
Kayıp fonksiyonunu varyans olarak sayarsak ve istatistiksel öğrenme teorisine dayalı deneysel riski en aza indirirsek, geleneksel doğrusal regresyon analiziyle aynı sonucu elde ederiz.
Bu tesadüf, iki durumun aynı olmasıdır.Aynı veriler için maksimum olasılığı aynı şekilde çözmek doğal olarak aynı sonucu verecektir. Aynı hedefe ulaşmak için olasılığı en üst düzeye çıkarmanın farklı yolları vardır, ancak hiç kimse, olasılığı en üst düzeye çıkarmanın ve doğrusal regresyonun aynı şey olduğunu iddia etmeyecektir. Bu en basit örnek açıkça bu yöntemler arasında ayrım yapmakta başarısızdır.
Burada belirtilmesi gereken ikinci nokta, geleneksel istatistiksel yöntemlerde eğitim seti ve test seti kavramı olmadığıdır, ancak modeli doğrulamaya yardımcı olmak için farklı göstergeler kullanacağız. Doğrulama süreci farklı olsa da, her iki yöntem de bize istatistiksel olarak sağlam sonuçlar verebilir.
Dikkat çekilmesi gereken bir diğer nokta da, geleneksel istatistiksel yöntemlerin bize kapalı bir biçimde optimal bir çözüm verdiği ve bir sonuca yakınsamak için diğer olası fonksiyonları test etmediği. Buna karşılık, makine öğrenimi yöntemleri bir grup farklı modeli denedi ve sonunda, nihai bir hipoteze yakınsamak için regresyon algoritmasının sonuçlarını birleştirdi.
Farklı bir kayıp işlevi kullanırsak, sonuç yakınsamayabilir. Örneğin, menteşe kaybını kullanırsak (standart gradyan iniş kullanırken ayırt etmek kolay değildir, bu nedenle yakın gradyan inişi gibi diğer yöntemleri kullanmamız gerekir), o zaman sonuçlar aynı olmayacaktır.
Son olarak model sapması ayırt edilebilir. Bu hipotezlerin veri setine önceki kayıp fonksiyonumuzdan daha iyi bir uyum sağlayıp sağlamadığını test etmek için doğrusal modelleri, polinom modellerini, üstel modelleri vb. Test etmek için makine öğrenimi algoritmalarını kullanabilirsiniz. Geleneksel istatistiksel kavramlarda, bir model seçer ve doğruluğunu değerlendiririz, ancak 100 farklı modelden en iyisini otomatik olarak seçemeyiz. Açıkçası, başlangıçta seçilen farklı algoritmalar nedeniyle, bulunan modellerde her zaman bazı hatalar olacaktır. Seçim algoritması çok gereklidir, çünkü veri seti için optimal denklemi bulmak NP-zor bir problemdir.
Peki hangi yöntem daha iyidir?
Bu soru aslında çok aptalca. İstatistikler olmadan makine öğrenimi hiçbir şekilde var olamaz, ancak çağdaş bilgi patlamasında insanların erişebildiği büyük miktarda veri nedeniyle makine öğrenimi çok yararlıdır.
Makine öğrenimi ile istatistiksel modelleri karşılaştırmak daha da zor, hedeflerinize göre karar vermeniz gerekiyor. Sadece konut fiyatlarını tahmin etmek için son derece hassas bir algoritma oluşturmak veya hangi tür insanların belirli bir hastalığa yakalanma olasılığının daha yüksek olduğunu verilerden öğrenmek istiyorsanız, makine öğrenimi daha iyi bir seçim olabilir. Değişkenler arasındaki ilişkiyi bulmak veya verilerden çıkarımlar yapmak istiyorsanız, istatistiksel bir model seçmek daha iyidir.
Yukarıdaki diyalog:
A: Makine öğrenimi sisteminiz bu mu?
B: Evet! Tüm verileri bu doğrusal cebir yığınına aktarırsınız ve sonra cevabı alabilirsiniz.
C: Cevap yanlışsa ne yapmalıyım?
B: Sonra doğru görünene kadar karıştırın.
İstatistik konusunda yeterince sağlam değilseniz, yine de makine öğrenimini öğrenebilir ve kullanabilirsiniz - makine öğrenimi kitaplığındaki soyut kavramlar, bunları amatör olarak kolayca kullanmanıza izin verir, ancak yine de istatistiksel kavramları anlamanız gerekir. , Modele aşırı uymaktan veya bazı makul çıkarımlar yapmaktan kaçınmak için
