Doğrusal model DNN'den daha fazlasını açıklayabilir mi? UCSD Scientist: Büyük hata!
Xinzhiyuan Derlemesi
Kaynak: akshayagrawal.com, queue.acm.org
Yazar: Zachary C. Lipton, Akshey Agrawal
Derleme: Daming
Xin Zhiyuan Rehberi İnsanlar derin öğrenme modellerinin gerçek işleyiş mekanizmasını tam olarak anlamaktan uzaktır Tahmine dayalı modellerin "yorumlanabilirliğinin" nasıl iyileştirileceği giderek daha önemli bir konu haline gelmiştir. Yakın tarihli bir makalede, makine öğrenimi modellerinin "yorumlanabilirliği" kavramı ve önemi tartışıldı.
17 Temmuz'da, San Diego'daki California Üniversitesi'nden (UCSD) Ph.D. ve Carnegie Mellon Üniversitesi'nde (CMU) Bilgisayar Bilimleri Yardımcı Doçenti olan Zachary C. Lipton, ACM Kuyruğu üzerine "Model Yorumlanabilirliği Mitolojisi" başlıklı bir makale yayınladı. Denetimli makine öğrenimi tahmin modelinin yorumlanabilirliği tartışıldı. Lipton, makaledeki "yorumlanabilirlik" tanımını netleştirmeye çalıştı ve "yorumlanabilirlik" olarak sınıflandırdı ve önemli bir bakış açısı ortaya koydu. Doğrusal modellerin yorumlanabilirliği, derin sinir ağı (DNN) modellerinden daha yüksek olmayabilir. .
Aşağıda, Xinzhiyuan tarafından yazılan makalenin içeriğinin bir özeti bulunmaktadır.
Denetlenen makine öğrenimi modellerinin mükemmel tahmin yetenekleri vardır. Ancak makine öğrenimi modeli yalnızca mevcut olmamalı, aynı zamanda Açıklanabilir , Ancak "makine öğrenimi modellerini yorumlama" görev tanımı yeterince açık görünmüyor. Akademik literatür, modeller için yorumlanabilirlik aramak için birçok motivasyon önerir ve yorumlanabilir modeller sağlamak için sayısız teknik sağlar. Bu belirsizliğe rağmen, birçok yazar modellerinin aksiyom olarak yorumlanabilir olduğunu iddia ediyor, ancak bunun için başka bir argüman yok. Sorun şu ki, bu teknolojilerin ortak özelliklerinin ne olduğu henüz net değil.
Bu makale, Yorumlanabilirlikle ilgili ifadeyi geliştirin . İlk olarak makale, önceki makalelerde yorumlanabilirliği çözme hedeflerini gözden geçirdi ve bu hedeflerin çeşitli ve bazen çelişkili olduğunu buldu. Daha sonra, yorumlanabilirliği incelemek için model niteliklerini ve teknik fikirleri tartışır ve aynı zamanda modelin insanlar için tanıma şeffaflığını tartışır ve bir karşılaştırma olarak "açıklayıcı yorumlanabilirlik" kavramını sunar. Makale, model yorumlanabilirliği kavramına ilişkin farklı görüşlerin fizibilitesini ve rasyonelliğini tartıştı ve "doğrusal modeller açıklanabilir ancak derin sinir ağları açıklanamaz" şeklindeki ortak görüşü sorguladı.
Son 20 yılda, makine öğreniminin hızlı gelişimi otomatik karar vermeyi üretti. Pratik uygulamalarda, makine öğrenmesine dayalı çoğu karar verme şu şekilde çalışır: makine öğrenimi algoritması giriş verileriyle eğitilir ve ardından karşılık gelen çıktı, algoritma tarafından tahmin edilir. Örneğin, finansal işlemlerle ilgili bir dizi öznitelik bilgisi verildiğinde, makine öğrenimi algoritmaları uzun vadeli yatırım getirilerini tahmin edebilir. Bir CT taramasından alınan bir görüntü verildiğinde, algoritma, görüntünün taranan nesnesinin kanserli bir tümöre sahip olma olasılığını belirleyebilir.
Makine öğrenimi algoritmaları büyük miktarda eşleştirilmiş veri (giriş ve çıkış) alır ve daha önce görülmemiş girdileri tahmin edebilen bir model çıkarır. Araştırmacılar bu modeli "denetimli öğrenme" olarak adlandırıyor. Daha sonra karar verme sürecini tamamen otomatikleştirmek için modelin çıktısı belirli bir karar kuralına sağlanabilir. Örneğin, bir spam filtresi, bir program aracılığıyla spam olduğu tahmin edilen (güven düzeyi belirli bir eşiği aşan) e-postaları atabilir.
Yorumlanabilirlik nedir ve neden bu kadar önemlidir?
Şu anda, makine öğreniminin tıp, ceza adaleti sistemi ve finans piyasaları gibi kilit alanlarda uygulanması giderek daha kapsamlı hale geliyor. Ancak insanlar bu modelleri gerçekten anlayamıyor ki bu bir problem. Bazı insanlar modelin "yorumlanabilirliğini" bir çare olarak önermişlerdir, ancak akademik literatürde, çok az yazar "yorumlanabilirliğin" anlamını doğru bir şekilde açıklamış veya önerdikleri çözümlerin neden olduğunu doğru bir şekilde açıklamamıştır. işe yarar.
Tanımların olmamasına rağmen, gittikçe daha fazla belge, yorumlanabilir olduğu varsayılan algoritmalar önermektedir. Bu şekilde baktığımızda, şu sonuçları çıkarabiliriz gibi görünüyor: ya (1) insanlar genellikle yorumlanabilirliğin tanımı üzerinde hemfikirdir, ancak kimse bunu yazılı olarak ifade etmek istemez ya da (2) yorumlanabilirliğin tanımı Tanım net değil, bu nedenle makine öğrenimi modellerinin yorumlanabilirliği hakkındaki görüşler yeterince bilimsel görünmüyor. İlgili literatür üzerine yapılan araştırmalar, ikincisinin gerçek durumla tutarlı olduğunu göstermektedir. Literatürde model yorumlanabilirliği ile ilgili önerilen çeşitli amaç ve yöntemler, yorumlanabilirliğin tek bir kavram değil, farklı görüşler olduğunu ve bu görüşlerin ayrı ayrı tartışılması gerektiğini göstermektedir.
Bu makale, pekiştirmeli öğrenme ve etkileşimli öğrenme gibi diğer makine öğrenimi paradigmaları yerine denetimli öğrenmeye odaklanmaktadır. Bunun nedeni şu anda pratik uygulamalarda denetimli öğrenmenin ilk sırada yer almasıdır. Aynı zamanda, "doğrusal modeller açıklanabilir, ancak derin sinir ağları açıklayamaz" şeklindeki ortak görüşün bir analizini verir. Açık olması gereken ilk şey, yorumlanabilirlik nedir? Yorumlanabilirlik neden bu kadar önemli?
Birçok kişi önerdi, Yorumlanabilirlik, modele güvenmenin yoludur. Bu epistemoloji hakkında başka bir soruya yol açar: güven nedir? Modelin iyi performans gösterebileceği güveni anlamına mı geliyor? Yoksa "yorumlanabilirlik" sadece modelin alt düzey mekanizmalarını anlamak anlamına mı geliyor? Güven öznel bir tanım mıdır?
Diğerleri düşünüyor, Yorumlanabilir bir model arzu edilir Çünkü gözlemlenen verilerdeki nedensel yapıyı ortaya çıkarmaya yardımcı olabilir. Hukuki yorumlanabilirlik kavramı, yorumlanabilirlik terimi için başka bir bakış açısı sağlar. Bazen yorumlanabilirliğin aranmasının amacı sadece modelden daha yararlı bilgiler elde etmek olabilir.
Bu makale, modelin hangi niteliklerinin onları yorumlanabilir hale getirebileceğini tartışmaktadır. Bazı makaleler yorumlanabilirliği anlaşılabilirlik veya anlaşılabilirlikle eş tutar.Bu makalelerde, anlaşılabilir modellere bazen "şeffaf", anlaşılmaz modellere kara kutular adı verilir. Ama şeffaflık nedir? Algoritmanın kendisi birleşecek mi? Benzersiz bir çözüm var mı? İnsanlar her parametrenin neyi temsil ettiğini anlıyor mu? Veya modelin karmaşıklığını düşünün: Yeterince basit mi?
Diğer içerik "gerçeğin ardından açıklanabilir" kavramını içerir. Bu açıklama tahmin sonuçlarını açıklayabilir ancak tahmin modelinin çalıştığı mekanizmayı netleştirmez. İnsanlar tarafından üretilen sözlü açıklamalar veya derin sinir ağlarını analiz etmek için kullanılan belirginlik haritaları gibi. Bu nedenle, insanlar tarafından alınan kararlar "gerçeğin ardından açıklanabilir" olanı tatmin edebilir, ancak insan beyninin çalışma mekanizması hala iki ortak yorumlanabilirlik kavramı arasındaki çelişkiyi gösteren bir kara kutudur.
Bu makalenin yazarı Zachary C. Lipton
Doğrusal model ve derin ağ modeli arasındaki seçim
Yorumlanabilirlik kavramı önemli ve aldatıcıdır. Bu makale, yorumlanabilirlik motivasyonunu ve araştırma topluluğu tarafından yapılan bazı girişimleri analiz etmektedir. Şimdi bu analizin sonuçlarını ele alalım ve biraz içerik sunalım.
Doğrusal modeller, derin sinir ağlarından daha yorumlanabilir değildir. Bu ifade popüler olmasına rağmen, Gerçek değer, yorumlanabilirlik kavramına bağlıdır . Yorumlanabilirlik algoritma şeffaflığına atıfta bulunuyorsa, bu ifade tartışmalı görünmüyor, ancak büyük ölçüde değiştirilmiş yüksek boyutlu özellikler veya özellikler için doğrusal modeller sırasıyla simüle edilemez ve ayrıştırılamaz.
Doğrusal bir model ile derin bir model arasında seçim yaparken, genellikle algoritmanın şeffaflığını ve ayrışabilirliğini tartmamız gerekir. Bunun nedeni, derin sinir ağı modellerinin genellikle orijinal özelliklere veya hafifçe işlenmiş özelliklere yönelik olmasıdır. Bu nedenle, hiçbir şey olmazsa, bu özelliklerin sezgisel anlamları vardır, bu nedenle "sonradan açıklanabilirlik" kavramını benimsemek kabul edilebilir. Doğrusal model farklıdır.Yeterli performans elde etmek için genellikle çok sayıda yapay olarak tasarlanmış özelliklerle karşılaşması gerekir. Zachary Lipton bir zamanlar bir makalenin ortak yazarı olup, şunu belirtmiştir: Doğrusal bir model, tekrarlayan bir sinir ağının (RNN) performansına yaklaşmak istiyorsa, ayrışabilirlik pahasına olmalıdır.
Bazı "post-hoc yorumlanabilir" (post-hoc yorumlanabilir) türlerini incelerseniz, derin sinir ağlarının bariz avantajları vardır. Derin sinir ağları, görselleştirilebilen, dilde ifade edilebilen veya kümeleme için kullanılabilen zengin temsilleri öğrenebilir. Yorumlanabilirlik ihtiyacını düşünürseniz, doğrusal modellerin doğal dünyayı incelemede daha iyi performans gösterdiği görülüyor, ancak bunun teorik bir nedeni yok gibi görünüyor.
Yorumlanabilirlikle ilgili ifade nitelikli olmalıdır. Yorumlanabilirlik terimi genel bir konsepte sahip değildir. Yorumlanabilirlikle ilgili herhangi bir görüş, önce belirli bir "yorumlanabilirlik" tanımını tanımlamalıdır. Model şeffaflık biçimini tatmin ederse, yorumlanabilirlik doğrudan yansıtılabilir. Gerçek sonrası açıklama için net bir hedef belirlenmeli ve verilen açıklama formunun bu amaca ulaşabileceği kanıtlanmalıdır.
Gerçeğin ardından açıklama yapmak yanıltıcı olabilir. Gerçekten sonra açıklanabilir kavramı, özellikle model öznel hedeflere göre özel olarak optimize edildiğinde körü körüne kabul edilemez. Çünkü bu durumda insanlar, yanıltıcı ama makul bir açıklama sağlamak için algoritmayı bilinçli veya bilinçsiz olarak optimize edebilir. Tıpkı işe alım faaliyetlerindeki ve üniversiteye girişlerdeki bazı davranışlar gibi. Makine öğrenimi modellerinin uygulanmasını teşvik etme ve insan zekasını taklit etme çabalarımızda, büyük ölçekli anormal davranışları yeniden üretmemek için daha dikkatli olmalıyız.
Gelecek yönü
Gelecekte birkaç umut verici yön var. İlk olarak, bazı problemler için gerçeklik ile makine öğrenimi hedefleri arasındaki farkı azaltmak için daha zengin kayıp fonksiyonları ve performans göstergeleri geliştirilebilir. Seyrekliği tetikleyen düzenleyiciler ve maliyete duyarlı öğrenme üzerine araştırmalar dahil. İkincisi, bu analiz, pekiştirmeli öğrenme gibi diğer makine öğrenimi paradigmalarına genişletilebilir. Pekiştirmeli öğrenme modelleri, model ile çevre arasındaki etkileşimi doğrudan modelleyerek modelin yorumlanabilirliği çalışmasındaki bazı sorunları çözebilir.
Pekiştirmeli öğrenme modellerinin kendi davranışları ile gerçek dünya etkileri arasındaki nedensel ilişkiyi öğrenebileceğini belirtmekte fayda var. Ancak, denetimli öğrenme gibi, pekiştirmeli öğrenme de açıkça tanımlanmış skaler hedeflere dayanır. Kesin olarak tanımlamaya çalıştığımız adalet meselesine gelince, makine öğrenimi paradigmasının yorumlanabilirliğindeki artışın çözülmesi olası değildir.
Tartışma
Ancak bazı kişiler bu konuda bazı itirazlar dile getirdiler.Google Brain'de yazılım mühendisi ve Stanford Üniversitesi'nden bilgisayar bilimleri uzmanı olan Akshay Agrawal, Lipton makalesinde ana noktaları özetledi ve birçok farklı görüş ortaya koydu.
Bu makaleye katılmayan Akshay Agrawal
Agrawal, Lipton'un makalesinin modelin yorumlanabilirliğini üç boyutta tanımladığına inanıyor:
Birincisi şeffaflıktır ve tezahürü "simüle edilebilir", yani insanlar makine öğrenimi modellerini manuel olarak simüle edebilmelidir. İkincisi "ayrıştırılabilirlik" dir, yani modelin her bir parçasının sezgisel bir açıklaması vardır. Üçüncüsü, algoritmadır, algoritmanın benzersiz bir çözümü olmalıdır.
Agrawal, ilk noktanın biraz sorunlu olduğuna inanıyor, çünkü bilgisayarların amacı, insanların makul bir süre içinde tamamlayamayacakları görevleri otomatik olarak tamamlamaktır. İkinci nokta çok iyi. Üçüncü nokta da sorunludur, çünkü dışbükey yüzeylerde bile benzersiz bir çözüm olacağının garantisi yoktur. Algoritma kesinliği sorunu artık makine öğreniminin kapsamında değil.
Agrawal, yorumlanabilirlik açısından iki önemli konu olduğunu söyledi:
1. Bu model görünmeyen verilere genellenebilir mi? Genelleştirilmiş bir hipotezi çarpıtmaya çalıştıktan sonra, hipotez hala geçerliyse, model yorumlanabilir. Sanırım bu, Lipton'un bu makalede bahsettiği "aktarılabilirlik" kavramına benziyor.
2. Model yeterince güvenli mi, örneğin, aldatmayı önleyebilir mi? Modelin güvenliğini belirlemek açık bir sorudur. Belki de Lipton'un makalesinde araştırdığı bazı araçları kullanarak bu konuyu araştırmak mümkündür. Ancak sinir ağı modellerinin güvenliğini doğrulamanın, doğrusal modelleri doğrulamaktan çok daha zor olduğunu çok iyi biliyorum.
Referans bağlantısı:
https://www.akshayagrawal.com/papers/html/lipton2017.html
Kağıt adresi:
https://queue.acm.org/detail.cfm?id=3241340
Xinzhiyuan AI WORLD 2018 [Erken Kayıt Bileti] satışa çıktı!
Xinzhiyuan, AI WORLD 2018 konferansını 20 Eylül'de Pekin'deki Ulusal Kongre Merkezi'nde düzenleyecek ve Max Tekmark, Zhou Zhihua, Tao Dacheng, Chen Yiran ve diğerleri gibi AI liderlerini makine zekası ve insan kaderine dikkat etmeye davet edecek.
Konferans resmi web sitesi:
Şu andan itibaren 19 Ağustos'a kadar Xinzhiyuan sınırlı sayıda erken rezervasyon bileti satacak. Orijinali okuyun Bilet satın alın, küresel yapay zeka liderleriyle yakın iletişim kurun ve küresel yapay zeka endüstrisinin sıçrama aşamasındaki gelişimine tanık olun.
-
Aktivite hattı bileti satın alma bağlantısı:
-
Aktivite satırı bilet alımı için QR kodu
