Pei Jianın KDD ekibinin yeni çalışması: derin sinir ağlarını doğru ve tutarlı bir şekilde açıklayan devrim niteliğinde yeni bir yöntem
Lei Feng.com Yapay Zeka Teknolojisi Yorumu: Derin sinir ağlarının kedilerle resimleri ne kadar doğru şekilde tanımladığını hiç düşündünüz mü? Finans, tıbbi bakım ve otonom sürüş alanlarında derin sinir ağlarının geniş uygulama alanıyla, derin sinir ağlarının karar verme davranışlarını net bir şekilde açıklayamaması sorunu da giderek daha fazla dikkat çekiyor. Derin sinir ağlarında çeşitli kullanıcıların güvenini büyük ölçüde artırabilen ve derin sinir ağlarının büyük ölçekli kullanımının neden olduğu potansiyel riskleri önemli ölçüde azaltabilen derin sinir ağlarının karar verme davranışını net bir şekilde açıklayın.Bu, derin sinir ağlarına dayanan yapay zeka uygulamalarının başarılı inişidir. Önemli kısım.
Tez videosu tanıtımıAlakalı iş
Lei Feng.com AI Technology Review ayrıca yakın zamanda derin sinir ağlarının farklı bakış açılarından yorumlanabilirliğini tartışan birkaç makale yayınladı. Genel olarak, mevcut üç yorumlama yönteminin kendi sorunları vardır.
"Gizli Nöron Analiz Yöntemleri"
Bu yöntem, sinir ağlarındaki gizli nöronların yerel özelliklerini analiz ederek ve görselleştirerek derin sinir ağlarının davranışını açıklar. Örnek olarak Google'ın "Google'ın Yeni CNN Özellik Görselleştirme Yöntemi" araştırmasını ve ardından gelen "Yorumlanabilirliğin Temel Taşı" nı ele alalım. Bu tür bir yöntem, gizli nöronlar tarafından öğrenilen yerel özellikleri etkili bir şekilde çıkarabilir, ancak derin sinir ağını net bir şekilde açıklayamaz. Genel davranış.
"Mimik Model Yöntemleri" (Mimik Model Yöntemleri)
Bu yöntem, yorumlanabilir bir Taklitçi modeli Derin sinir ağlarını taklit etmek ve açıklamak. Aynı girdinin öncülüne göre, taklitçi model, derin sinir ağına benzer bir çıktıya sahiptir. Bu nedenle, bazı araştırmacılar, derin sinir ağlarını açıklamak için taklitçi modeli kullanır. Bununla birlikte, taklitçi model ve taklit edilen sinir ağı tam olarak aynı değildir. İki model aynı girdilerin bazılarında benzer çıktılara sahip olsa bile, iç karar verme mekanizmaları oldukça farklı olabilir. Bu nedenle, taklitçi model derin sinir ağını doğru bir şekilde açıklayamaz.
"Yerel Yorumlama Yöntemleri"
Yöntem ilk olarak giriş örneğinin çevresindeki bir grubu örnekler Komşu örnekleri , Ve sonra, komşu örneğe sinir ağının karar çıktısını uydurmak için doğrusal bir model eğitin ve son olarak, sinir ağının giriş örneğindeki karar davranışını açıklamak için doğrusal modelin karar özelliğini kullanın. Bu tür yöntemle ilgili iki sorun vardır. Birincisi, doğrusal modeller sinir ağları ile aynı olmadığından, yerel yorumlama yöntemleri doğru açıklamalar sağlayamaz. İkinci olarak, doğrusal modelin karar özelliği komşu verilere bağlı olduğundan ve örnekleme yoluyla elde edilen komşu veriler güçlü bir rasgeleliğe sahip olduğundan, benzer girdi örneklerinin bu tür bir yöntemle yorumlanması çok tutarsız olabilir ve aynı girdi örneğinin birden fazla yorumu olabilir. Farklı olabilir.
Özetle, yukarıdaki yöntemler sinir ağlarının çalışma mekanizmasını daha iyi anlamamızı sağlasa da, derin sinir ağlarının davranışları için doğru ve tutarlı açıklamalar sağlayamazlar.
Neden doğru ve tutarlı açıklamalara ihtiyacımız var?
Öncelikle, eğer bir açıklama yanlışsa, açıklama sonucunun modelin gerçek kararıyla tutarlı olup olmadığından emin olamayız, açıklamanın kendisi inandırıcı değildir. İkinci olarak, birden çok benzer durum için açıklamalar tutarsızsa, kaçınılmaz olarak birden çok açıklamanın kendisiyle çeliştiği durumlarla karşılaşacağız ve bu nedenle açıklamaların geçerliliği sorgulanacaktır.
Devrim niteliğinde yeni bir yöntem
Doğru ve tutarlı yorum, insan bilişinin nesnel yasalarına uygundur. Bununla birlikte, karmaşık derin sinir ağı için doğru ve tutarlı bir yorumlama yöntemi bulabilir miyiz?
Simon Fraser Üniversitesi (SFU) Hesaplamalı Bilimler Okulu'ndan Profesör Jian Peinin ekibinin "Parçalı Doğrusal Sinir Ağları için Kesin ve Tutarlı Yorumlama: Kapalı Form Çözümü" (Şekil 1) makalesi, bu soruya yalnızca olumlu bir yanıt vermekle kalmaz Cevap, herkesin ilgilendiği modelin açıklayıcı birçok yönünden mükemmel performans elde eden güzel bir analitik çözümdür.
İlk yazar olarak Dr. Chu Lingyang tarafından hazırlanan bu makale, KDD 2018 tarafından uzun bir rapor kağıdı olarak kabul edildi. Bu yılki KDD araştırma kağıtları 938 gönderi aldı, sadece 107 uzun rapor kabul edildi, kabul oranı sadece% 11,4 oldu ve 74 kısa rapor da kabul edildi. Akran değerlendirme süreci sırasında, bu makalenin dört gözden geçireninden ikisi tam not verdi.
Leifeng.com AI Technology Review, makalenin ana içeriğini aşağıdaki gibi tanıtmaktadır.
Bu makale çalışmaları Parçalı doğrusal fonksiyon Aktivasyon işlevi için Parçalı Doğrusal Sinir Ağı (Parçalı Doğrusal Sinir Ağı, PLNN) . Parçalı doğrusal fonksiyonlar, farklı alan aralıklarında farklı doğrusal fonksiyonlara karşılık gelir. Klasik MaxOut, ReLU ve ReLU'nun bazı varyantları parçalı doğrusal fonksiyonlardır. Farklılaşma perspektifinden, segment sayısı yeterince büyük olduğu sürece, sigmoid ve tanh gibi sürekli yumuşak aktivasyon fonksiyonları, parçalı doğrusal fonksiyonlarla sonsuz olarak yaklaşık olarak tahmin edilebilir.
Mevcut normatif uygulama gibi, bu makale de bir parçalı doğrusal sinir ağı N'nin karar verme özelliklerini çözerek N'nin karar verme davranışını açıklamaktadır. Bununla birlikte, mevcut yöntemlerden farklı olarak, tezdeki N'nin yorumlanmasının aşağıdaki gibi iki benzersiz avantajı vardır:
1. Kesinlik : Bu makale, kısa ve öz bir Analitik form Yeni model M ve M ve N'nin matematiksel olarak eşdeğer olduğunu kanıtladı. Bu nedenle, Mnin karar özelliği, doğru N'nin gerçek karar verme davranışını tanımlayın.
2. Tutarlılık : Bu makale, M'nin parçalı doğrusal bir fonksiyon olduğunu ve Analitik form Kendi alanındaki M'nin her segment aralığı ve her aralıktaki M'nin doğrusal karar fonksiyonu verilmiştir. Aynı segmentli aralıktaki tüm giriş örnekleri, doğrusal karar fonksiyonunun aynı karar özelliğini paylaştığından, bu giriş örnekleri için M modeli tarafından sağlanan açıklama Tam olarak aynı nın-nin.
OpenBox - doğruluk ve tutarlılığın altın anahtarı
Bu makalenin yazarları, parçalı doğrusal sinir ağının (PLNN) karar verme davranışı için doğru ve tutarlı açıklamalar sağlamak için yeni bir OpenBox yöntemi önerdiler. "OpenBox" adı aynı zamanda yazarların özlü bir analitik yöntem kullanarak derin sinir ağının "kara kutusunu" "açma" sürecini de uygun bir şekilde tanımlar.
OpenBox yöntemi tüm PLNN'ler için geçerlidir. Bu makale, OpenBox yönteminin teknik noktalarını ayrıntılı olarak tanıtmak için örnek olarak aktivasyon işlevi olarak PReLU ile PLNN kullanacaktır.
1. Tek bir giriş örneği için doğru bir yorumlama yöntemi
Şekil 2'de gösterildiği gibi, aktivasyon fonksiyonu olarak PReLU ile gizli katman nöronu için, Aktivasyon durumu (durum) İki duruma bölünür: (1) Durum = 0 olduğunda, zz ve a çıkışı arasındaki eşleme ilişkisi; (2) Durum = 1 olduğunda, z > = 0, nöron z'den a'ya eşlemeyi oluşturmak için sağ yarının doğrusal işlevini kullanır. Nöron hangi aktivasyon durumunda olursa olsun, z ve a arasındaki eşleme ilişkisinin her zaman doğrusal olduğunu belirtmekte fayda var.
Şekil 3'te gösterildiği gibi, bir giriş örneği x verildiğinde, tüm gizli katman nöronlarının aktivasyon durumlarını yeşil noktalı çizgi ile gösterilen sırada bir vektör Conf (x) olarak düzenleyebiliriz. Bu vektöre PLNN'ler denir Yapılandırma .
PLNN'nin ağ yapısı ve parametreleri verildiği için, tüm nöronların aktivasyon durumu benzersiz bir şekilde x giriş örneğine bağlıdır, bu nedenle Conf (x), giriş örneği x tarafından benzersiz bir şekilde belirlenir. X'in kendisi belirli bir sabit olduğu için, Conf (x) de bir sabittir. Bu nedenle, Şekil 3'teki PLNN'nin her bir gizli katman nöronunun çalışması, esasen Conf (x) sabiti tarafından belirlenen doğrusal bir işlemdir. Bir dizi doğrusal işlemin yuvalanması hala doğrusal bir işlem olduğundan, Conf (x) bir sabit olduğunda, PLNN'deki tüm gizli katman işlemleri basit bir doğrusal işlem Wx + b'ye eşdeğerdir.
Özetle, herhangi bir x girdi örneği için, tüm PLNN, Denklem 1'de gösterilen doğrusal sınıflandırıcıya kesinlikle eşdeğerdir. Bunların arasında, iki demet (W, b), analitik formda x girdi örneği için PLNN'nin karar düzlemini doğru bir şekilde verir. (Not: İspat ve çözüm süreci için lütfen orijinal metne bakınız)
Formül 1Açıktır ki, PLNN'nin karar verme davranışını tek bir giriş örneğinde açıklamak PLNN'nin genel davranışını iyi bir şekilde açıklamaz. Aşağıda OpenBox'ın PLNN'nin genel davranışını nasıl yorumladığını açıklayacağız.
2. Parçalı doğrusal bir sinir ağı için doğru ve tutarlı bir yorumlama yöntemi
Yazarlar, PLNN'nin ağ yapısı ve parametreleri göz önüne alındığında, Denklem 1'deki doğrusal sınıflandırıcı F (x) 'in Conf (x) tarafından belirlendiğini buldular. Bu, herhangi iki farklı giriş örneği için x ve x ', Conf (x) = Conf (x') olduğu sürece, x ve x'in aynı doğrusal sınıflandırıcıyı ve x ve x'in yorumunu paylaştığı anlamına gelir. Ayrıca tamamen aynı olacak.
Daha sonra, Conf (x) = Conf (x ') yapmak için x ve x' girdi örnekleriyle hangi koşulların karşılanması gerekir?
Yazarlar, daha fazla türetme yoluyla, Conf (x) verildiğinde, her gizli katman nöronunun giriş z'sinin, nöronun aktivasyon durumu tarafından belirlenen eşitsizlik kısıtlamalarını karşılaması gerektiğini keşfettiler. Şekil 4, Conf (x) = olduğunda PLNN'nin tüm gizli katman nöronlarının karşılaması gereken bir dizi z girişini göstermektedir. Doğrusal eşitsizlik kısıtlamaları .
Her gizli katman nöronunun girişi z, giriş örneği x'in doğrusal bir işlevi olduğu için, z girişindeki bu doğrusal eşitsizlik kısıtlamaları seti, esas olarak, x giriş örneğindeki doğrusal eşitsizlik kısıtlamaları kümesidir. Bu doğrusal eşitsizlik kısıtlamaları kümesini P olarak tanımlıyoruz.
Açıktır ki, P'deki doğrusal eşitsizlik kısıtlamalarını karşılayan tüm x girdi örnekleri aynı Conf (x) 'e sahiptir, bu nedenle bu örnekler aynı doğrusal sınıflandırıcıyı paylaşır ve tam olarak aynı yoruma sahiptir.
Temelde, P'deki her eşitsizlik doğrusal bir sınır tanımlar ve tüm doğrusal sınırlar birlikte bir Dışbükey Politop (CP) . Dışbükey polihedrondaki tüm giriş örnekleri, P'deki tüm eşitsizlikleri karşılar, bu nedenle bu giriş örnekleri x'in tümü aynı Conf (x) 'e sahiptir ve aynı doğrusal sınıflandırıcıyı paylaşır. Yerel bir alanda var olan bu dışbükey çokyüzlü ve ona karşılık gelen doğrusal sınıflandırıcı olarak adlandırıyoruz. Yerel Doğrusal Sınıflandırıcı (Yerel Doğrusal Sınıflandırıcı, LLC) .
Herhangi bir PLNN için, gizli katman nöronlarının farklı aktivasyon durumları farklı Conf (x) 'e karşılık gelir ve her Conf (x) yerel bir doğrusal sınıflandırıcı belirler. Bu nedenle, bir PLNN, bir dizi yerel doğrusal sınıflandırıcıya kesinlikle eşdeğerdir. Bu yerel doğrusal sınıflandırıcılar kümesini M olarak etiketliyoruz ve bunu PLNN'nin yorumlama modeli olarak kullanıyoruz.
M ve PLNN eşdeğer olduğundan ve aynı dışbükey polihedrondaki tüm örnekler aynı yorumu paylaştığından, M tarafından elde edilen yorum doğru ve tutarlıdır.
Bir x girdi örneği verildiğinde, PLNN'nin x üzerindeki karar verme davranışını açıklamak için M'yi nasıl kullanırız?
İlk olarak, x'in M'den ait olduğu yerel doğrusal sınıflandırıcıyı buluyoruz. Ardından, yerel doğrusal sınıflandırıcıyı ayrıştırdık Karar Özelliği Ve dışbükey çokyüzlü Sınır özelliği (Polytope Boundary Feature, PBF) . Son olarak, PLNN'nin x üzerindeki karar davranışını açıklamak için karar özelliklerini kullanıyoruz ve x'in neden geçerli yerel doğrusal sınıflandırıcı tarafından dahil edildiğini açıklamak için sınır özelliklerini kullanıyoruz.
Makale ayrıca titiz bir teorik analiz yaptı ve M hesaplamanın zaman karmaşıklığının kanıtı yaptı. N farklı giriş örneği için, her bir giriş örneğinin unsur boyutu d ise, OpenBox'ın tüm giriş örneklerine ilişkin yorumunun zaman karmaşıklığı yalnızca O (nd) olur. Özellik boyutu d genellikle bir sabit olarak kabul edildiğinden, OpenBox'ın zaman karmaşıklığı doğrusaldır.
Deneysel bölüm
Yazarlar, OpenBox'u mevcut üst düzey yorumlama yöntemi LIME ile karşılaştırdı [Ribeiro ve diğerleri, KDD 2016]. Deney, aşağıdaki beş soruya odaklanmaktadır:
1. Yerel bir doğrusal sınıflandırıcı neye benzer?
2. LIME ve OpenBox tarafından verilen açıklamalar doğru ve tutarlı mı?
3. Yerel doğrusal sınıflandırıcıların karar özelliklerinin anlaşılması kolay mı? Negatif olmayan ve seyrek kısıtlamalar eklenirse, bu karar özelliklerinin anlamsal özellikleri iyileştirilmeye devam edebilir mi?
4. Yerel doğrusal sınıflandırıcının sınır özellikleri (PBF) nasıl yorumlanır?
5. OpenBox tarafından sağlanan açıklamayı kullanarak PLNN'yi aldatmak için yeni bir örnek oluşturabilir miyiz? PLNN'nin neden belirli örneklerde yanlış kararlar verdiğini öğrenebilir misiniz?
Deney 1: Yerel doğrusal sınıflandırıcıları sentetik veri kümelerinde görselleştirin
Şekil 5 (a) 'da gösterildiği gibi, yazarlar iki boyutlu Öklid uzayında tek tip örnekleme yoluyla 20.000 örnek içeren sentetik bir veri seti SYN üretti. Bunlar arasında kırmızı ve mavi örnek noktaları sırasıyla pozitif ve negatif örnekleri temsil eder.
Şekil 5: OpenBox'ın sentetik veri kümesi SYN üzerindeki deneysel sonuçları
Deneyin amacı M modelindeki tüm yerel lineer sınıflandırıcıları görselleştirmek olduğundan, tüm deney sürecinin test verilerini kullanması gerekmez, bu nedenle yazarlar PLNN'yi eğitmek için SYN'deki tüm örnekleri kullanır. Şekil 5 (b), SYN üzerindeki PLNN'nin tahmin sonucunu göstermektedir.
Şekil 5 (c), M modelindeki her bir yerel doğrusal sınıflandırıcıya karşılık gelen dışbükey çokyüzlüyü görselleştirir. Yazarlar, aynı yerel doğrusal sınıflandırıcıya ait tüm örnekleri aynı renkle işaretlediler ve aynı yerel doğrusal sınıflandırıcıya ait örneklerin hepsinin aynı dışbükey polihedronda (iki boyutlu bir uzayda dışbükey bir çokgen olarak gösterilmiştir) bulunduğunu buldular. Açıktır ki, bu sonuç makalenin teorik analizi ile tamamen uyumludur.
Şekil 5 (d), M modelinin karar sınırını oluşturan tüm yerel doğrusal sınıflandırıcıları göstermektedir. Şekildeki her bir düz çizgi, bir yerel doğrusal sınıflandırıcının karar sınırını temsil eder ve bu yerel doğrusal sınıflandırıcılar birlikte, M modelinin genel karar sınırını oluşturur. Şekil 5 (b) ve 5 (d) 'yi karşılaştırdığımızda, M modelinin genel karar sınırının PLNN'ninkiyle tamamen aynı olduğunu bulabiliriz. Bu sonuç, model M ve PLNN arasındaki denkliği doğrular.
Deney 2: Yorumlamanın doğruluğunu ve tutarlılığını doğrulamak için FMNIST veri seti
Bu deney, FMNIST veri setinde LIME ve OpenBox (Model M) tarafından sağlanan yorumun doğruluğunu ve tutarlılığını karşılaştırır.
İlk olarak, yazarlar, FMNIST-2 veri kümesindeki 600 test örneğinde LIME, OpenBox (model M) ve PLNN'nin karar çıktılarını karşılaştırarak LIME ve OpenBox'ın her yorumlama modelinin doğruluğunu ölçüyorlar. Şekil 6 (a) 'da gösterildiği gibi, LIME'nin karar çıktısı PLNN'ninkinden çok farklıdır, bu da LIME'nin yorumlama modelinin PLNN'den çok farklı olduğunu gösterir, bu nedenle PLNN'nin karar davranışını doğru bir şekilde açıklayamaz. Buna karşılık, OpenBox ve PLNN tarafından hesaplanan M modeli, tüm test örnekleri için tam olarak aynı karar çıktısına sahiptir, bu da M modelinin PLNN'ye eşdeğer olduğunu gösterir, böylece PLNN'nin karar davranışını doğru bir şekilde açıklayabilir.
Daha sonra, yazarlar, LIME ve OpenBox tarafından sağlanan yorumun tutarlılığını ölçmek için girdi örneği x ve en yakın komşu örneği x'in yorumlama sonuçlarının Kosinüs Benzerliğini kullanır. Kosinüs benzerliği ne kadar yüksekse, yorumlama modelinin sağladığı yorumun tutarlılığı o kadar yüksek olur. Şekil 6 (b) 'de gösterildiği gibi, M modeli aynı dışbükey çokyüzlü içindeki örnekler için tam olarak aynı açıklamayı sağladığından, OpenBox'ın kosinüs benzerliği neredeyse her zaman 1'de kalır. Ancak, en yakın komşu örnek x 've giriş örneği x her zaman aynı dışbükey çokyüzlüye ait değildir, bu nedenle bazı örneklerde OpenBox'ın kosinüs benzerliği 1'den azdır. Buna karşılık, LIME'nin kosinüs benzerliği OpenBox'unkinden çok daha düşüktür, bu da OpenBox tarafından sağlanan açıklamanın tutarlılığının LIME'den çok daha yüksek olduğunu gösterir.
Deney 3: OpenBox tarafından çıkarılan karar özellikleri, insanların anlayabileceği güçlü anlamsal özelliklere sahiptir
Doğruluk ve tutarlılığa ek olarak, iyi bir açıklamanın, insanların anlayabileceği güçlü anlamsal özelliklere sahip olması gerekir. Bu deneyde yazarlar, OpenBox tarafından çıkarılan karar özelliklerini FMNIST-1 veri kümesinde görselleştirdiler ve bu özelliklerin anlaşılması kolay güçlü anlamsal özelliklere sahip olduğunu buldular.
Şekil 7: FMNIST-1 veri setinde OpenBox ve Logistic Regression (LR) Karar Özelliği (DF)
Şekil 7 (a) ve 7 (f), FMNIST-1'deki iki tür görüntünün ortalama görüntüsünü gösterir. Bunlar arasında, Şekil 7 (a), pozitif örneğe karşılık gelir Bilek boyu bot , Şekil 7 (f) negatif örneğe karşılık gelir Sırt çantası .
Yazarlar, temel olarak çoklu Lojistik Regresyon (LR) modellerini eğitti. Bunlar arasında, LR modeli pozitif bir örnek olarak botlarla eğitilir ve LR-F modeli, pozitif bir örnek olarak bir torba ile eğitilir.LR-NS ve LR-NSF, ek seyrek LR ve LR-F'ye dayanır, Negatif olmayan kısıtlamalardan elde edildi. Ayrıca yazarlar, OpenBox'ın yorum nesneleri olarak iki PLNN modelini de eğitmişlerdir. Bunlar arasında PLNN, pozitif bir örnek olarak botlarla eğitim yoluyla elde edilir ve PLNN-NS, PLNN temelinde seyrek ve negatif olmayan kısıtlamalar eklenerek elde edilir.
Şekil 7, PLNN ve PLNN-NS'nin karar özelliklerinin OpenBox tarafından sağlandığı yukarıdaki tüm modellerin karar özelliklerini göstermektedir. Açıktır ki, PLNN'nin karar özellikleri, LR ve LR-F'ninkilere çok benzer anlamlara sahiptir. Bu karar verme özelliklerinin Şekil 7 (a) ve 7 (f) 'deki ortalama grafiklerle dikkatli bir şekilde karşılaştırılması, bu karar verme özelliklerinin botlar ve çantalar arasındaki farkı doğru bir şekilde tanımladığını göstermektedir. Daha da ilginci, PLNN'nin karar özellikleri, LR ve LR-F'ninkilerden daha ayrıntılı bilgiler içerir. Bunun nedeni, PLNN'nin her yerel doğrusal sınıflandırıcısının yalnızca dışbükey çok yüzlü içinde bulunan örneklerin küçük bir bölümünü ayırt etmesi gerektiğidir, bu nedenle PLNN, daha ayrıntılı özellikleri yakalamak için çok sayıda yerel doğrusal sınıflandırıcı kullanabilir. Bununla birlikte, LR ve LR-F, tüm pozitif ve negatif örnekleri bölmek için yalnızca doğrusal bir düzlem kullanabilir, böylece yalnızca çok sayıda örneğin ortalama farkını yakalayabilirler. PLNN daha ayrıntılı özellikler yakaladığı için, LR ve LR-F'den çok daha iyi sınıflandırma doğruluğu elde etti.
PLNN-NS, LR-NS ve LR-NSF'nin karar özelliklerini karşılaştırarak, negatif olmayan ve seyrek kısıtlamaların PLNN-NS karar özelliklerinin anlambilimini geliştirmek için eşit derecede etkili olduğunu bulduk. Ayrıca PLNN-NS'nin LR-NS ve LR-NSF'den çok daha ayrıntılı özellikler yakaladığını ve bu nedenle nispeten yüksek sınıflandırma doğruluğu elde ettiğini gözlemledik.
Deney 4: OpenBox tarafından çıkarılan sınır özellikleri de güçlü anlamsal özelliklere sahiptir
OpenBox tarafından çıkarılan yerel doğrusal sınıflandırıcıyla ilgili olarak, yalnızca karar verme özellikleri güçlü anlamsal özelliklere sahip olmakla kalmaz, aynı zamanda dışbükey çokyüzlülerinin sınır özellikleri de güçlü anlamsal özelliklere sahiptir.
Bu deneyde, yazarlar FMNIST-1 üzerinde bir PLNN eğitti ve PLNN'nin üç yerel doğrusal sınıflandırıcısına karşılık gelen dışbükey çokyüzlüleri ayrıştırmak için OpenBox'ı kullandılar. Şekil 8 (a) - (d), {bag, bootie, bag, bag} 'a karşılık gelen bu dışbükey polihedronların sınır özelliklerini göstermektedir. Şekil 8 (e), bu sınır özelliklerini tanımlayan doğrusal eşitsizlikleri ve karşılık gelen dışbükey çokyüzlünün içerdiği her kategorinin örnek sayısını göstermektedir. Şekil 8 (e) 'deki doğrusal eşitsizlikle ilgili olarak, "/" eşitsizlikle tanımlanan sınırın geçersiz olduğu anlamına gelir; " > "0", dışbükey çokyüzlüdeki örneğin eşitsizliğin sınır özellikleriyle güçlü bir korelasyona sahip olduğu anlamına gelir; "
Şekil 8 (e) 'deki ilk dışbükey polihedron örnek olarak ele alındığında, doğrusal eşitsizlik durumundan, dışbükey çokyüzlünün içerdiği örneklerin Şekil 8 (b) - (c)' deki çizme ve çantalarla güçlü sınır özelliklerine sahip olduğu görülebilir. Korelasyon. Bu nedenle, ilk dışbükey polihedron çok sayıda bot ve çanta içeriyordu. Benzer şekilde, Şekil 8 (e) 'deki ikinci dışbükey çokyüzlü için, içindeki örnekler sadece patiklerin sınır özellikleriyle pozitif olarak ilişkilidir, bu nedenle dışbükey polihedrondaki örneklerde sadece patik bulunur, ancak çanta yoktur. Yukarıdaki deneysel sonuçları görmek zor değil, OpenBox tarafından çıkarılan sınır özellikleri güçlü anlamsal özelliklere sahiptir .
Yazarlar, yukarıdaki harika deneylere ek olarak, PLNN'yi aldatan yeni örnekler oluşturmak ve PLNN'nin bazı örneklerde neden yanlış kararlar verdiğini bulmak için OpenBox tarafından sağlanan açıklamayı da kullandılar. Bu ilginç görevlerde, makaledeki deneyler de mevcut yöntemlerden önemli ölçüde daha iyi sonuçlar veriyor.
sonuç olarak
Yazarlar, parçalı doğrusal sinir ağının bir dizi yerel doğrusal sınıflandırıcıya tam anlamıyla eşdeğer olduğunu ve doğru, tutarlı ve verimli bir sinir ağı yorumlama yöntemi - özlü bir analitik formda OpenBox - sağladığını kanıtladılar. Çok sayıda deneysel sonuç, OpenBox'ın yalnızca parçalı doğrusal sinir ağının genel davranışını doğru ve tutarlı bir şekilde tanımlayamadığını, aynı zamanda parçalı doğrusal sinir ağında etkili yanıltma saldırıları ve hata arama gerçekleştirebileceğini göstermektedir. Yazarlar, bu yöntemi genişletmeye devam edeceklerini, böylece sürekli, pürüzsüz aktivasyon işlevlerini (sigmoid, tanh gibi) kullanan derin sinir ağlarını etkili bir şekilde açıklayabileceklerini söylediler.
Ayrıntılar için lütfen orijinal makaleye bakın: https://arxiv.org/abs/1802.06259
Bu makale yazılı olarak yardımcı oldu: tezin ilk yazarı Dr. Chu Lingyang.
Daha fazla konferans içerik raporu ve mükemmel kağıt yorumları için lütfen Leifeng.com AI Technology Review'u takip etmeye devam edin
Referanslar
Ribeiro, Marco Tulio, Sameer Singh ve Carlos Guestrin. "Neden sana güvenmeliyim ?: Herhangi bir sınıflandırıcının tahminlerini açıklamak." 22. ACM SIGKDD Uluslararası Bilgi Keşfi ve Veri Madenciliği Konferansı Bildirileri. ACM, 2016.
