Zhou Zhihua'nın derin orman modeli nasıl değerlendirilir ve sıcak konseyin derin öğrenme DNN'nin yerini alıp almayacağı
Xinzhiyuan Raporu
Kaynak: HackerNews, Zhihu
Yazar: İngilizce derlemedeki metne bakın: Wen Fei
Xin Zhiyuan Rehberi Dün, Xin Zhiyuan, Nanjing Üniversitesi'nden Profesör Zhou Zhihua ve Feng Ji'nin "Derin Orman" adlı makalesini bildirdi ve bu, birçok tartışmayı tetikledi. Bugün, Xinzhiyuan internette bazı yorumları derledi. Çince içerik Zhihu'dan gelmektedir ve yetkilendirilmiştir. Extranet içeriği, Xinzhiyuan tarafından derlenen Hacker News'den geliyor. Bu makaleyi okuyan sizler de görüşlerinizi bırakabilirsiniz.
Öncelikle, Zhou Zhihua ve Feng Ji'nin yazdığı "Derin Orman: Derin Sinir Ağlarının Ötesinde Yöntemleri Keşfetmek" adlı makaleyi kısaca gözden geçirelim. Daha fazla bilgi edinmek için lütfen Xinzhiyuan raporunu okumak için tıklayın: Zhou Zhihuanın son makalesi derin öğrenmeye meydan okuyor | Derin Orman: Derin sinir ağları dışındaki yöntemleri keşfedin.
Özet
Bu yazıda, performansı derin sinir ağlarına kıyasla çok rekabetçi olan bir karar ağacı topluluğu yaklaşımı olan gcForest'i önerdik. Derin sinir ağlarının, ayarlama parametrelerini ayarlamak için çok fazla çaba harcamaları gerekir, bunun aksine gcForest'in eğitilmesi çok daha kolaydır. Aslında, neredeyse aynı hiperparametre ayarları altında gcForest, farklı alanlardaki farklı verileri işlerken de mükemmel performans elde edebilir. GcForest'in eğitim süreci verimli ve ölçeklenebilir. Deneylerimizde, bir bilgisayardaki eğitim süresi, bir GPU tesisinde çalışan derin bir sinir ağına benzer. GcForest, paralel dağıtım için doğal olarak uygun olduğundan, yüksek verimlilik avantajı daha da belirgindir. Ek olarak, derin sinir ağları büyük ölçekli eğitim verileri gerektirir ve gcForest her zamanki gibi yalnızca küçük ölçekli eğitim verileriyle çalışır. Sadece bu değil, ağaç temelli bir yöntem olan gcForest, teorik analiz açısından da derin sinir ağlarından daha kolay olmalıdır.
Hacker News kullanıcı tartışması
HN kullanıcısı rkaplan:
"Derin sinir ağları, hiperparametreleri ayarlamak için çok çaba gerektirir. Buna karşılık, gcForest'in eğitilmesi çok daha kolaydır."
Derin sinir ağları için hiper parametreleri ayarlamak artık büyük bir sorun değil. BatchNorm ve daha güçlü optimizasyon algoritmalarıyla, çoğu zaman Adam'ı yalnızca varsayılan öğrenme oranı 0.001 ile kullanmanız gerekir ve sonuçlar iyidir. Artık birçok model BatchNorm kullanıyor ve bazen Dropout'u kullanması gerekmiyor.Genel olarak, ayarlama artık bir sorun değil. 1, 3 × 3 basamaklı birçok evrişimli katman güzel etkilere sahiptir. Basitçe söylemek gerekirse: Günümüzde Deep NN parametreleri çok fazla ayarlamamakla birlikte iyi de çalışmaktadır. Sadece varsayılan ayarları kullanın.
HN kullanıcı computerex:
Bu ifadeye kesinlikle katılmıyorum. Varsayılan ayar hiç çalışmaz ve ağ mimarisinin kendisi bir hiperparametre olarak kabul edilebilir. Bu durumda, farklı problemler için kullanılan YSA'lar için makul bir varsayılan ayar nasıl elde edilir?
HN kullanıcısı arjo129:
Derin sinir ağları iyi çalışır, ancak çok sabırlı olmanız (ve bunları nasıl kullanacağınızı bilmeniz) gerekir. Ek olarak, GPU'lar çok pahalıdır. Batırdığını anladığında, çok zaman harcadın. Elbette bu, herhangi bir makine öğrenimi algoritması için geçerlidir. Ama söylemek istediğim, henüz bilmediğimiz bir yöntem olabilir ve hesaplama karmaşıklığı daha düşük olabilir.
Bulduğum bir problem, insanların derin sinir ağlarını sınırsızca kötüye kullanması. Kok kutuları gibi buzdolabındaki yapılandırılmış nesneleri tanımak için DNN'yi eğitmenize gerek yoktur. Küçük ölçekli nesne tanıma için, basit domuz / eleme özelliği mühendisliği daha hızlı ve daha iyi bir seçim olabilir. Ancak, sift'in ImageNet'teki derin sinir ağlarından daha iyi performans göstermesini bekleyemezsiniz. Bu nedenle, bir sistemi kısa bir süre içinde dağıtmaya gelince, açık fikirli olmalısınız.
HN kullanıcı modeli yok:
"DNN'yi, buzdolabındaki kok kutuları gibi yapılandırılmış nesneleri tanımak için eğitmeye gerek yok."
Bu ifadeye katılmıyorum. Elbette, kendi deneysel projeniz olarak, bir buzdolabında bir kutu Kola tanımlamak için bir NN'ye ihtiyacınız yok. Peki ya tüm buzdolaplarındaki tüm kola kutularını belirlemek istiyorsanız, bu gerçek dünyada kullanıp tüketicilere bir kola robot ürünü vermeniz içindir? Tüm farklı kola kutuları tasarımlarını ve tüm farklı tipteki buzdolaplarını içeren devasa bir veri setine ihtiyacınız olacak Küçük özellik mühendisliğiniz bu veritabanları ile bir NN karşısında sefil bir şekilde ölecektir.
HN kullanıcısı throw_away_777:
Aslında, derin sinir ağlarının neden bu kadar popüler olduğunu ve şimdiye kadar çoğu Kaggle yarışmasında kullanılan en iyi algoritmanın xgboost olduğunu hiç anlamadım. Sinir ağları görüntü işleme sorunları için çok yararlı olsa da, daha fazla makine öğrenimi sorunu için, karar ağacı yöntemi daha iyi performans gösterir ve dağıtımı daha kolaydır.
HN kullanıcısı BickNowstrom:
Sinir ağları bir nedenden dolayı yanıyor. Sinir ağlarının büyük gelişimi, NLP doğruluğu, bilgisayar görüşü, yapılandırılmış veriler, makine çevirisi, stil aktarımı vb.
XGBoost, "Açgözlü işlev yaklaşımı: Bir gradyan artırma makinesi" kağıdından bu yana pek değişmedi, ancak bazı küçük iyileştirmelerle parametreleri ayarlamak daha hızlı ve daha uygun hale geldi.
Bence Tensorflow / Keras, ağaç tabanlı yöntemlerle aynı veya daha yüksek doğruluğa sahip ve daha fazla türde problemle başa çıkabilir. NN, yapılandırılmış problemlerde iyi bir iş çıkarır (bu, ağaç tabanlı yöntemlerin ana alanıdır), ancak bilgisayarla görme ve NLP için de uygundur.
Aslında, ağaç temelli yöntemler akademik olarak modası geçmiş ve heyecan verici olanların hepsi sinir ağları alanında. Derin öğrenmenin yayınlanması daha kolaydır (eskiden tam tersi).
HN kullanıcısı throw_away_777:
Sinir ağlarının en gelişmiş olduğunu ve belirli problem türlerinde (NLP ve vizyon, bunlar çok önemli problemler) iyi performans gösterdiğini kabul ediyorum. Bununla birlikte, birçok veri yapılandırılmıştır (satışlar, öneriler vb.) Ve xgboost modelinin eğitilmesi sinir ağı modelinden daha kolaydır. Bir sinir ağını eğitmek için çok pahalı bilgisayarlara veya pahalı bulut bilişimine ihtiyacınız vardır ve onları kullandıktan sonra bile eğitmek kolay değildir. Dağıtım kolaylığı, akademik topluluk tarafından göz ardı edilen önemli bir faktördür. NLP olmayan ve görüntü olmayan veri kümelerinde, en iyi Kaggle modeli genellikle xgboost modelidir ve xgboost'u geliştirmek için harcanan süre, iyi bir sinir ağı modeli geliştirmenin 1 / 10'u kadardır. Xgboost, ilk sunulduğundan bu yana uzun bir yol kat etti ve iyileştirmenin erken durdurulması, büyük bir iyileştirmenin bir örneğidir.
Algoritma çok karmaşık değil, büyük veri kümelerinde sonuç bekliyoruz
Yazar: Tian Yuan Dong, Facebook Yapay Zeka Laboratuvarı]
Tüm algoritma çok karmaşık görünmüyor.
1. Önceki Yığınlama yaklaşımına benzer şekilde, yani her katman etiketlerle eğitilir ve eğitimden sonra eğitime devam etmek için başka bir katman istiflenir. Complete Random Forest'ın eklenmesi çok ilginç.Kişisel anlayışım, gelecekteki tahminler için iyi olan bazı görünüşte alakasız özellikler yaratmaktır. Deneyde bazı ablasyon analizleri yapılsaydı harika olurdu.
2. Bazı kısayol bağlantılarını kullanarak, verileri birkaç katman önce alın ve önceki katmanın çıktısını bu Orman katmanının girdisi olarak bağlayın.
3. Çok Taneli Tarama, 1D ve 2D evrişime çok benzer.
Ek olarak, deney sadece küçük ölçekli bir veri seti üzerinde yapılır ve CIFAR ve hatta ImageNet'in sonuçlarını dört gözle beklemektedir. Derin öğrenme de sözü edilen Katman Katman eğitim fikrine sahiptir, ancak etkisi çok iyi değildir.Bu fikir büyük veri kümeleri üzerinde yapılabilirse, gerçekten büyük bir atılımdır.
Orijinal bağlantıyı bilin: https://www.zhihu.com/question/56474891/answer/149427631
İyi bir yön açtı, ancak gerçekten Alternatif olmak için çalışacak çok şey var.
[Yazar: Qiuxi Peng, Doçent, Fudan Üniversitesi, Bilgisayar Bilimi ve Teknolojisi Okulu]
Öncelikle bu yazının içeriği detaylandırılmayacak, birçok kişi de çok detaylı bir analiz yaptı. İnovasyonun iki yönü vardır: 1) Düşünme açısından, derin öğrenme, çerez kesici sinir ağları yerine diğer sığ sınıflandırıcıları da kullanabilir. 2) Metodolojik olarak, derin bir rastgele ormanı gerçekleştirmek için bir kademeli + entegrasyon yöntemi benimsenir. Pek çok araştırmacının 1 fikrine sahip olduğunu tahmin ediyorum (aslında bende var), ancak yalnızca Öğretmen Zhou'nun bunu uygulamak için bir yol bulabileceği tahmin ediliyor.Bu çok fazla entegre öğrenme teknolojisi gerektiriyor.
İşte görüşlerim (Alternatif olsun):
1) Derin ağ ve sinir ağının yeniden yapılandırılması
Aslında, derin öğrenme artık sadece çok katmanlı bir sinir ağı değil. Mevcut derin modellerin çoğu, genellikle birkaç bileşen içeren daha karmaşık bir mimariye sahiptir. Her bileşen bir sinir ağı tarafından gerçekleştirilir. Örneğin, Neural Turing Machine ve ardından AlphaGo için. Sinir ağları bu karmaşık modellerde bileşen haline getirilmiştir.
2014'te Jason Weston'ın Hafıza Ağları'nı okuduğumu hatırlıyorum. Yazar bir bellek ağı çerçevesi oluşturur, her bileşen SVM veya karar ağacı olabilir. O zamanlar yazarın fikirlerinin çok çılgınca olduğunu ve beynimin açık olduğunu hissettim. Bununla birlikte, sinir ağı son uygulamada kullanıldı (nedenler için aşağıya bakın).
2) Uçtan Uca eğitim ve Katmanlı eğitim
Karmaşık bir sistemi (soru cevap sistemi gibi) uygularken, genel fikrimiz, onu anlamamıza yardımcı olacak şekilde ayrıştırmak ve sonra onu adım adım uygulamaktır. Burada iki sorun var: Birincisi, bu ayrıştırılmış bileşenlerin gevşek bir şekilde bağlanması ve ayrı ayrı eğitilmesi gerektiğidir ve her bileşenin optimizasyon hedefi, nihai sistem hedefi ile tamamen tutarlı değildir. İkincisi, hata yayılımı sorunudur. Sinir ağlarının ortaya çıkmasından sonra, bu sorunlar çözüldü, çünkü bu bileşenler sinir ağları olabilir ve Uçtan Uca eğitim için de birbirine bağlanabilir, böylece en büyük sorun ortadan kalkar.
Katman bazlı eğitime tekrar bakalım. Bir sistemi hiyerarşik yapısöküm haline getirebildiğimizde, Katmanlı eğitime dönebiliriz Bu zamanda, her katmanın eğitim hedefleri bazı ön bilgiler ekleyebilir. Bu yöntemin avantajları ve dezavantajları vardır, bu nedenle genişletilmeyecektir. Ancak, bir sistem katman katman bir yapıya bölünemiyorsa, katman bazlı bir eğitim yöntemi bulmak bizim için zordur Uçtan uca eğitim daha iyi bir seçimdir, şu anda sinir ağları dışında daha iyi bir seçim yoktur.
Kısacası, Bay Zhou'nun çalışması şüphesiz çok iyi bir yön açmıştır.Eğer gerçekten Alternatif olmak istiyorsanız, çalışacak çok şey var.
Orijinal bağlantıyı bilin: https://www.zhihu.com/question/56474891/answer/149470584
Deneysel sonuç iyi, gerçek etkinin doğrulanması gerekiyor
[Yazar: Fu Peng, Bugünün manşetleri
Benim kişisel fikrim, bu fikrin düşünülebileceği, ancak makalede anlatılan "sihirli yağ" a benzer bir işleve sahip olup olamayacağı konusunda hala daha fazla teste ihtiyacı var.
Önce kontrol testinin sonuçlarını koyun:
Yüz tanıma (görüntü), duygu tanıma (NLP), müzik sınıflandırma problemleri vb. Ne olursa olsun harika sonuçlar elde edildiği görülmektedir.
Dahası, makale "gcForest'in çok daha az hiperparametreye sahip olduğunu ve parametre ayarlarına daha az duyarlı olduğunu iddia ediyor; aslında, deneylerimizde, aynı parametre ayarlarını kullanarak farklı alanlarda mükemmel performans elde ettik. , Ve ister büyük ölçekli ister küçük ölçekli veri olsun çok iyi çalışıyor.
Bu korkutucu geliyor. Daha fazla ayrıntı olmadan spekülasyon yapmak kolay değildir, ancak mevcut makaleden bir veya iki tanesi analiz edilebilir.
1. Bu derin orman, esasen hala bir ağaç topluluğu yöntemidir
Topluluk yöntemi, Zhou Zhihuanın güçlü noktasıdır. Bu derin orman, Zhounun derin öğrenmeden ödünç aldığı topluluk yönteminin bir sonucu gibi görünüyor.
Zhou, bu algoritmaya "topluluk grubu" adını verdi; bu, aslında topluluk modeliyle elde edilen sonuçların birleştirilmesine (birleşimine) atıfta bulunuyor ve bu daha sonra, çok katmanlı bir sinir ağı uygulamasına benzer şekilde, topluluk gerçekleştirmek için yeni topluluk modelinin girdisi olarak kullanılıyor.
Yukarıdaki şekil şematik bir diyagramdır NN yaklaşımına benzer şekilde, birden fazla ormanın sonuçlarının bir sonraki katmana ardışık olarak girildiği ve son olarak nihai tahminin katmanlardan sonra çıktığı görülebilmektedir.
Gc ormanında, her katman tarafından seçilen çıktı, geçerli katmandaki her bir ormanın tahmin edilen çıktı sonuçlarının basamaklandırmasıdır.Örneğin, bir katmanda 2000 orman ve 2 sınıflandırma sorunu varsa, bu katmanın çıktısı 2000 * 2 = 4000 boyut.
2. Topluluğun gerektirdiği "çeşitliliğe" tamamen rastgele isabetler yoluyla
Topluluğun en önemli noktası, modellerde çeşitlilik olması gerektiğidir, böylece topluluk anlamlıdır, sözde "farksız uyum".
Zhou'nun buna yaklaşımı, giriş katmanının iki farklı orman kullanmasıdır, yukarıdaki resimde mavi ve siyah ayrımına bakın.
Biri, rastgele seçilen geleneksel Rastgele Orman
Bir özellik aktarılır, d, çok geleneksel bir ağaç topluluğu yöntemi olan özellik boyutudur.
Diğeri ise tamamen rastgele oluşturulmuş ormanlar, tamamen rastgele ağaç ormanları. Sınıflandırma saf hale gelene veya örnek çok küçük olana kadar özellikleri rastgele seçin, bölünmüş değeri rastgele seçin.
Anladığım kadarıyla, ilkinin belirli bir algoritma etkisini garanti ettiği, ikincisinin ise belirli bir çeşitlilik derecesi eklediği.
Üç, orijinal özellikleri işlemek için gelişmiş NN yöntemini öğrenin
DL, yalnızca ağ için değil, aynı zamanda CNN'nin evrişim işlemi ve dizi problemlerinin RNN tarafından işlenmesi gibi güvenilmez özellik mühendisliği için de çalışabilir.
gc forest, kendi girdisinin ön işlemesi olarak ağla pek ilgisi olmayan bu şeyleri öğrenir.
Bu özelliklerin işlenmesi tabii ki bir konudur ve modelin etkisini iyileştirmek için belirli problemler için belirli özellik mühendisliği yapmak gerekir.
--------------------------------------
Ardından "Boer" testinde birçok alanda birçok model vuruldu.
Bu bağlamda, kodun çıkıp test etmesini beklemek zorundayız.
Biraz kişisel düşünce:
1. Bu fikir bir dereceye kadar işe yarayabilir, çünkü ağaç topluluğu modeli gelişmiş özellikleri öğrenmek için doğrulandı. Facebook, CTR tahminlerinde bulunmak için LR modelinde GBDT çıktısının belirli bir katmanını başarıyla kullanmayı denedi. , İyi sonuçlar aldım: https://research.fb.com/publications/practical-lessons-from-predicting-clicks-on-ads-at-facebook/, bu en azından ağaç topluluğu modelinin çıktısının aslında çok iyi olduğunu gösteriyor anlamda.
2. Bu gc orman modeli aslında NN gibi çok katmanlı öğrenme yoluyla daha yüksek boyutlu ve daha soyut özellikler öğrenmeye ve katmanlar ekleyerek özellikler ve özellikler arasında çeşitli doğrusal olmayan kombinasyonları gerçekleştirmeye ve sonunda Doğrusal olmayan çeşitli özellikler üretilir ve neredeyse kesinlikle iyi olanlar vardır.
3. Neden her katmanın çıktısı sınıflandırma sonucunun boyutunu seçiyor? Bu bazı karakteristik bilgileri kaybediyor mu? Öğrenme etkisi üzerinde bir etkisi olup olmadığı.
4. Bu model gerçekten her derde deva bir model olabilir mi, yine de bir iddiada bulunmaya cesaret edemiyorum.Birincisi, çok seyrek değil.İkincisi, görünüşte rastgele birçok ayar var.Üçüncüsü, böyle bir ağaç inşa etmek gerçekten NN'den daha iyidir. Analiz etmek daha mı kolay? Yine de büyük adamlardan ilgili soruları cevaplamalarını isteyin.
5. Bu model, birinci katmandaki nihai sonucun kaybına odaklanır.Özellik öğrenmede bir kısıtlama mı, yani daha iyi özellikleri öğrenmek zor mu?
Orijinal bağlantıyı bilin: https://www.zhihu.com/question/56474891/answer/149366668
gcForest iyidir, ancak DNN'yi geçmez
[Yazar: Mao Xiaofeng]
Önce gazete fikrinden bahsedeyim.
GcForest modeli, eğitimi hala iki aşamaya ayırır:
İlki G aşamasıdır (Çok Taneli Tarama) Bu aşama esas olarak özellik çıkarımıdır. Spesifik yöntem, evrişimli sinir ağına benzer (aşağıdaki şekilde gösterildiği gibi). N * n pencere ham özelliği elde etmek için kayar, ancak burada daha fazlası yoktur. Ağırlıklar ile, 20 * 20 boyutunda bir resim, 1'lik bir kayan adım atmak için 10 * 10 pencere kullanan, 121 özellik oluşturacak ve ardından doğrudan Ormana 121 adet 10 * 10 piksellik resim koyacak ve 121 İki üç boyutlu sınıf olasılık vektörü, iki orman, 2 * 121 üç boyutlu sınıf olasılık vektörleridir, vb. Benzer şekilde, yukarıdaki adımları 5 * 5 veya 15 * 15 pencere ile tekrarlayın ve son olarak çok yüksek boyutlu bir özellik oluşturmak için tüm vektörleri toplayın. Önemli olan, bu sürecin baştan sona denetlenmesidir. Bazı katılımcılar, gcForest'in özellik çıkarma işleminin etiket tarafından denetlendiğini, DNN'nin özellik çıkarma işleminin ise üst düzey BP tarafından geçen gradyanlarla güncellendiğini söyledi. DNN'de Daha derin bir seviye olması durumunda, üst katmandan geçen gradyan, çeşitli faktörlerden kolaylıkla etkilenir ve dalgalanır Bu, gcForest'in DNN'den daha iyi olduğu noktadır.
İkincisi, aşağıdaki şekilde gösterilen kademeli rasgele ormandan oluşan C aşamasıdır (Cascade Ormanı) Her Orman ayrıca 3 boyutlu bir sınıf olasılık vektörü çıkarır.Bazı öğrenciler bunun tek adımda tamamlanmadığını söyleyeceklerdir. Elbette hayır.Aşağıdaki şekildeki 4 Ormanın çıkardığı 4 * 3 boyutlu vektörler, orijinal Girdi ile toplanmalı ve daha sonra bir sonraki katmanın girdisi olarak kullanılmalı ve bu şekilde, sonucun daha iyi olduğunu bulduğumuzda durabiliriz. Çıktı olarak ortalamasını aldıktan sonra maksimum değere karşılık gelen sınıfı alın. Çıktı ve orijinal Girdi neden sonraki katmanın girdisi olarak toplansın? Bu yaklaşımla ilgili anlayışım, çıktıyı belirli bir değere yaklaştırıp yaklaştırmak, yani çağlayan ormanı yakınsama ve stabilize etme eğiliminde kılmaktır.
O zaman DNN ile farkı konuşalım.
Makalenin başında, anlayışımdaki en temel farkı özetledim, Diğer bir deyişle, gcForest bir özellik oluşturmak için denetlenir ve ardından tüm özellikler sınıflandırmaya birlikte rehberlik eder, DNN ise uçtan uca "tek noktadan" bir hizmettir .
Başka bir fark şudur: GcForest'in ara verileri sonuç olarak doğrudan çıktı olarak alınabilir, bu da gcForest'in neden "dinamik olarak katman ekleyebildiğini", ancak DNN'nin neden yapamadığını açıklar, çünkü DNN'nin katmanlar arası verileri belirli bir anlama sahip değildir ve sonucun karşılık gelen "kayıp katmanı" aracılığıyla elde edilmesi gerekir.
Tüm süreç etiket tarafından denetlendiğinden, gcForest nispeten az sayıda hiper parametre gerektirirken, DNN sıkı ağ yapısı tasarımı ve parametre ayarlama becerileri gerektirir.Herhangi bir hata olduğunda, ağdaki küçük dalgalanmalar tüm sistemin başarısız olmasına neden olur.
Ölçeklenebilirlik hakkında konuşalım. Etiket denetimi yalnızca gcForest için bir avantaj değil, aynı zamanda en büyük kusurdur. GcForest etiketlere çok fazla güveniyor. Şahsen ben bunun denetimsiz görevleri bile yapamayacağını düşünüyorum. Bu aynı zamanda geleneksel makine öğrenimi yöntemi. Yaygın sorun. Denetimsiz Öğrenme günümüzde giderek daha önemli hale geldiğinden, tetraatlon Derin Sinir Ağının statüsünün hala sarsılamayacağını düşünüyorum.
Metinden bir cümle alıntı yapmak için " Daha güçlü hesaplama olanaklarımız olsaydı, büyük veriyi ve daha derin ormanları denemek isterdik, ki bu gelecekteki çalışmalara kalır ", Şimdiden büyük bir dalgayı öngörebiliyorum" orman "," orman içinde orman "," Derin kalıntı orman "Burada.
Orijinal bağlantıyı bilin: https://www.zhihu.com/question/56474891/answer/149377689
