TF Lite hikayenin sadece bir parçası, Google ayrıca yeni bir model sıkıştırma yöntemi tanıttı
Leifeng.com AI Teknolojisi Yorumu: "Yerel cihazlarda makine öğrenimi modellerini çalıştırma" trendine uymak ve daha spesifik olmak için, kendi Pixel 2 ve gelecekteki cep telefonlarında AI hızlandırma yongası (Pixel Görsel Çekirdek) için çalışma zamanı kitaplıkları sağlayın Google, TensorFlow Mobile API'nin yükseltilmiş bir sürümü olarak halkın gözüne giren ve açık kaynak + uzun vadeli güncellemeler olan TensorFlow Lite'ı resmi olarak yayınladı.
TensorFlow masaüstü ve TensorFlow Lite'ın konumlandırılması elbette farklıdır. İlki hem eğitimi hem de çıkarımı hesaba katabilirken, ikincisi özellikle mobil cihazlarda nasıl verimli şekilde çalışılacağını düşünür; bu, teknik özelliklerinde farklılıklara yol açar ve TensorFlow masaüstü modellerinin de geçmesi gerekir Dönüştürmeden sonra TensorFlow Lite üzerinde çalıştırılabilir.
Öte yandan, Google Araştırma Enstitüsü, TensorFlow Lite yazılımını yayınlarken, yalnızca mükemmel sıkıştırma etkilerine sahip olmakla kalmayıp aynı zamanda sıkıştırılmış modelin doğrudan TensorFlow Lite üzerinde de çalıştırılabilen yeni bir model sıkıştırma yöntemini tanıtan bir blog yazısı yayınladı. , Büyük bir iyi haber olarak tanımlanabilir. Leifeng.com AI Technology Review bu blog gönderisini aşağıdaki gibi çevirir.
TensorFlow Lite
2017'nin başlarında Google, akıllı mesaj işleme sağlamak için ilk kez mobil cihazlarda makine öğrenimi modellerini çalıştırmayı destekleyen Android Wear 2.0'ı piyasaya sürdü. Daha önce Google'ın Gmail, Inbox ve Allo'da sağlanan bulut tabanlı "akıllı yanıt" işlevi, üçüncü taraf anlık mesajlaşma yazılımları da dahil olmak üzere herhangi bir programda ilk kez çalışabilir. Yerel makine öğrenimi ve bilgi işlem yetenekleriyle, artık bulut hizmetlerine bağlanmanıza gerek kalmaz ve sohbet mesajlarına doğrudan yoldayken akıllı saatinizden yanıt verebilirsiniz.
14 Kasım ABD saatine göre Google, mobil cihazlar ve gömülü cihazlar için TensorFlow'un hafif bir sürümü olan TensorFlow Lite'ı resmi olarak piyasaya sürdü. Bu geliştirme çerçevesi, makine öğrenimi modellerinin düşük gecikmeli akıl yürütmesi için özel olarak optimize edilmiştir ve daha az bellek ayak izine ve daha hızlı çalışma hızına odaklanır. Yazılım kaynak kitaplığının bir parçası olarak Google ayrıca cihazlarda çalışabilen bir sohbet modeli ve bir demo uygulaması yayınladı. Bunlar, geliştiriciler ve araştırmacılar için Google tarafından TensorFlow Lite üzerinde çalışan doğal dil uygulamalarının örnekleridir. Daha fazla yeni yerel makine zekası işlevi araştırın, inceleyin ve geliştirin. Sohbet konuşma mesajını girdikten sonra, bu model önerilen bir yanıt oluşturabilir; muhakeme süreci çok verimlidir ve akıllı sohbet işlevleri sağlamak için cihazın kendi bilgi işlem gücünü kullanarak çeşitli sohbet yazılımlarına kolayca yerleştirilebilir.
Google tarafından yayınlanan yerel olarak çalışan sohbet modeli, kompakt sinir ağlarını (ve diğer makine öğrenimi modellerini) eğitmek için yeni bir makine öğrenimi mimarisi kullanır. Ortak bir optimizasyon paradigmasına dayanmaktadır ve ilk olarak ProjectionNet: Learning Efficient On-Device Deep Networks başlıklı makalede yayınlanmıştır. Sinir Projeksiyonlarını Kullanma. Bu mimari, sınırlı bilgi işlem gücü ve belleğe sahip mobil cihazlarda verimli bir şekilde çalışabilir. Verimli "projeksiyon" işlemleri sayesinde, herhangi bir girişi kompakt bir bit vektör gösterimine dönüştürebilir. Bu süreçte, benzer girdiler olacaktır. Bitişik vektörlere yansıtın; bu vektörler, projeksiyonun türüne bağlı olarak yoğun veya seyrek olabilir. Örneğin, "Selam nasıl?" Ve "Kardeşin nasıl?" Aynı vektör temsiline iki mesaj yansıtılabilir.
Bu fikir sayesinde, Google'ın sohbet modeli, çok düşük bilgi işlem yükü ve bellek tüketimiyle bu verimli işlemleri ekler. Cihazda yerel olarak çalışan bu model, Google tarafından uçtan uca bir yöntemle eğitilir. Eğitim sürecinde, iki farklı modeli birlikte eğiten bir makine öğrenimi çerçevesi kullanılır; eğitilen iki modelden biri kompakt bir "projeksiyon" modelidir (yukarıdaki gibi Makalede bahsedildiği gibi), bir "eğitmen" modeli de birleştirilmiştir. İki model ortaklaşa eğitilir, projeksiyon modeli eğitmen modelinden öğrenir; eğitmen modeli bir uzmanın özelliklerine sahiptir, daha büyük ve daha karmaşık bir makine öğrenimi mimarisiyle oluşturulur ve projeksiyon modeli bir takip öğrenimi gibidir. s öğrencisi. Eğitim sürecinde, daha kompakt bir sıkıştırma etkisi elde etmek için niceleme ve damıtma gibi diğer teknikler de eklenebilir veya hedef işlevin bazı bölümleri seçici olarak optimize edilebilir. Eğitim bittiğinde, bu küçük projeksiyon modeli, doğrudan cihaz üzerinde çıkarım görevleri için kullanılabilir.
Çıkarım sürecinde, eğitimli projeksiyon modeli bir dizi TensorFlow Lite işleminde derlenecek ve bu işlemler, mobil platformda hızlı uygulama için optimize edilmiştir ve doğrudan cihaz üzerinde gerçekleştirilebilir. Bu yerel olarak çalışan sohbet modelinin TensorFlow Lite çıkarım diyagramı aşağıda gösterilmektedir.
Yukarıda belirtilen ortak eğitim yöntemiyle uçtan uca eğitilen sohbet modeli açık kaynak kodludur ve bugün (14 Kasım, ABD saati) kodla yayınlanacaktır. Aynı zamanda, araştırmacıların ve geliştiricilerin bunları kolayca indirebilmeleri ve mobil cihazlarında sağladığı tek tıklamayla akıllı yanıt işlevini deneyebilmeleri için bir demo uygulaması yayınlanacak. Bu mimari, uygulama gereksinimlerine göre farklı model boyutlarında ve farklı tahmin niteliklerinde konfigürasyon fonksiyonları sağlayabilir ve operasyon çok uygundur. İyi yanıt mesajları verebilen bilinen bazı modellere ek olarak, sistem ayrıca gözlemlemek için bir dizi sabit sohbet konuşması kullanabilir ve ardından tahmin başarısızlığından sonra popüler yanıt cümlelerini modelde alternatif cümleler olarak derlemeyi öğrenebilir. . Arkasındaki model ile Google'ın kendi uygulamalarında "akıllı yanıt" işlevi sağlayan modeli arasında bazı farklılıklar vardır.
Sohbet modelinden sonra
İlginç bir şekilde, yukarıda açıklanan makine öğrenimi mimarisi, temel modelin çeşitli esnek seçeneklere sahip olmasını sağlar. Google araştırmacıları bu mimariyi farklı makine öğrenimi yöntemleriyle uyumlu olacak şekilde tasarladılar. Örneğin, TensorFlow derin öğrenmeyle birlikte kullanıldığında, örtük model için hafif bir sinir ağı ("projeksiyon ağı") öğrenebilirsiniz. Ve artık bir sinir ağı biçiminde olmayan bu modeli temsil etmek için bir grafik çerçevesi ("projeksiyon grafiği") kullanın.
Ortak eğitim çerçevesi, diğer makine öğrenimi modelleme mimarilerini kullanan görevler için hafif yerel çalışan modelleri eğitmek için de kullanılabilir. Örneğin Google, bir eğitmen modeli olarak karmaşık bir ileri aktarım veya tekrarlayan ağ mimarisi (LSTM gibi) kullanır ve eğitimli projeksiyon mimarisi, dinamik projeksiyon işlemlerinden ve birkaç tam bağlantılı katmandan oluşabilir. Tüm mimari, TensorFlow'da uçtan uca geri yayılım yoluyla eğitilir. Eğitimden sonra, kompakt projeksiyon ağı doğrudan çıkarım için kullanılabilir. Bu yöntem sayesinde, Google araştırmacıları, yalnızca model boyutunda önemli bir küçültme (birkaç büyüklük sırasına kadar) değil, aynı zamanda çeşitli görsel ve dil sınıflandırma görevlerinde de kullanılabilen birçok küçük projeksiyon modelini başarıyla eğitmişlerdir. Aynı doğruluk oranını ancak çok daha yüksek performansı garanti edin. Benzer şekilde, yarı denetimli öğrenme ortamında bile grafik öğrenme paradigması ile diğer hafif modelleri de eğitmişlerdir.
Google, açık kaynak TensorFlow Lite'tan sonra iyileştirmeye ve yeni sürümler yayınlamaya devam edeceklerini söyledi. Bu makine öğrenimi mimarileri aracılığıyla öğrenilen modeller, ister piyasaya sürülmüş ister gelecekte piyasaya sürülecek olsun, yalnızca çeşitli doğal dil ve bilgisayarla görme uygulamalarında kullanılamaz, aynı zamanda makine zekası işlevleri sağlamak için mevcut uygulamalara da yerleştirilebilir. . Aynı zamanda Google, makine öğrenimi ve doğal dil işleme ailesindeki diğer araştırmacıların ve geliştiricilerin de Google'ın henüz keşfetmediği veya çözmediği yeni sorunlarla başa çıkmak için bu temeller üzerinde birlikte çalışabileceğini umuyor.
Google Araştırma Blogu aracılığıyla, Lei Feng.com AI teknolojisi inceleme derlemesi.
