Makine öğrenmiyor: CTR serisi (5) CTR tahmini-MLR algoritması
MLR algoritması, alibaba tarafından 2012'de önerilen ve kullanılan ve 2017'de yayınlanan bir reklam tıklama oranı tahmin modelidir. MLR modeli, verilere uyması için parçalı doğrusal bir yöntem kullanan doğrusal LR modelinin bir genellemesidir. Temel fikir, bölme ve yönetme stratejisini benimsemektir: sınıflandırma alanının kendisi doğrusal değilse, alanı uygun bir şekilde birden çok bölgeye bölün ve her bölge doğrusal bir şekilde yerleştirilebilir ve son olarak MLR'nin çıktısı çoklu hale gelir. Alt bölgelerin tahmin edilen değerlerinin ağırlıklı ortalaması. Aşağıdaki şekil (C) 'de gösterildiği gibi, 4 dilim MLR modelinin kullanılmasının sonucudur.
Yukarıdaki formül, MLR'nin amaç fonksiyonudur, burada m, parça sayısıdır (m = 1 olduğunda, MLR, LR modeline dejenere olur);
Parça uzayının bölünmesini, yani bir örneğin belirli bir parçaya ait olma olasılığını belirleyen bir kümeleme parametresidir;
Parça uzayındaki tahmini belirleyen sınıflandırma parametresidir; ve ww öğrenilecek parametrelerdir. Nihai modelin tahmin edilen değeri, tüm segmentlere karşılık gelen alt modellerin tahmin edilen değerinin beklentisidir. Veri bölme kuralı şu şekildedir: özellik parçalarının sayısı m = 1 olduğunda, yukarıdaki MLR'de LR; m = 4'e dejenere olur. M ne kadar büyükse, modelin uydurma yeteneği o kadar güçlüdür, genellikle m = 12'dir.
MLR modeli, büyük ölçekli seyrek veriler üzerinde doğrusal olmayan uydurma yeteneğini araştırır ve gerçekleştirir.Parçacıkların sayısı yeterince büyük olduğunda, güçlü doğrusal olmayan yeteneğe sahiptir; aynı zamanda, model karmaşıklığı kontrol edilebilir ve iyi bir genelleme yeteneğine sahiptir; LR modelinin otomatik özellik seçme yeteneği.
MLR modeli fikri çok basittir. Zorluk ve zorluk, MLR modelinin amaç fonksiyonunun dışbükey ve pürüzsüz olmamasıdır, bu da geleneksel gradyan iniş algoritmasını uygulanamaz kılar. İlgili ayrıntılar için lütfen şu makaleye bakın: Gai ve diğerleri, "Reklam Tıklaması Tahmini için Büyük Ölçekli Verilerden Parça Bazlı Doğrusal Modelleri Öğrenin".
Öte yandan, MLR modeli, gizli bir katmana sahip bir sinir ağı olarak görülebilir. Aşağıdaki şekilde gösterildiği gibi, x, büyük ölçekli seyrek bir girdi verisidir MLR modelinin ilk adımı, biri kümeleme Gömme (yeşil) ve diğeri Gömme (kırmızı) olarak sınıflandırılan iki bölüme ayrılmış bir Gömme işlemi gerçekleştirmektir. Her iki çıkıntı da düşük boyutlu bir alana yansıtılır, boyut, MLR modelindeki dilim sayısı olan m'dir. Projeksiyon tamamlandıktan sonra çok basit bir iç çarpım (İç Çarpım) işlemi ile tahmin yapılabilir ve y çıktısı elde edilir.
Temel bilgi
Optimizasyon:
1) Tıraşlığın azalması:
Boyut: birinci türev, yön: türevin negatif yönü. Amaç fonksiyonun Taylor birinci dereceden genişlemesinden elde edildi
2) Newton yöntemi:
Boyut: birinci türev, yön: Hisense matrisinin tersi. Amaç fonksiyonunun Taylor ikinci dereceden açılımından bulun
3) Quasi-Newton yöntemi (LBFGS): Newton yönü yaklaşık olarak değiştirilir ve her örnek aşağıdaki üç parametreyi kaydeder: delta x, delta derecesi ve p:
Artımlı değiştirme, Newton yönünü D hesaplama
LBFGS yöntemi, ilk türev medyan teoremi aracılığıyla Hisense matrisinin (karmaşıklık çok büyük) hesaplanmasını önler. Ancak L1 normu türetilemez, bu nedenle OWLQN yöntemine ihtiyaç vardır.
4) OWLQN:
(1) Alt gradyan aşağıdaki gibi tanımlanır,
(2) Yönlendirilmemiş nokta için sol veya sağ ikincil eğimi aşağıdaki gibi alın
Sezgisel açıklama, sol kısmi türevi kullanmayı planladığınızda, bunun negatif çeyrekte olduğu anlamına gelir, bu nedenle, çapraz çeyreği önlemek için, güncellemeden sonra parametrenin negatif çeyreğe hareket etmesini sağlamak için negatif bir değer eklemeniz gerekir; sağ kısmi türevi kullanmayı planladığınızda , Bu, pozitif kadranda her seferinde bir pozitif değerin eklenmesi gerektiği anlamına gelir, böylece parametre, çeyreği geçmekten kaçınmak için güncellemeden sonra pozitif çeyreğe ilerleyecektir; aksi takdirde, alt gradyanı yalnızca doğrudan 0 olarak ayarlayabilirsiniz.
(3) Çeyrek arama satırı araması:
X 0 noktasında olmadığında, x_i'nin bulunduğu kadranda çizgi araması yapılır; model parametresi 0 noktasındaysa (2) alt gradyan kısıtlamasının çeyreğinde çizgi araması yapılır.
MLR algoritması
Algoritma formülü aşağıdaki gibidir:
Sınırın iniş yönünü hesaplayın:
1 Gradyan boyutunu hesaplayın: teta 0'da türevlenemez, dij işaret fonksiyonunu alın.
2 Son azalan yönü hesaplayın p:
OWLQN ile aynı 3 çeyrekte gradyan inişi, satır arama:
Makaleye göre MLR ve LBFGS arasında üç fark var:
1) OWLQN'nin alt gradyanı hesaplaması gerekir, MLR'nin yönlü türevi hesaplaması gerekir;
2) Nihai iniş yönü p hesaplanırken, MLR de çeyrek daire kısıtı olmalıdır;
3) OWLQN'ye benzer çeyrek arama hattı araması.
Dağıtılmış çerçeve uygulaması
dağıtılmış
Kullanıcı özellik paylaşımı
Kişisel anlayış, hesaplamayı hızlandırmaktır, belirli özellikler aşağıdaki gibi bölünmüştür. Bunlar arasında c bir kullanıcı özelliğidir ve nc, kullanıcı olmayan bir özelliktir.
Deneysel sonuçlar
Denemenin ekran görüntüsü çıkarılır ve belirli grafik referans kağıdında görüntülenebilir.
Ordinat, bellek kullanım oranıdır ve özellik paylaşma tekniği hızı üçe katlamıştır.
Referans makale:
Reklam Tıklaması Tahmini için Büyük Ölçekli Verilerden Parça Bazında Doğrusal Modeller Öğrenme
