FM tarafından çıkarılan TO ile tahmin edilen derin öğrenme modeli
1. TO'ya Giriş
Tıklama oranı (TO), İnternet şirketlerinin trafiği dağıtması için temel temellerden biridir. Örneğin, İnternet reklamcılık platformları için, kullanıcıların, reklamların ve platformların çıkarlarını hassas bir şekilde ölçmek ve korumak için doğru TO tahmini zorunludur. Geleneksel lojistik gerilemeden son iki yılda yangının derinlemesine öğrenilmesine kadar, CTR tahmin teknolojisi için sonsuz bir şekilde yeni algoritmalar ortaya çıkıyor: DeepFM, NFM, DIN, AFM, DCN ...
FM'den ve sinir ağları ile kombinasyonundan başlayarak, modelleri daha iyi anlamak ve uygulamak için derin öğrenme CTR tahmin ağlarının birçok fikrine hızla nüfuz edebilir.
2. TO derinlik modelinin türetilmesi
Derinlemesine TO tahmin modeli, prensipte ne olduğunu ve neden olduğunu bilme hedefine ulaşmak için türetilmiştir.
Ana fikir: Madencilik, ağ yapısını tasarlayarak özellikleri birleştirdi.
Özellikle iki tane var:
- FM'den başlayarak derin öğrenmede çeşitli promosyonları çıkarmak için (aşağıdaki şekilde kırmızı çizgi)
- Gömme + MLP'nin kendisinin evrim özelliklerinden ve TO tahmininin kendisinin iş senaryosundan çıkarılmıştır (aşağıdaki şekilde siyah çizgi)
Anlama kolaylığı için, aynı iş problemiyle uğraşırken farklı sinir ağlarının farklı fikirlerini analiz etmek için yalnızca ayrı özellik verilerinin modellenmesini dikkate alarak veri durumunu basitleştirdik.
3. FM: Boyut indirgeme fikri altında ikinci dereceden özelliklerin kombinasyonu
TO tahmini esasen ikili bir sınıflandırma problemidir . Günlükteki kullanıcı tarafındaki bilgilere (yaş, cinsiyet, evlilik durumu, cep telefonunda yüklü uygulamaların listesi), reklam tarafı bilgilerine (başlık, kategori, içerik vb.) Ve içerik tarafı bilgilerine ( Kanal kimliği vb.), Kullanıcının reklamı tıklayıp tıklamayacağını modellemek ve tahmin etmek için.
FM'nin ortaya çıkmasından önceki geleneksel işleme yöntemi, yapay özellik mühendisliği artı doğrusal modellerdi (Lojistik Regresyon gibi). Modelin etkisini iyileştirmek için anahtar, kullanıcının tıklama davranışının arkasındaki gizli özellikleri bulmak olan özellik mühendisliğidir. Örneğin, erkek ve üniversite öğrencisi kullanıcılar genellikle oyun reklamlarını tıklar, bu nedenle "erkek ve üniversite öğrencisi ve oyun" özellik kombinasyonu önemli bir özelliktir. Ancak bu, doğası gereği hala doğrusal bir modeldir ve varsayımsal işlevi, aşağıdaki gibi iç çarpım biçiminde ifade edilir:
Burada x özellik vektörü, w ağırlık vektörü ve () sigmoid fonksiyondur.
Bununla birlikte, manuel özellik kombinasyonunun genellikle boyutsal felaketler gibi birçok zorluğu vardır, özelliklerin tanınması zordur ve özelliklerin birleştirilmesi zordur. Modelin, özellikler arasındaki ikinci dereceden kombinasyon bilgilerini otomatik olarak değerlendirmesine izin vermek için, doğrusal model ikinci dereceden bir polinom (2d Polinom) modele genişletilir:
Aslında Yeni bir özellik oluşturmak için unsur vektörünü iki nokta ile çarpın (Ayrıklaştırmadan sonra, bu aslında bir "ve" işlemdir) ve her yeni özelliğe bağımsız bir ağırlık atanır ve bu ağırlıklar otomatik olarak makine öğrenimi yoluyla elde edilir. Matris formu:
Bunların arasında W2, simetrik bir matris olan ikinci dereceden özellik kombinasyonunun ağırlık matrisidir. Ve bu matrisin birçok parametresi vardır, O (n2). Matrisin boyutunu küçültmek için çarpanlara ayırma faktörü (Çarpanlara ayırmaFaktörizasyon) iki düşük boyutlu (n k gibi) matrislerin çarpımı olabilir. Şu anda, W2 matrisinin parametresi, O (nk) olan büyük ölçüde azaltılır. Formül aşağıdaki gibidir:
Bu, 2010 yılında Rendle ve diğerleri tarafından önerilen çarpanlara ayırma makinesidir (Faktorizasyon Makineleri, FM). FM'nin matris form formülü aşağıdaki gibidir:
İç ürün formunda yazılmıştır:
Nedeniyle:
Yukarıdaki formülü bir toplama formuna yeniden yazın:
Vi vektörü, W matrisinin i'inci sütunudur. Yinelemeleri kaldırmak ve kare terimlere yer vermek için, yukarıdaki formül daha yaygın bir FM formülüne yeniden yazılabilir:
İkinci dereceden polinom modeli ile karşılaştırıldığında, FM modelindeki özellik çarpımının (kombinasyon) ağırlıkları birbirinden bağımsız değildir, daha az parametreye sahip ancak güçlü ifade gücüne sahip bir modeldir.
4. FM'e sinir ağı perspektifinden bakın: gömme ve ardından iç çarpım
FM formülünün matris iç çarpım formunu gözlemliyoruz:
W * x bölümünün, ayrık katsayı özelliğinin boyutluluğunu matris çarpımı yoluyla düşük boyutlu yoğun bir vektöre indirgediği bulunmuştur. Bu sürece sinir ağları için gömme adı verilir. Yani sinir ağı perspektifinden:
- FM önce ayrık özellikleri yerleştirir.
- Daha sonra, ikinci dereceden özellik kombinasyonu, gömülü yoğun vektörün iç çarpımı ile gerçekleştirilir.
- Son olarak, doğrusal modelin sonuçları, tahmini tıklama oranını elde etmek için toplanır.
Şematik diyagram aşağıdaki gibidir. Netlik sağlamak için, çizdiğimiz şey bir ağ yapısı diyagramı yerine bir sinir ağı hesaplama diyagramıdır - W ağırlığının konumu ağ yapısı diyagramına eklenir.
5. FM'nin pratik uygulaması: karakteristik alan bilgilerini düşünün
Reklam tıklama oranı tahmin modelindeki özellikler esas olarak farklı alanlardaki ayrık özelliklerdir, örneğin: reklam kategorisi, kullanıcı mesleği, mobil uygulama listesi vb. Sürekli özelliklerin kullanımı daha kolay olduğundan, basitlik adına, bu makale yalnızca aynı anda farklı alanlarda ayrık özelliklerin olduğu durumu ele almaktadır. Ayrık özelliklerle uğraşmanın yaygın yöntemi, tek etkin kodlama yoluyla bir dizi ikili özellik vektörüne dönüştürmektir.
Daha sonra bu yüksek boyutlu seyrek özellikler, gömme yoluyla düşük boyutlu sürekli özelliklere dönüştürülür. FM'de temel bir adımın gömüldüğü açıklandı, ancak bu gömme işlemi alan bilgisini dikkate almıyor. Bu, aynı alandaki özelliklerin farklı alanlardaki özellikler olarak çiftler halinde birleştirilmesine izin verir.
Aslında, özellikler arasındaki alan ilişkisinin özellikleri, sinir ağlarının tasarımına ön bilgi olarak eklenebilir: Aynı alandaki özellikler gömüldükten sonra, doğrudan bir bütün gömme vektörü olarak toplanır ve daha sonra diğer alanlardaki tüm gömme vektörü ile birleştirilir. Ve bu önce gömme ve sonra toplama işlemi, bir matrisi tek bir alandaki küçük bir ayrık özellik vektörüyle çarpma işlemidir.
Şu anda, FM süreci şu hale gelir: farklı alanlara ayrık özelliklerin gömülmesi ve ardından ikinci dereceden özelliklerin vektör iç çarpımının gerçekleştirilmesi. Hesaplama şeması aşağıdaki gibidir:
Bu değerlendirme aslında FM'ye bir kural ekler: alandaki bilgilerin benzerliği dikkate alınır. Ve ek bir fayda daha var: Aynı alandaki bu gömülü özellikler, boyut azaltma amacına ulaşmak için daha derin bir sinir ağının girdisi olarak birbirine eklenebilir. Bu yaklaşımı aşağıda tekrar tekrar göreceğiz.
Burada, bunun Alan Bilinçli Faktorizasyon Makineleri'nden (FFM) farklı olduğu belirtilmelidir. FFM ayrıca alan bilgisini de dikkate alan başka bir FM çeşididir. Ancak fark, aynı özellik farklı alanlarla birleştirildiğinde karşılık gelen gömme vektörlerinin farklı olmasıdır. Bu makale FFM'nin mekanizmasını ele almamaktadır.
Bu iyileştirmelerden sonra, FM her şeye rağmen hala sığ bir ağdır ve ifade gücü hala sınırlıdır. Model kapasitesini (model kapasitesini) artırmak için doğal bir fikir, sığ ağın sürekli olarak "derinleştirilmesidir".
6. Gömme + MLP: CTR derin öğrenme modelinin genel çerçevesi
Gömme + MLP, farklı alanlardaki ayrık özellikler için derin öğrenme TO tahmini için genel bir çerçevedir. Derin öğrenme, özellik kombinasyonu madenciliğinde (özellik öğrenme) büyük avantajlara sahiptir. Örneğin, CNN tarafından temsil edilen derin ağ, esas olarak görüntüler ve konuşma gibi yoğun özelliklerin öğrenilmesi için kullanılır ve W2V ve RNN tarafından temsil edilen derin ağ, esas olarak metnin homojenleştirilmesi ve serileştirilmiş yüksek boyutlu seyrek özelliklerin öğrenilmesi için kullanılır. CTR tahmininin ana senaryosu, ayrık ve alana özgü özellikleri öğrenmektir, bu nedenle derin ağ yapısı da CNN ve RNN'den farklıdır.
Gömme + MLP süreci aşağıdaki gibidir:
1. Boyutsallıklarını düşük boyutlu yoğun özelliklere indirgemek için tek etkin unsurları farklı alanlara gömme.
2. Sonra bu özellik vektörlerini gizli bir katman halinde birleştirin.
3. Bundan sonra, tamamen bağlı katmanlar sürekli olarak istiflenir, bu da Çok Katmanlı Algılayıcı (MLP, bazen ileri beslemeli sinir ağı olarak adlandırılır).
4. Son olarak, tahmin edilen tıklama oranını verin.
Şematik diyagram aşağıdaki gibidir:
+ MLP'yi gömmenin dezavantajı, yalnızca düşük düzeyli veya manuel özellik kombinasyonlarıyla uyumlu olmayan üst düzey özellik kombinasyonlarını öğrenmesi ve öğrenmeyi zorlaştıran birçok parametrenin olmasıdır. Bu makale esas olarak FM'den derin sinir ağı temsiline dönüşümü gerçekleştiren ve diğer gelişmiş modelleri açıklamak için makaleler yayınlamaya devam edecek olan bugün bundan bahsediyor.
