Makine öğrenmiyor: CTR serisi (1) CTR tahminine giriş ve LR'ye giriş
Kullanıcı geri bildirimlerini öğrenmek ve tahmin etmek, kişiselleştirilmiş öneri, bilgi erişimi ve çevrimiçi reklamcılık gibi alanlarda son derece önemli bir rol oynar. Bu alanlarda, kullanıcı geribildirim davranışları tıklamaları, favorileri ve satın alımları içerir. Bu makale, örnek olarak tıklama oranı (TO) tahminini alır, yaygın olarak kullanılan TO tahmin modellerini sunar ve aralarındaki korelasyon ve evrim yasasını bulmaya çalışır.
Veri özellikleri
E-ticaret alanında, CTR tahmin modelinin orijinal özellik verileri genellikle birden fazla kategori içerir.Örneğin, bu orijinal özellikler genellikle birden çok alanla tek sıcak kodlama ile yüksek boyutlu seyrek ikili vektörlere dönüştürülür ( Kategori) karşılık gelen kodlama vektörleri, son özellik vektörünü oluşturmak için birbirine bağlanır.
Yüksek boyutlu , Seyrek , Çoklu Alan CTR tahmin modeline karakteristik veri girişinin tipik özelliğidir. Aşağıda tanıtılan modeller, karakteristik verilerin yukarıdaki kuralları karşıladığını varsayar ve sadece küçük ölçekli veriler için uygun olan modeller tanıtılmamıştır.
Gömme araçları
Tanıtılacak modellerin çoğu, özelliklerin gömülü temsilini az çok kullandığından, işte kısa bir giriş.
Gömülü temsil, aynı zamanda, korpustaki kelimeleri temsil eden sinir ağı dil modeli (NNLM) yönteminden kaynaklanan Dağıtılmış temsil olarak da adlandırılır. Yüksek boyutlu seyrek tek sıcak kodlama gösterimi ile karşılaştırıldığında, gömme tabanlı yöntem, düşük boyutlu yoğun bir gömmeyi öğrenir. Karma yöntemine benzer şekilde, gömme yöntemi, daha fazla basamaklı seyrek verileri daha az basamaklı bir alana sıkıştırır ve çakışmalar kaçınılmazdır; ancak, gömmenin öğreneceği şey, benzer konuların anlamsal temsilidir ve öğelerin "çatışması" umulur Olan şey, biraz yumuşak kümelemeye benziyor, böylece seyreklik sorunu çözülebilir.
Google'ın açık kaynak word2vec aracı, gömme temsil yönteminin yaygın olarak bilinmesini sağlar. Gömme, sinir ağı modelinin genellikle öğrenme için kullanıldığı anlamına gelir; elbette, matris çarpanlara ayırma (MF), çarpanlara ayırma makinesi (FM) vb. Gibi başka öğrenme yöntemleri de vardır. İşte sinir ağına dayalı yerleştirme öğrenme yöntemine ayrıntılı bir giriş.
Genellikle Gömme vektörü özel bir görev öğrenimi yoluyla değil, diğer öğrenme görevlerinin bir yardımcı çıktısı yoluyla elde edilir. Aşağıdaki şekilde gösterildiği gibi, ağın giriş katmanı, varlık kimliğinin tek sıcak kodlama vektörüdür (kategorik özellik). Giriş katmanına bağlı katman Gömme katmanıdır ve iki katman tam bir bağlantıyla birbirine bağlanır. Gömme katmanındaki nöron sayısı Gömme vektörünün boyutudur (m). Giriş katmanı ile Gömme katmanı arasındaki bağlantıya karşılık gelen ağırlık matrisi M (n × m), n giriş öğesine karşılık gelen m-boyutlu bir gömme vektörüdür. Tek sıcak vektörün yalnızca bir elemanı aynı anda 1 değerine sahip olduğundan ve diğer değerler 0 olduğundan, mevcut örnek için yalnızca 1 değeriyle giriş düğümüne bağlanan kenarın ağırlığı, yani farklı kimliği olan varlıklar güncellenecektir. Örnek eğitim süreci, yalnızca kuruluşa karşılık gelen gömme temsilini etkileyecektir. Bir varlık kimliğinin tek sıcak vektörünün alt simge i olduğunu varsayalım.
İ'nin değeri 1'dir, o zaman varlığın gömme vektörü ağırlık matrisi M'nin i'inci satırıdır.
1. LR
LR modeli, genelleştirilmiş bir doğrusal modeldir.LR modeli, işlevsel formundan, gizli katmanları olmayan bir sinir ağı modeli (algılayıcı modeli) olarak kabul edilebilir.
LR modeli, her zaman TO tahmin problemleri için bir kıyaslama modeli olmuştur ve basitliği, paralelleştirme kolaylığı ve güçlü yorumlanabilirliği nedeniyle yaygın olarak kullanılmaktadır. Bununla birlikte, doğrusal modelin kendisinin sınırlaması nedeniyle, özellik ile hedef arasındaki doğrusal olmayan ilişkiyi idare edemez, bu nedenle model etkisi büyük ölçüde algoritma mühendisinin özellik mühendisliği deneyimine bağlıdır.
Doğrusal modelin orijinal özellikler ile uygun hedef arasındaki doğrusal olmayan ilişkiyi öğrenmesi için, genellikle orijinal özellikler üzerinde bazı doğrusal olmayan dönüşümler gerçekleştirmek gerekir. Yaygın olarak kullanılan dönüştürme yöntemleri şunları içerir: sürekli özellik ayrıklaştırma, özellikler arasında geçiş vb.
Sürekli özelliklerin ayrıklaştırılması yöntemi, genellikle orijinal sürekli değer aralığını, eşit frekans bölümü veya eşit aralıklı bölme gibi birden çok aralığa bölmektir. Daha iyi bir bölme yöntemi, basit bir özellik kararını eğitmek için denetimli öğrenmeyi kullanmaktır. Ağaç kütüğü modeli, bölünme noktasını belirlemek için bilgi kazanım indeksini kullanır.
Özellik bölümlerinden sonra, her bir aralıktaki hedef (y) dağılımı farklı olabilir, böylece her aralığa karşılık gelen yeni özellikler, model eğitimi tamamlandıktan sonra bağımsız ağırlık katsayılarına sahip olabilir. Öznitelik ayrıklaştırma, doğrusal bir işlevi parça parça doğrusal bir işleve dönüştürmeye eşdeğerdir, böylece doğrusal olmayan bir yapı ortaya çıkar. Örneğin, farklı yaş gruplarından kullanıcıların davranış kalıpları farklı olabilir, ancak bu yaş büyüdükçe uygun hedefe katkının arttığı anlamına gelmez (örneğin tıklama oranı), bu nedenle yaşı bir özellik değeri olarak doğrudan eğitmek uygun değildir. Model, yaşları segmentlere ayırdıktan sonra, farklı yaşlardaki kullanıcıların farklı tercih modellerini öğrenebilir.
Ayrıklaştırmanın diğer faydaları, verilerdeki gürültüye karşı daha iyi sağlamlığı içerir (aykırı değerler ayrıca bir bölme aralığı içinde yer alır ve aykırı değerlerin kendilerinin boyutu model tahmin sonuçlarını aşırı derecede etkilemez); ayrıklaştırma da modeli daha kararlı hale getirir , Özdeğerin kendisindeki küçük değişiklik (yalnızca orijinal bölme aralığına düşen) model tahmin değerinin değişmesine neden olmayacaktır.
Özellik geçişi, doğrusal olmayışı tanıtmak için yaygın olarak kullanılan bir başka özellik mühendisliği yöntemidir. Genel olarak, TO tahmini, kullanıcıların, öğelerin, bağlamın vb. Özelliklerini içerir. Genellikle, tek bir özelliğin hedef belirlemede zayıf bir katkısı vardır ve farklı özellik türlerinin kombinasyonu hedef belirlemede güçlü bir katkı sağlayabilir. Örneğin, kullanıcı cinsiyeti ve ürün kategorisinin kesişimi, "kadın kullanıcılar güzellik kategorilerini tercih ediyor" ve "erkek kullanıcılar erkek giyim kategorilerini tercih ediyor" gibi bilgileri tanımlayabilir. Özellik geçişi, algoritma mühendislerinin alan bilgilerini modellere dahil etmelerinin bir yoludur.
LR modelinin dezavantajı, özellik mühendisliğinin çok fazla enerji tüketmesidir ve deneyimli mühendislerin bile tüm özellik çapraz kombinasyonlarını tüketmesinin zor olmasıdır.
