Agresif öneri sistemi: Çok amaçlı öğrenme, Zhihu'nun kullanıcı etkileşim oranını nasıl% 100 artırabilir?
Kaynak | AI Frontline
Zhihu bir soru-cevap topluluğu ve bilgi paylaşım platformudur.Yaşamın her kesiminden uygulayıcılar kendi alanlarıyla ilgili bilgilerini paylaşırlar.Buraya gelen insanlar da bir öğrenme tutumu taşır ve bir şeyler kazanmayı umarlar. Zhihu'nun temel işlevi olarak, öneri sistemi her zaman kullanıcılara en iyi içerik önerisini sunmayı ummuştur.Mobil İnternetin gelişmesiyle birlikte, içerik platformu altın bir çağa girmiştir, ancak birçok sorun ve zorluk kaçınılmaz olarak ortaya çıkmaktadır.
Bir kullanıcı olarak en çok endişe duyulan şey, önerilen içeriğin kalitesi ve alaka düzeyidir. Geçersiz bilgilerin nasıl filtreleneceği ve kullanıcılara en doğru içerik önerilerinin nasıl sağlanacağı da Zhihu'nun düşündüğü bir sorudur. Zhihu öneri sistemi hakkında daha derin bir anlayışa sahip olmak için, AI ön hattı Zhihu ana sayfa teknik ekibinin başı Zhang Rui ile röportaj yaptı. Zhihu öneri sisteminin geliştirilmesinin ayrıntılı bir açıklamasına ek olarak, Zhang Rui ayrıca Zhihu'yu bizim için açıkladı "Çok amaçlı öğrenme" öneri sistemi tanıtılıyor.
Bu makale, AI Frontline'ın "Öneri Sistemi" ile ilgili öne çıkan makalelerden biridir.
Zhihu Öneri Sistemini Tanıma
Günümüzde tavsiye sistemi hayatın her alanında uygulanmaktadır.Jihu'da öneri sistemi temel bir işlevdir.
Zhihu'nun mevcut öneri sisteminin esas olarak iki bölüme ayrıldığı anlaşılmaktadır: biri ana sayfa bilgi akışının kişiselleştirilmiş tavsiyesidir; diğeri, problem yönlendirme, ilgili öneriler vb. Gibi çeşitli kullanıcı senaryolarındaki tavsiyedir.
Bu senaryolar altında, Zhihu tarafından kullanılan teknolojiler tam olarak aynı değil ve kullanılan teknik mimariler de farklı. Zhang Rui gazetecilere şunları söyledi: Hangi mimari ve teknolojinin kullanılacağına karar vermek esas olarak kullanıcı senaryosuna dayanıyor.
Zhang Rui, ana sayfadaki kişiselleştirilmiş tavsiyede, kullanılan ana teknolojilerin şunları içerdiğini söyledi: grafik içerik ve video içeriğinin temel tanıma ve portreleri, kullanıcı portreleri ve grafik içerik ve video içeriğinde varlık tanıma ve ilişkilendirme, Bunlar temel bileşenlerdir ve üst katman, geri çağırma siparişi sürecinde derin sinir ağı teknolojisi olan çok sayıda DNN kullanır.
Platformun gelişmesi nedeniyle, yalnızca grafiklere ve metne dayalı önceki iletişim yöntemleri artık kullanıcıları tatmin etmek için yeterli değildir.Bu nedenle, Zhihu platformunda çok sayıda video ve ses içeriği göründü, ancak metin hala büyük bir orana karşılık geliyor. Önerilen sistem için iyi bir şeydir.
Neden öyle diyorsun? Zhang Rui, Grafik öneri sistemi ile diğer öneri sistemleri arasındaki fark, mevcut AI algoritma teknolojisinin, video ve ses multimedyasına göre grafik içeriği hakkında daha derin bir anlayışa sahip olmasıdır. . Dahası, çoğu şirket için, grafik öneri sistemindeki grafik içeriğinin derinlemesine anlaşılması maliyet açısından da kabul edilebilir. Bu tür bir anlayış sadece kullanıcı etkileşimi ile başlamaz ya da bir grafik içeriği tek bir atomik öğe olarak ele almaz, aynı zamanda bir grafik metnin ne hakkında konuştuğunu, kalitesinin ne olduğunu vb. Daha derin bir anlayışla ele alır. Bir dizi bilgi. Bu nedenle, ürün önerisi, video önerisi vb. İle karşılaştırıldığında, grafik önerileri daha fazla bilgiye sahip olacaktır.
"Elbette, endüstri grafik öneri sistemleri yaparken de bu bilgiyi kullanacaktır." Zhang Rui şunları söyledi: "Bu alanda herkes hala çok rekabetçi. Bu vahşet, her şirketin Tasvir etme ve seçmenin boyutları farklıdır ve elde edilebilecek derinlik de farklıdır. Bu boyut ve derinliğin kendisi, grafik önerinin elde edebileceği kullanıcı deneyiminin üst sınırını belirler. "
Kullanıcı deneyiminin üst sınırını iyileştirmek için Zhihu öneri sistemi de bir yükseltmeye tabi tutuldu.
Zhang Rui, Zhihu'nun öneri sisteminin orijinal sürümünün çok basit olduğunu söyledi. Yalnızca kullanıcının aşağıdaki davranışına göre öneride bulunuyor. Örneğin, yeni bir konu göründüğünde, kullanıcı takip ettikten sonra TA'ya önerilecektir. Aksi takdirde, tavsiye edilmeyecektir. Ek olarak, tavsiyelerin sıralaması da zaman akışına bağlı olarak çok basittir.EdgeRank gibi basit bir algoritma daha sonra tanıtılsa bile, zaman ve metin içeriği kalitesiyle ilgili ağırlıkların yalnızca basit bir bilgi ağırlıklandırmasıdır.
Ar-Ge ekibi, yeni kullanıcıların girmesiyle birlikte, yayın akışı öneri senaryosunda kullanıcıların giderek daha "tembelleştiğini" ve çoğu kullanıcının sıkıcı işlemler yapmadan çok iyi öneri sonuçları alabileceklerini umduğunu gördü. Bu nedenle, öneri sistemi ekibi, geri çağırma bağlantısında, kullanıcı davranışına göre içeriği geri çağırmanın daha fazla yolunu sunan; sıralama bağlantısında, çeşitli kullanıcı davranışları ve içeriğin çeşitli ayrıntılı açıklamaları gibi bazı hedefli optimizasyonlar yaptı. Tümü, deneyimlerini bir bütün olarak optimize etmek için ister eski bir kullanıcı ister yeni bir kullanıcı olsun, DNN sinir ağı aracılığıyla tanıtılır ve sıralanır.
Zhang Rui, "Etkinin perspektifinden, yeni sistem hayata geçtikten sonra, orijinal versiyonla karşılaştırıldığında, dağıtım hacmi ve diğer göstergeler temelde en az üç kat arttı" dedi.
Çok amaçlı öğrenme öneri sistemi
Zhihu CTO'su Li Dahai geçen yıl yaptığı bir konuşmada "çok amaçlı öğrenme" öneri sisteminden bahsetmiş ve bunun Zhihu'nun öneri sistemini optimize etmesi için bir yön olduğu anlaşılmıştır. Peki bu "çok amaçlı öğrenme" nasıl açıklanmalı?
Zhang Rui, arama ve öneri gibi genel bilgi alma senaryolarında en temel hedeflerden birinin kullanıcının TO'su olduğunu, yani kullanıcının bir içeriği gördükten sonra okumak için tıklayıp tıklaymayacağını söyledi. Ancak aslında, kullanıcıların ürün üzerindeki davranışları çeşitlidir. Özellikle Zhihu'da kullanıcılar belirli bir içeriği beğenebilir, bu içeriğe yer imi koyabilir, paylaşabilir ve belirli bir soru ilgi alanlarına uysa ve cevap vermek istese bile bazı kreasyonlar yaratabilir.
Kullanıcının TO'su tek bir hedef için optimize edilebilmesine rağmen, böyle bir yaklaşım da olumsuz etkiler getirecektir: Bu davranışı tıklayan kullanıcı tarafından önerilen içerik, kullanıcının çok memnun olduğu içerik olmayabilir. Örneğin, bazı insanlar bazı popüler içerikleri veya tartışmayı, sosyal haberleri veya rahatlatıcı ve eğlenceli içerikleri tetikleyen bazı sıcak olaylar gibi düşük okuma eşiği olan bazı içerikleri tıklayabilir ve kullanıcılar da tıklar. Bunun sonucu, CTR göstergesinin çok yüksek olmasıdır, ancak kullanıcılar tarafından alınan öneriler onlar için en tatmin edici değildir.
Daha sonra, Zhihunun ürün geliştirme ekibi, bir kullanıcıyı temsil eden her bir davranışın, belirli bir içeriğin farklı düzeylerde ihtiyaçlarını karşılayıp karşılayamayacağını belirli bir dereceye kadar temsil ettiğini keşfetti. Örneğin, tıklama, kullanıcının bu senaryodaki içeriği görüntülemek istediği anlamına gelir; kabul edin, bu da kullanıcının içeriğin gerçekten çok iyi yazıldığını düşündüğü anlamına gelir; yer imi, yani içeriğin özellikle kullanıcı için yararlı olduğu anlamına gelir, toplamak için dikkatli olun Gidin ve tekrar bir göz atın; paylaşım, kullanıcının diğer kişilerin de bu içeriği görebileceğini umduğu anlamına gelir.
Tek hedefli TO, nispeten yüksek bir noktaya optimize edildikten sonra, kullanıcının okuma hacmi artmış olsa da, diğer çeşitli davranışlar (toplama, beğenme, paylaşma vb.) Azalmıştır. Bu düşüş, kullanıcının pratik olmadığını düşündüğü çok fazla şey aldığı anlamına gelir.
Sonuç olarak, öneri sistemi ekibi şöyle düşünmeye başladı: Kullanıcıların diğer davranışlardaki olasılığını tahmin edebilir misiniz? Bu olasılıklar aslında model tarafından öğrenilecek hedeflerdir.Okuma, beğenme, toplama, paylaşma vb. Dahil olmak üzere çoklu hedeflerin bir kombinasyonu, bir öğrenme modeline entegre edilebilir.Bu, tavsiye sisteminin çok amaçlıdır. Öğrenin.
Tüm sistemlere benzer şekilde, Zhihu'nun çoklu hedef öneri sistemi başlangıçta nispeten basit bir versiyondu, sadece her hedef için bir model öğreniyordu. Bu durumda, modelin eğitim ve çevrimiçi tahmini çok ciddi olacak ve her modelin eğitimi ve tahmini aynı kaynakları tüketecek ve bu da mühendislik kaynakları üzerinde çok fazla baskı oluşturacaktır. Bu modeller arasında geçişler ve doğrulamalar vardır; her modelin de çevrimdışıyken, çevrim içi olduğunda ve sonra tekrar birleştirilerek değerlendirilmesi gerekir ... Tüm bu modellerin birleşik davranışı, Ar-Ge kaynaklarına ağır bir yük bindirir.
Bu nedenle, çok amaçlı öneri sisteminin ilk versiyonu yapıldıktan sonra ekip şunları değerlendirdi: Eğitim üzerindeki yükün yanı sıra mühendislik maliyetleri ve Ar-Ge maliyetleri üzerindeki yükünü azaltmak için modeller arasında bazı parametreleri paylaşma veya modelin kendisini ve eğitim sürecini paylaşma yolunu kullanabilir miyiz?
Ekip, bu fikre dayanarak, altta ilgili parametreleri paylaşabilen ve üstteki çeşitli modellerin ve hedeflerin özelliklerinden öğrenebilen benzersiz bir sinir ağı mimarisi oluşturdu. Zhang Rui, bu mimarinin mevcut birçok varlığa atıfta bulunduğunu söyledi. Çok amaçlı öğrenmenin araştırma süreci.
Sorunun bir kısmı çözülmüş olsa da, birden fazla modeli bir araya getirme ve tek bir model aracılığıyla bir hedefi öğrenme konusunda hala sorunlar var.
Öncelikle hedefler arasındaki korelasyon, modelin üst sınırının ne kadar öğrenilebileceğini belirler. Örneğin, bir modelde benzerlik ve tıklama tamamen birleşmişse, model beğenmeyi öğrenme sürecini tıklamayı öğrenecektir. Ancak kullanıcılar için anlamı farklıdır ve bu tamamen bağlı bir sistem değildir.
Bu öğrenme görevi altında, temel ağ parametreleri paylaşılırsa, temel hedeflerin her biri biraz öğrenebilir, ancak her hedef yeterince öğrenilmez.Bu, çok amaçlı bir öğrenme sisteminin gerçekleştirilmesinde zor bir noktadır. Bu sorunu çözmek için Ar-Ge ekibi, Google tarafından yayınlanan, Multi-gate Mixture-of-Experts veya kısaca MMOE adlı bir makaleye başvurdu.
MMOE'nin temel fikri, altta yatan ağı bazı özel modüllere bölmektir.Altında yatan parametreler paylaşılsa da, bunlar hedef ve ağ parametreleri arasındaki bir geçit yoluyla öğrenilir, böylece ağın her bir parçası birbirinden tamamen öğrenebilir. Her bir hedefe en çok katkıda bulunan bir dizi parametre yapısı Bu şekilde, temel ağ parametreleri paylaşıldığında hedefler arasında herhangi bir dengeleme etkisinin olmaması sağlanır.
Zhang Rui, denedikten sonra, interaktif seviyedeki tahmin edilen alt görevin AUC değerinin en az binde iki oranında iyileştirildiğini söyledi. Okumayı tahmin etme görevi olan modelin ana görevinde, AUC'nin düşmediğini söyledi. İnternete girdikten sonra elde edilen sonuçlar da çok olumlu.
Zhang Rui ayrıca bizimle bazı verileri senkronize etti. Veri bakış açısına göre, çok amaçlı öğrenmeye başlamadan önce, Zhihu'nun tahmine dayalı modeli çok yüksek bir doğruluk oranına ulaştı. Çok amaçlı öğrenmeye başladıktan sonra, okuma davranışı üzerinde aşağı yukarı belirli bir olumsuz etkiye sahip olacaktır: çok amaçlı Öğrenme çevrimiçi ortama geçtiğinden beri, okuma davranışı yaklaşık% 2 düştü, ancak Diğer kullanıcı davranışları (beğeniler, favoriler, yorumlar, paylaşma vb.)% 50 ila% 100 arttı.
Çevrimiçi çok hedefli öğrenmeden sonra kullanıcı deneyimi ile en doğrudan ilgili olan verilere, yani kullanıcıları elde tutma oranına bakarsanız, Zhihunun genel kullanıcıyı elde tutma oranı yaklaşık% 5 arttı . Zhang Rui, "Herhangi bir öneri sistemi için, genel kullanıcıyı elde tutma oranı% 5 artırılabilir ve bu çok yüksek bir avantajdır."
Kullanıcı geri bildirimlerine gelince, Zhang Rui bize Zhihu'nun kullanıcıların geri bildirimde bulunmaları için bazı sabit kanallara sahip olduğunu söyledi. Bize şunları söyledi: Çok amaçlı öğrenmeye başlamadan önce, aldığımız en çok geri bildirim, kullanıcıların besleme akışındaki içeriğin gittikçe daha basit hale geldiğini hissetmeleriydi. Bu geri bildirimler çoğunlukla Zhihu'nun yoğun kullanıcılarından ve bazı eski kullanıcılardan geldi. Zhihu'dan çok yüksek beklentileri var ve Zhihu'nun onlara özellikle yararlı bilgiler getirmesini umuyorlar. Daha önce, makinenin optimize edilmiş okuması bazı ters etkiler getirecektir. Bazı kullanıcılar, Zhihu'nun önerilen içeriğinin tamamen olduğunu düşünüyorlar. Özellikle dikkat çekici, ancak gerçek kullanım o kadar iyi değil. Yeni öneri sistemi başlatıldıktan sonra, birçok kişi feed akışındaki içeriğin kalitesinin yükseldiğini ve kullanıcının sürükleyici deneyiminin daha derin hale geldiğini söyledi. "
Çok amaçlı öğrenmeyi tanıtan öneri sistemi Zhihu'da pek çok olumlu etki yarattı, ancak Zhang Rui, ekibin şu anda karşılaştığı sorunlu bir sorunun şu olduğunu söyledi: Birden fazla hedefi düzeltmenin yolu nedir? Amaç, kullanıcıların ve platformun faydalarını en üst düzeye çıkarmak için dengelemek ve entegre etmek mi?
Örneğin, bir kullanıcı feed akışındaki içeriği gerçekten tükettiğinde çok tek bir sahne beklemiyor.Sistem eğlence ve basitlik için bazı içerikler sağlıyor, okuma hacmi artacak, ancak kullanıcı deneyimin iyi olmadığını hissedecek; ancak Tavsiyelerin tamamı özellikle yüksek toplama oranına sahip içeriklerdir.Kullanıcılar için bu tür içerik çok faydalı olsa da okumak yorucu olacaktır.
Zhang Rui, "Platform söz konusu olduğunda, bizim en çok endişelendiğimiz konu, kullanıcıların yayın akışı senaryosu altında nasıl yaşadıklarıdır. Bu, doğrudan kullanıcı tutma ve kullanıcı etkinliğimizle ilgilidir."
Şimdi Zhihu, belirli bir gruptaki kullanıcıların en çok ne tür içerikle ilgilendiğini görmek için kullanıcıları gruplandırmak da dahil olmak üzere bazı çözümler deniyor. Ancak bu, ürün yöneticileri tarafından veya insan gözlemleriyle belirlenen bir konudur.Örneğin, belirli alanlardaki yoğun kullanıcılar, özellikle önerilen içeriğin kendileri için yararlı olup olmadığı konusunda endişelenecekler; bazı hafif kullanıcılar, Zhihu'ya geliyorlar. Temel amaç hafifçe okumaktır, sindirimi kolay bazı içerikler onlar için daha dostudur.
Kullanıcılar gruplandıktan sonra, her bir hedefin ağırlığı, nihai bir sıralama vermek için dinamik olarak ayarlanabilir. Bu elbette öneri sistemi için yararlıdır, ancak Zhang Rui, ne tür bir grup, ne tür bir hedef ve bunların ne kadarının bütünleştirilmesi gerektiğine karar vermenin mükemmel bir yolu olmadığına inanmaktadır. Sonuç olarak, genel olarak en iyi faydalardan biri.
Mevcut endüstrinin çeşitli öneri sistemi yöntemlerinde, herkes TO'yu (tıklama oranı) tahmin edecek, CVR'yi (dönüşüm oranı) tahmin edecek ve çeşitli davranışların olasılığını tahmin edecek, ancak çok az şirket kullanıcıyı elde tutmayı öngörüyor. Bu aynı zamanda tüm öneri endüstrisinin veya öneri teknolojisi çemberinin karşılaştığı bir zorluktur: tüm bu davranış olasılıkları, kullanıcı deneyiminin bir yönüdür ve genel olarak en uygun kullanıcı deneyimini temsil edemez. O halde, kullanıcılara sunmak için hangi yöntem kullanılabilir? Deneyim yoluyla faydaları en üst düzeye çıkarmak, halen endüstrinin karşı karşıya olduğu bir zorluktur. Zhang Rui, bu hedefe çok amaçlı öğrenme yoluyla dolaylı olarak ulaşmanın ve dolaylı olarak küresel optimizasyona ulaşmanın kullanıcı deneyimini iyileştirmek için bir çözüm olabileceğine inanıyor.
gelecek planı
Çok amaçlı öğrenmeye ek olarak, Zhang Rui'nin son derece ilgilendiği teknik gelişimin iki yönü vardır: Bu iki teknolojinin de tavsiye sistemleri için çok yardımcı olduğuna inanmaktadır.
Birincisi İçerik kalitesinin yargısı .
Zhihu'nun sahneleri çoğunlukla resimler ve metinlerden oluşuyor, bu nedenle geliştiriciler metnin kalitesini değerlendirmekle daha fazla ilgilenecekler. Grafiklerin ve metnin kalitesiyle ilgili yargı, kullanıcının iyi içerik olduğu ve hangi kullanıcı için iyi olmayan belirli bir içerik gibi ayrıntılı özellikleri içerir. Örneğin, makine öğreniminin temellerinden bahseden bir içerik, makine öğreniminde yeni başlayanlar için çok iyi olabilir, ancak yukarıdakileri bilen bazı makine öğrenimi uzmanları için çok az bilgi içeren bir şeydir.
Zhang Rui, içerik kalitesinin veya içerik değerinin ayrıntılı bir şekilde tanımlanmasının çok zor olduğunu söyledi. Neyse ki, sektör teknolojiyi ilerletiyor ve şu anda Google'ın son makalesi BERT de dahil olmak üzere bazı ilerlemeler kaydetti, Metin içeriğini normalden farklı şekilde yerleştirebilir.
Bunu takiben Derin sinir ağlarının analizi .
Artık birçok sahne derin sinir ağlarını kullanıyor, ancak Zhang Rui bize şunu söylüyor: Derin sinir ağları için sahnelerin çoğu hala kara kutulardır.Bir adım daha ileri gitseniz bile, mutlak bir kara kutu değildir, en azından bir Gri kutu.
Ortadaki girdi ve çıktı arasında nasıl bir ilişki var? Çıktıda hangi girdi faktörü en önemli rolü oynayabilir? Bu etki ölçülebilir ve değerlendirilebilir mi? Şu anda, sektörde bu alanda çok fazla araştırma sonucu yok, bu nedenle Zhang Rui, bir DNN ağının nasıl analiz edileceğinin, geliştiricilerin modeli gerçekten anlayıp anlayamayacaklarına ve doğru bir şekilde belirleyip belirleyemeyeceklerine karşılık geldiğini düşünüyor. Nasıl çalışır, böylece bir sonraki adım için hangi özellikler veya ne tür ağ yapılandırmasının daha fazla fayda sağlayabileceği gibi rehberlik sağlayabilir misiniz?
Çoğu durumda, insanlar hala insan deneyimine güveniyor ve biraz deniyor DNN analizi iyi yapılabilirse, gelecekteki çeşitli yinelemelerin verimliliği ve araştırma ve geliştirmenin verimliliği niteliksel bir sıçrama yapabilir.
Derin sinir ağı analizi, öneri sistemleri için daha önemli olabilir. Zhang Rui, bazı çalışmaların artık öneri sisteminin yorumlanabilirliğine odaklandığını, ancak çoğu zaman kullanıcıların önerilen içeriği gördüklerini, hatta neden kendisine itildiğinin net olmadığını vurguladı.Neden net değilse, bazı kullanıcıların dikkatli olmak için motivasyonu yok. Git gör. Örneğin online alışveriş yaparken, e-ticaret platformlarının önerdiği ürünler kullanıcının cinsiyeti hatta tüketim düzeyine göre önerilmektedir ancak kullanıcılar için açıklama yapmazlarsa bu şeyin kendileriyle ilgili olduğunu düşünmeleri zor olabilir. Bağlantı nedir.
Zhang Rui, "Derin sinir ağlarının analizinde görece büyük bir gelişme olabilirse, bunu tersine çevirebilir ve kullanıcıya en önemli şeyin ne olduğunu zorlayabiliriz ve aynı zamanda kullanıcıya açıklayabiliriz. Kullanıcı tarama verimliliğini artırmak ve kullanıcı yapışkanlığını ve tüm öneri sistemi için harcama yapma istekliliğini artırmak için neden bu şeyi zorluyorsunuz? "
Son olarak Zhang Rui, Zhihu öneri sisteminin gelecekteki gelişimi için planlarından ve beklentilerinden bahsetti.
Kullanıcının karar verme bakış açısından, Zhihu öneri sistemi ekibi, kullanıcılar ve bilgiler arasındaki eşleşmenin doğruluğunu çeşitlendirmeyi ve kullanıcılara daha fazla bilgi sunmayı umuyor. Bu hedefe yukarıda bahsedilen çeşitli yöntemlerle yavaş yavaş ulaşmak gerekli olabilir.
Platform açısından bakıldığında, ana sayfadaki öneri sistemi Zhihu'nun trafik kaynaklarının çok büyük bir bölümünü kaplar ve aynı zamanda Zhihu'nun çeşitli işletmelerinin gelişimini destekler. Bu nedenle Zhang Rui, işe dayalı çok esnek bir sistem oluşturmayı umuyor Mevcut talep veya şirketin mevcut çalışma durumu, trafiği platforma, şirkete ve kullanıcılara faydalı olan yere yönlendirir ve nihayet trafik kullanımının değerini değerlendirmeye yönelik bir mekanizma olan akış dağıtımını gerçekleştirir.
Röportaj misafir tanıtımı
Anasayfa Teknik Takım Lideri Zhang Rui
Zhang Rui, Pekin Posta ve Telekomünikasyon Üniversitesi'nden mezun oldu ve Baidu ve Wandoujia'da arama, arama reklamcılığı, öneri sistemlerinde makine öğrenimi, doğal dil işleme ve öneri algoritmalarında çalıştı. Şu anda, Zhihu Ana Sayfa teknik ekibinin başkanı ve Zhihu Bilgi Akışı ürünlerinin teknik araştırma ve geliştirme ve ürün operasyon ekiplerinden sorumlu Ana Sayfa iş direktörü olarak hizmet vermektedir.
