[Titanbai] Yu Yang, Baidu Derin Öğrenme Laboratuvarı: Derin öğrenme sisteminin karşılaştığı bazı zorluklar
"Titanbai" çevrimiçi sınıfının yalnızca profesyonel kullanıcılar ve ödeme yapan Titanium Media Pro kullanıcıları için 33. sayısında, üç Titanium müşterisini makine öğrenimi hakkındaki düşüncelerini paylaşmaları için bir kez daha davet ettik. Titanic'ten biri, Baidu'nun kıdemli mühendisi ve Paddle API yeniden düzenleme tasarım başkanı Yu Yang , Baidu'nun derin öğrenme platformu PaddlePaddle'ın geliştirilmesinde yer aldı. Baidu'ya katıldıktan sonra, derin öğrenme sistemlerinin araştırma ve geliştirilmesinde yer aldı, esas olarak derin öğrenme sistemlerinin performans optimizasyonu ve işlev geliştirmesinden sorumlu oldu. 2016 yılında Baidu Young High Potential Talent (YTP) proje üyesi ve Baidu Best Individual ödülüne layık görüldü.
Bu makale Yu Yang'ın paylaşımına göre düzenlenmiştir. Tam metnin görüntülenmesi için profesyonel bir Titanium Media kullanıcısı olması gerekir . İletişim kurmak ve daha profesyonel veri ve bilgileri görüntülemek için dokuz profesyonel Titanium grubuna girmek için, Titanium Media profesyonel kullanıcısı olarak kaydolmak için bağlantısını tıklayın.
Aşağıdakiler, Yu Yang'ın Titanium hakkındaki paylaşımına dayanmaktadır:
Herkese iyi akşamlar Ben Baidu'nun Derin Öğrenme Laboratuvarı'ndan Yu Yang. Esas olarak Baidu'nun derin öğrenme sistemi PaddlePaddle'ın geliştirilmesiyle ilgileniyorum.
İlk önce gerçek bir AI iniş problemini düşünün
AI zaten çok sıcak bir konudur, ancak AI'nın küçük ve orta ölçekli işletmelerde nasıl uygulandığı aslında birçok pratik sorunu içerir. Örneğin, en basit soru, TV'yi sesle kontrol etme Dört çözüm olduğunu düşünüyoruz:
1. AI HUB'ı kullanın Yani, bu makinenin TV'yi kontrol etmesine izin vermek için sinir ağı modelini bir çipe veya küçük bir makineye koyun. Bu AI Hub, TV'ye koyulmamalıdır. Örneğin, Amazon Alexa veya Google Home. İkisi ses kontrolünü sağlasa da, insanlar odada dolaşabilir ve Alexa hiçbir yerde uyandırılamaz.
Ancak bu özellikle ekonomik değildir, çünkü yapay zekanın TV'yi kontrol etmesini istiyorsanız, her şeyden önce her TV'nin sinir ağının tahmin işlevine sahip olması gerekir.Aynı zamanda, kullanıcının gerçek verileri tahmin edildikten sonra, sinir ağı da kullanıcıya dayanmalıdır. Modeli daha iyi hale getirmek için modeli yeni verilerle yeniden eğitin. Bu, hem sinir ağı çıkarım yeteneklerine hem de eğitim yeteneklerine sahip bir çip gerektirir.
2. Herkes için bir derin öğrenme API'si sağlayın Örneğin Baidu, derin öğrenme eğitimi ve tahmini için bir platform sağlar. Baidu'nun size makine öğrenimi eğitimi tahmini için bir API sağlayabilmesi için verilerinizi Baidu'ya veya Google'ın bulut diskine koymaya istekli misiniz?
Bunun birçok senaryoda gerçekçi olmadığını düşünüyorum. Birinci neden, kullanıcıların API'leri kullanmayı öğrenmesinin zor olması ve IoT'de API çağırmanın daha da zor olmasıdır. Diğer bir neden de, Baidu PaddlePaddle ekibi diğer şirketlerle iletişim kurduğunda, çoğu şirketin özel bulutları kullanmak istediğini görmeleridir. Genel bulutu kullanmamanın nedeni aslında maliyet değildir. Asıl sebep, genel bulutun getirebileceği veri güvenliği sorunlarıdır, çünkü işletme için gerçek değer aslında eğitim verileridir.
3. Şirket kendi başına özel bir AI kümesi oluşturur Veya yalnızca derin öğrenme eğitimini çalıştırmak için yüz GPU makinesi satın almak mümkün mü? Bunun uygun olmadığını düşünüyorum çünkü özel bir AI kümesinin GPU'su çok pahalıdır.Genel olarak, bir AWS GPU örneğini bir yıllığına kiralamak, bir tane satın almakla aynı maliyete sahiptir. Özel bir kümenin küme kullanımı çok yüksek değildir, bu nedenle uygun maliyetli değildir. Özel kümelerin kullanımının neden çok yüksek olmadığına gelince, bunun hakkında daha sonra konuşacağız.
4. PaddlePaddle tarafından önerilen hedef, genel bir AI kümesi oluşturmaktır . Genel anlam, AI kümesinin hem sinir ağı eğitim görevlerini hem de diğer görevleri çalıştırabilmesidir.Her görev için hem üretim ortamı görevlerini hem de deneysel görevleri çalıştırabilir. Bu şekilde, bir kuruluştaki her işletmenin her ekibi aynı kümeyi kullanabilir ve bulutta konuşlandırılsa bile farklı kuruluşlar aynı kümeyi birlikte kullanabilir. Siz kullanmadığınız zamanlarda kullanıyorum ve GPU'yu işiniz ve diskim için kullanıyorum, bu da kümenin genel kullanımını büyük ölçüde artırıyor.
Özel küme mi yoksa genel küme mi seçin?
Aşağıdaki resim Google Deepmind's AlphaGo'nun kaynak kullanımıdır. Gördüğünüz gibi, son dağıtımda 280 GPU kullanıldı:
Aşağıdaki resim, Baidu'nun GPU eğitim makinesidir. Makinelerimizden biri, 64 grafik kartına kadar genişletilebilen 16 GPU grafik kartını destekleyebilir:
ve bu yüzden Derin öğrenmeye yönelik bu tür özel bir küme, gezegendeki çok az şirketin oynamaya gerçekten gücü yetebilir . Örneğin, Baidu'nun makine çeviri sistemi, grup eğitimimiz sırasında yaklaşık on günlük eğitim için 32 K40 GPU kullanabilir; Google'ın makine çevirisi, GPU eğitimi için 96 K80 GPU kullanır; AlphaGo 50 GPU kullanır Bir aylık eğitim. Bu pahalı kullanım maliyetleri, yeni başlayanların karşılayamayacağı ve karşılamaması gereken bir şeydir.
Baidu, Google veya Microsoft gibi büyük şirketler neden bu tür maliyetleri karşılayabilir? Aslında nedeni görece basit, bu şirketlerde derin öğrenme ürün gruplarında yaygın olarak kullanılıyor. Örneğin, çoğu Baidu ürün grubu, bu ürünlerin işlevlerini ve kullanıcı deneyimini iyileştirmek için derin öğrenmeyi kullanan PaddlePaddle'ı kullanır.
Derin öğrenme görevlerinde hata ayıkladıysanız, bunu açıkça anlayabilirsiniz. Derin öğrenme görevlerinin belirli bir kaynak kullanım döngüsü vardır . Örneğin, deneyin başlangıcında, kullanıcı büyük miktarda veriden küçük bir örnek setini örnekleyebilir ve bu küçük örnek setinde daha iyi bir model ayarlayabilir. Bu aşamada makinenin kullanımı aslında çok fazla değil, sadece tek bir makine veya birkaç ekran kartı olabilir. Daha sonra, bu modelin etkisini doğrulamak için, tüm veri miktarı çevrimdışı olarak eğitilebilir, yani eğitim için özel bir derin öğrenme kümesi kullanılır.Bu aşamada, düzinelerce yüzlerce bilgisayar makinesi eğitime sunulabilir. Görevler, bu makinelerin her birinin birkaç grafik kartı olabilir.
Kullanıcının modeli çevrimdışı eğitimde doğru bir şekilde doğrulanabilir ve modelde büyük bir veri seti üzerinde bazı ince ayarlamalar yapılabilir, böylece model çevrimiçi tahmin için kullanılabilecek bir duruma dönüştürülebilir. Çevrimiçi tahminde kullanılan makinelerin sayısı, eğitimde kullanılan makinelerin sayısından açıkça daha azdır. Bunun nedeni, tahmin sırasında, sinir ağının ileri beslemesini ve geri bildirimini baştan çalıştırmaya gerek olmaması ve eğitim setini tekrar tekrar çalıştırmaya gerek olmamasıdır.
Tahmin modeli hayata geçtikten sonra, yeni veriler ve kullanıcılar tarafından sağlanan gerçek geri bildirimler toplandı. Modelimizi daha iyi ve daha iyi hale getirmek için bazı kademeli eğitimler gerçekleştirmek için bu günlükleri topluyoruz. Artımlı eğitimden sonra, tahmin modelini, tahmini ve artımlı eğitimi güncellemenin başka bir döngüsü vardır.
Bir start-up'ta yalnızca birkaç derin öğrenme görevi varsa, derin öğrenme görevlerinin periyodikliği nedeniyle, özel derin öğrenme kümesinin kesinlikle çok yüksek bir kullanım oranına sahip olmayacağı ve kabaca% 20 kullanım oranının zaten olduğu görülebilir. Çok iyi. Ancak Baidu ve Google gibi büyük şirketler çeşitli ürün gruplarına sahiptir ve bu ürün gruplarının bazı iyileştirmeler için derin öğrenmeyi kullanması gerekir. Bu görevler periyodik olmasına rağmen, görevler ve görevler arasındaki zaman farklıdır, bu nedenle her görev arasında üst üste binen bir etki oluşur. .
Gruptaki herkesin temelde ilgili alanlarda araştırmacı veya girişimci olduğunu düşünüyorum. Girişimciler ve yenilikçi personel için, özel bir yapay zeka kümesini kurmanın maliyeti aslında çok yüksektir, ancak kullanım oranı çok düşüktür. Bize göre, özel bir AI kümesi yalnızca büyük İnternet şirketleri için uygundur ve bu İnternet şirketinin çeşitli AI işlerine sahip olması gerekir. Az sayıda AI işletme şirketi veya başlangıç varsa, bunu yapmak için genel bir küme kullanmanızı öneririz. Derin öğrenme için eğitim kümesi.
PaddlePaddle, adanmış kümeden genel kümeye değişir
PaddlePaddle ayrıca, geçen yıl Eylül ayında açık kaynaktan önce Baidu içindeki özel bir AI kümesinde çalışıyordu. Bu kümede, makineleri izomorfiktir, yani grafik kartı modeli de dahil olmak üzere herkesin CPU modeli aynıdır ve MPI'ye göre planlanır.Dahili ağ işletim ortamı da izole ve kararlıdır. Bu nedenle, PaddlePaddle geçen yıl Eylül ayında açık kaynaklı hale gelmeden önce, Baidu'nun PaddlePaddle için tek bir gereksinimi vardı, yani daha fazla görevi olabildiğince çabuk ve mümkün olan en kısa sürede tamamlamak. PaddlePaddle'ın bir diğer özelliği de Baidu'nun kendisinin bir arama şirketi olmasıdır.Baidu'nun daha fazla ürün yelpazesine hizmet etmek için PaddlePaddle doğal dil işlemede daha iyi olacaktır.
PaddlePaddle'ın çalışma verimliliği, PaddlePaddle geninde oyulmuş bir şey olarak tanımlanabilir.Açık kaynaktan sonra, Caffe ve TensorFlow ile bazı kıyaslamalar yaptık.Sonuçlar aşağıdaki üç resimde gösterilmektedir. PaddlePaddle ve diğer çerçeveler tek bir grafik kartında yaklaşık olarak aynı hızdadır, ancak Caffe birden çok grafik kartının hızında açıkça daha yavaştır.Tensorflow ve PaddlePaddle, aslında birden çok grafik kartının bir araya getirilmesinde benzerdir ve PaddlePaddle biraz daha hızlı olacaktır. Ancak LSTM'de PaddlePaddle bariz avantajlar gösterebilir.Aşağıdaki şekilde görülebileceği gibi, PaddlePaddle tek bir grafik kartı olduğunda LSTM ağ yapısında zaten Tensorflow'dan daha hızlıdır. LSTM 4GPU altındayken, PaddlePaddle'ın aslında daha iyi olduğu görülebilir. Tensorflow çok daha hızlı.
Ancak hızlı çalışan basit bağımsız makineler ve kümeler artık bu aşamada PaddlePaddle'ın hedefi değildir. Çünkü, yalnızca genel amaçlı bir kümede daha hızlı çalışarak daha küçük ve orta ölçekli işletmelere hizmet edebileceğimize ve daha fazla insanın PaddlePaddle'ı kabul etmesini ve topluma daha fazla değer katmasını sağlayabileceğimize inanıyoruz.
Genel bir AI kümesi nasıl oluşturulmalıdır?
Adanmış küme aslında daha yaygın bir küme yapılandırma modudur. Örneğin, şirketimizin depolama gereksinimleri varsa, çevrimdışı işleme için HDFS'yi kullanmak üzere bir Hadoop kümesi yapılandıracağım ve çevrimdışı işleme için Hadoop'un Map-Reduce kümesini kullanacağım. Web siteleri için, herkes web sitesinin ön ucunda bir nginx kümesi yapılandıracak ve ardından web sitesinin bazı günlüklerini toplamak için kalfka'yı kullanacak ve ardından bunu AI için işleyecek.
Özel bir kümenin mimarisi, birkaç şeyi farklı makinelerde dağıtmaktır.Bu makineler birbirinden izole edilmiştir ve birbirlerine erişemezler. Bunun avantajı aslında açıktır, çünkü farklı uygulamalar farklı uygulamalar arasında karşılıklı etkiyi önleyebilen farklı fiziksel makinelerde çalışmaktadır, ancak dezavantajları da açıktır, yani maliyet çok yüksek olacaktır.Her küme aslında fiziksel donanımdır. Kullanım oranı yeterli değil.
Aşağıda, genel bir AI kümesinin nasıl oluşturulması gerektiğini göstermek için örnek olarak bir konuşma tanıma hizmetini ele alıyorum.
Aşağıdaki şekil genel bir kümenin basit bir şematik diyagramıdır Bu kümede birçok GPU sunucusu vardır ve ayrıca tümü bir kümede konuşlandırılmış birçok CPU sunucusu vardır. Kubernetes, bu kümedeki makinelerde çalışıyor. Kubernetes, Google tarafından açık kaynaklı bir dağıtılmış işletim sistemidir. 2007'de Google, CPU kullanım oranını yaklaşık% 75 ila% 80 arasında tutmak için çeşitli kaynaklardan çeşitli görevleri karıştırmak ve dağıtmak için küme işletim sistemi Borg'u kullandı. Kubernetes geliştirme, daha önce Borg geliştirme ekibinin bir parçasıydı. Kubernetes'in tasarımı, Borg projesinin uzun yıllar boyunca özetlediği deneyimi miras aldı ve şu anda en gelişmiş küme işletim sistemidir.
Bu, işletmelerin maliyetinde büyük bir düşüştür. Daha önce genel adanmış kümelerin kaynak kullanımının yaklaşık% 20 olduğunu söylemiştik Kümenin görevlerini yönetmek için bir küme işletim sistemi kullanırsak, donanım kullanımı yaklaşık% 75 ila% 80'e çıkarılabilir. Böyle bir genel küme, dört sıradan ayrılmış kümeye eşdeğerdir .
Genel küme verileri hala HDFS'de depolanır. HDFS'de çevrimdışı eğitim için PaddlePaddle'a gönderilen bazı etiketli veriler vardır. Bu sistemin ön ucunda bir ses tanıma servisi var, kullanıcı sesini verdikten sonra bir paragraf metin döndürüyor. Bu ön uç konuşma tanıma API'sinde, kullanıcı tarafından gerçek zamanlı olarak gönderilen konuşma verileri, toplama için Kalfka'nın kullanılması ve ardından bazı çevrimiçi ön işlemlerin yapılması gibi diğer işlemlerle toplanacak gerçek zamanlı bir günlük oluşturur ve ardından Bu veriler eğitim için PaddlePaddle'a aktarılmaya devam eder. Bu şekilde, PaddlePaddle hem çevrimdışı toplu veri eğitimini hem de çevrimiçi gerçek zamanlı veri eğitimini destekleyebilir.
Mevcut derin öğrenme platformları arasında, hiçbiri genel kümelerde nasıl daha iyi eğitilebileceğini düşünmüyor gibi görünüyor. Bunun nedeni, derin öğrenme platformlarının çoğunun büyük şirketler tarafından geliştirilmesidir.Büyük şirketlerde, genel kümelerin eğitimi onlar için önemli değildir, ancak yeni başlayanlar için çok önemlidir.
Genel kümelerin derin öğrenme sistemlerine karşı zorluğu
Ana zorluklar aşağıdaki gibidir:
(Aşağıdaki tam metin yalnızca Titanium Media'nın profesyonel kullanıcıları tarafından kullanılabilir, Titanium Media Professional Edition'ı kaydetmek için bağlantısını tıklayın)
...
Yukarıdaki içerik, PaddlePaddle'ın genel bir küme altında neden ölçeklenebilir bir eğitim olması gerektiğini herkesin anlamasını sağlamayı umuyor.
PaddlePaddle'ın planı ve hedefleri
PaddlePaddle açık kaynaklı olduktan sonra, Baidu'nun dahili bir projesi olmaktan çok büyük bir fark var.Orijinal yüksek performans ve fonksiyon arayışından, aşağıdaki şekilde gösterilen hedeflere yavaş yavaş geçiş yapacağız. Her şeyimizin en önemli tek noktası, ortadaki turuncu kare ... İşinizi harika, çok göz kamaştırıcı ve çok güçlü kılmayı umuyoruz. PaddlePaddle'ın "gücünü" değerlendirme kriterimiz, kaç tane makalenin yayınlandığı ve kaç medyadan bahsedildiği değil, kullanıcının sıkıntılı noktalarını çözmek ve kullanıcıları serinletmektir.
Genel kümenin altındaki ölçeklenebilir PaddlePaddle, hedefimizin yalnızca bir parçasıdır.Umarım herkesin PaddlePaddle'ın daha da geliştirilmesine dikkat etmeye devam edebilir.
Burada ayrıca diğer çalışmalarımızdan bazılarını tanıtmak istiyorum.Örneğin, bir derin öğrenme uygulama kılavuzu yazdık. Şimdi sekiz bölüm yazmayı bitirdik. Http://book.paddlepaddle.org/ adresine gitmek için bağlantıya tıklayın Bu kılavuzda, Size derin öğrenmeye nasıl başlayacağınızı ve gerçek senaryolarda nasıl kullanacağınızı öğretmek için sekiz örnek verdik.
Her örnek, duyarlılık sınıflandırması ile ilgili bir bölüm gibi iyi tasarlanmıştır. Sözde duyarlılık sınıflandırması, bir metni olumlu duyarlılık veya olumsuz duyarlılık olarak sınıflandırmaktır, ki bu aslında basit bir metin sınıflandırma problemidir. Basitçe metin sınıflandırma modelini uygulayarak, aşağıdaki şekilde listelenen çeşitli sorunları çözebiliriz.
Genç bir açık kaynak derin öğrenme sistemi olan PaddlePaddle ayrıca birçok zorlukla karşı karşıyadır. Tüm zorlukları daha açık bir zihinle karşılayacağız. PaddlePaddle açık kaynak kodlu bir yazılımdır. Tasarım ve tartışma dahil tüm geliştirme çalışmaları Github üzerinde gerçekleştirilmektedir. Şu anda Baidu dışındaki pek çok ekip geliştirmeye katılmıştır. Bunların arasında yapay zeka ile uğraşan şirketler ve dağıtık işletim sistemi teknolojisi yapan şirketler var. Herkes, tasarımı gözden geçirip kodu göndererek Github'da tartışır ve değiş tokuş yapar.
Ayrıca, daha fazla şirketin yapay zekayı destekleyen daha genel amaçlı kümeler oluşturduğunu ve giderek daha fazla şirketin işlerini daha iyi ve daha harika hale getirmesine yardımcı olmayı umuyoruz. PaddlePaddle aynı zamanda Baidu'dan kaynaklanan bir derin öğrenme çerçevesidir. Ayrıca, daha fazla şirketin işlerini geliştirmesine yardımcı olmak için mümkün olduğunca çok kaynak açmak için sektörde mümkün olduğunca çok sayıda olgun modeli teşvik edeceğiz.
Titan White Group Friends'in Etkileşimi:
1. Yapay zeka kamu hizmeti, kullanıcı gizliliğini ve veri güvenliğini nasıl garanti ediyor?
Yu Yang: Aslında bu alanda uzman değilim, kendi düşüncelerimden bahsedeyim. PaddlePaddle söz konusu olduğunda stratejimiz, kullanıcıların hassas verileri PaddlePaddle platformuna iletmesine gerek kalmaması için özel bir bulutta veya yerel olarak doğrudan konuşlandırılabilen bir PaddlePaddle sağlamaktır. Makalede verilen çözümlerden bazıları, derin öğrenme eğitimini doğrudan cep telefonuna dağıtmak ve artan eğitimli modeli sunucuya yüklemek, böylece kullanıcının verilerinin cep telefonundan sunucuya değil, doğrudan cep telefonuna yüklenmesine gerek kalmaz. Eğitim optimizasyonu gerçekleştirin.
2. Eğitim hizmetleri tarafından eşzamanlı görevler için kaynak tahsisinin adaleti nasıl sağlanır?
Yu Yang: Şimdi bazı açık kaynaklı küme işletim sistemleri var.Örneğin, Kubernetes bu küme işletim sistemlerini kullanıyor. CPU ve GPU sayısını, yani bilgi işlem kaynaklarının sayısını doğrudan planlayabiliriz, böylece her kullanıcı kendi kotasına sahip olabilir. Kullanıcının kotası, kullanması gereken kotayı aştığında, görevi yalnızca bekleyebilir. Kullanıcının kotası gerçekte kullandığı kotadan az olduğunda, programlanabilir. Bu planlama stratejileri artık çok olgun Açık kaynak platformları mevcuttur.
3. Yerel olarak devreye alındığında yüksek eğitim donanımı yatırımına bir çözüm var mı?
Yu Yang: Eğitim donanımına yapılan yüksek yatırımı çözmenin bir yolu olduğunu düşünüyorum. Çözüm, daha önce söylediğim gibi, bu kuruluşun makinelerinin çoğunu özel bir büyük genel kümeye yerleştirerek, bu küme derin öğrenme görevlerini çalıştırabilir , Web servisleri gibi başka şeyler de çalıştırabilirsiniz. Böyle bir derin öğrenme makinesinin bir GPU satın almanın sizin için pahalı olduğu söylense de, sıradan zamanlarda başka işler için de kullanılabilir ve tamamen boşa harcanmayacaktır.
4. Kotalar, birden çok kullanıcı arasında koordinasyon sağlamak için ekonomik kaldıraca mı dayanıyor? KOBİ'lerin karşılayabileceği bir fiyatlandırma stratejisi var mı?
Yu Yang: Amazon'un genel bulutunun, yani AWS'nin teklif örnekleri sunması gerektiğini hatırlıyorum, bu da herkesin birlikte bir makineyi müzayedeye çıkaracağı ve daha yüksek fiyatı ödeyen kişi bu süre zarfında makineyi kullanabileceği anlamına geliyor. Bu şekilde ekonomik kaldıraçlar çalışır.
(Bu makale, Baidu kıdemli mühendisi ve Paddle API yeniden yapılandırma tasarım lideri Yu Yang'ın Titanium üzerine paylaşmasına ve harmanlamasına dayanılarak özel olarak Titanium Media'da yayınlanmıştır)
Titan White'ın 33. sayısı olan AI, makine öğrenimi 2'ye geldi, bu gece saat 7'de devam edin!
Konum: Titan White | Yapay Zeka (WeChat Group)
Dersler ve değişimler için kaydolun:
Titan White şu anda sağlık hizmetleri, yapay zeka, eğlence ve sosyal ağ, VR / AR, blok zinciri, ödeme yeniliği, spor, bulut bilişim ve SaaS dahil olmak üzere dokuz profesyonel gruba sahiptir.
1. Titanium Media Pro Professional Edition kullanıcıları bağlantısına tıklayabilir, hesaplarında oturum açabilir, çevrimiçi ücretsiz, girmek istedikleri grubu seçebilir ve istemlere göre işlem yapabilir;
2. Titanium olmayan Media Pro Professional kullanıcıları WeChat taitanbai0 hesabını ekleyebilir Bir arkadaşını geçtikten sonra Xiaotai'ye 99 yuan kırmızı bir zarf göndererek girmek, dersleri dinlemek ve uzun süre iletişim kurmak için dokuz gruptan birini seçme hakkına sahip olacaksınız. Lütfen Xiaotai'ye hangi gruba girmek istediğinizi söyleyin ve Xiaotai'nin sizi gruba çekmesini bekleyin ~
Tavsiye, sponsorluk, işbirliği:
Lütfen Titan White'dan sorumlu kişi olan Jiayinge ile jiayinge@tmtpost.com adresinden iletişime geçin.
Daha heyecan verici içerik için Titanium Media WeChat ID'yi (ID: taimeiti) takip edin veya Titanium Media Uygulamasını indirin
