Amazon AWS Baş Bilimcisi: AWS, büyük ölçekli makine öğrenimini nasıl kolaylaştırır?
"Eğer bilim adamı değilsem, o zaman dansçı olmalıyım." Üç yaşındaki çocuk, Hint geleneksel dansını uygulamaya başladı ve büyüdüğünde kendini bilim ve teknoloji endüstrisine adamış bir bilim adamına döndü. 28 Ocak'ta düzenlenen EmTech Çin Küresel Gelişen Teknoloji Zirvesi'ne katıldı. Amazon'un en karlı departmanı olan AWS'nin arkasındaki teknoloji ve iş mantığını ortaya koyan bir konuşma yaptı. Aşağıdaki harmanlanmış konuşma içeriğidir:
Çoklu alan teknolojisi, en son teknolojide önde gelen bir teknik güç haline geldi ve bu konuyu doktora ve doktora sonrası derecelerimde incelemekten çok onur duyuyorum. Bugün sizinle makine öğrenimi, makine öğreniminin nasıl araştırılacağı ve ölçüleceği hakkında konuşacağım.
Derin öğrenmenin birden çok hatta yüzlerce işlem katmanından geçmesi gerekir. Bu tür makine öğrenimi, ağ teknolojisi gerektiren farklı GPU'lar üzerindeki makineler ve cihazlar arasında da işlenecektir. Çok alanlı modeller, bilim, mühendislik ve çeşitli alanlardaki uygulamaları aynı anda ele almamıza yardımcı olabilir. Makine öğrenimi çoklu alan modelleri ve çoklu alan uygulamalarının bulutta nasıl hesaplanabileceği için çözümler aramaya kararlıyız.
Derin öğrenme birçok alanı kapsar. Yaptığımız ilk şey görüntüyü anlamaktır ve temel görev farklı nesneleri tanımlamaktır. İnsanlar için bir resimdeki nesneleri tanımak kolaydır, ancak makineler için son derece zordur. Ancak sistemimiz büyük ölçüde iyileştirildi ve öncekilerden daha fazla avantaja sahip.
Bundan sonra, konuşma tanımada da bir atılım yaptık. Derin öğrenme, farklı diller için doğal dil işlemede de yer alır. Farklı dillerin farklı yapıları vardır, bu farklı diller otomatik olarak nasıl işlenebilir ve anlaşılabilir?
İnsanlar dili dinleme, konuşma, okuma ve yazma gibi farklı bağlamlarda iletişim kurmak için kullanır. Bu süreçlerde dil ifadeleri farklıdır. Makine farklı dilleri nasıl ele alıyor? Derin öğrenmenin karşılaştığı zorluk budur.
Diğer bir alan ise insansız sürüş ile ilgili. Performansı nasıl geliştirilir, engelleri nasıl fark edilir, nasıl iyi bir vizyona sahip olunur, hemen nasıl karar verilir, bunlar sürücüsüz teknolojinin çözmesi gereken sorunlardan bazıları ve ayrıca derin öğrenmenin rol oynayabileceği yerlerdir.
Mevcut derin öğrenme modelinin nasıl çalıştırılacağını sizinle paylaşmama izin verin. Derin öğrenme geniş bir uygulama yelpazesine sahiptir.Bazı özel projelerimiz var ve bunu daha farklı donanım altyapılarına da uyguluyoruz. Mxnet, derin öğrenme motorlarından biridir. Bu proje ilk olarak üniversitedeki araştırmacılar tarafından geliştirilmiştir ve şimdi bu motoru AWS üzerinde geliştiriyoruz.
Bu motorun avantajları ortada. Bir ağ kurmuştur, programlama süreci, ifade, karakteristik açıklama, stil çok esnek ve uygundur, bu da programcıların verimliliğini artırır. Aynı zamanda iyi bir dil desteği sağlar ve ön ve arka uçlar otomatik olarak kenetlenir, bu da programlama verimliliğini artırır. Bu ağın bazı sabit verileri vardır ve birbirine bağlı seviyeler giriş ve çıkış arasına bağlanacaktır. Bazı özel projelerin programlama süreci daha kolay yazılsa da, konuşma akışı daha uzundur ve yazılacak daha çok sembol vardır. Hesaplama sırası açısından, belirli bir sıra ilişkisine sahiptirler ve paralel karşılaştırmaları otomatik olarak gerçekleştirmek için bir grafik geliştirdik. Ayrıca, kod hesaplamalarında verimliliği artıran belleği otomatikleştirir.
Verimliliği artırmak için çoklu GPU eğitimi de kullanıyoruz. Veri paralelleştirme için bir makinede birden fazla GPU bulunur ve aynı anda büyük miktarda veri elde edilebilir. Merkezi veriler, farklı CPU seviyelerinin üzerindeki ağdan gelir ve veriler sürekli olarak bölünür ve her GPU'ya girer.
GPU'nun işlenmesi gerektiğinde, benzer içerik bulduğunda onu entegre edecek ve bu da verimliliğimizi artıracaktır. GPU, hesaplama sonuçlarını Mxnet'e entegre edebilir, bu nedenle maliyet nispeten düşüktür. Aynı zamanda Mxnet'in performansını da geliştirdik. GPU eklendikten sonra, genel giriş ve çıkış verimliliği de tersine dönecektir. Bu, B2X ve B22X dahil olmak üzere AWS altyapısında çalışıyor.
Tüm hizmetler arasında Mxent, Resnet ve Inception v3 ve Alexnet dahil olmak üzere% 91 ile en yüksek verimliliğe sahiptir. Bu, birden çok GPU'ya sahip tek bir alt tabakadır. Çoklu substrat üzerindeki her makinede 16 GPU bulunur. Birleştirildiğinde, tüm veriler ağ üzerinden verimliliği etkiler. Ancak verimliliğimiz çok azalmadı çünkü Mxnet çok yakından inşa edildi ve verimliliği artırabilir. Böylece, bu tür dağıtılmış çok makineli eğitimi gerçekleştirebiliriz. Bunlar artık bazı senaryoların ve çoklu GPU ve CPU çerçevemizin çalışmasına da uygulanabilir. Ayrıca, tüketicilerimize bu tür bir teknolojiyi sağlayabileceğimizi, dağıtılmış eğitimimizin çok iyi bir teknoloji paketine sahip olduğunu, bu da bize ağ sıkıştırma ve ağ açma konusunda yardımcı olabileceğimizi ve iyi teknik hizmetler sunabileceğimizi umuyoruz.
Tüm bu çerçeveler makine öğrenimi platformumuz CHMaker'a uygulanabilir. Bu, çoklu makine öğrenimi için bir platformdur.Tüm dağıtılmış derin öğrenme çerçeveleri, TensorFlow ve Mxnet gibi bu platformda çalıştırılabilir. Platformumuz MxNet dışındaki tüm çerçeveleri destekleyebilir ve kullanıcılarımıza daha esnek seçenekler sunmayı umuyoruz.
Ek olarak, DeepLens aynı zamanda yakın zamanda piyasaya sürdüğümüz, dil, cümleler, bilgisayarla görme gibi birçok hizmeti sağlayabilen ilk derin öğrenme kamerasıdır. Kullanıcıların kendi öğrenme modellerini eğitmelerine gerek yoktur, hizmetlerimizi kullanabilirler. Tüm sistemimizin birçok çözümü vardır. Davet için teşekkürler Deep Tech!
