Derin öğrenme, bir ön uç geliştirme eseri haline geldi: UI tasarım çizimlerine göre otomatik olarak kod oluşturun
Tang Xu derleyin ve organize edin
Qubit Raporu | Genel Hesap QbitAI
UI tasarımı ve ön uç mühendisler arasında bir sinir ağına ihtiyaç duyulabilir.
Yakın zamanda, Kopenhag merkezli bir başlangıç şirketi olan Uizard Technologies, "pix2code" adlı bir sistem geliştirdi. Derin öğrenmeyi kullanan bu sistem, giriş grafik kullanıcı arabirimi (GUI) ekran görüntülerine göre karşılık gelen kodu doğrudan çıkarabilir, böylece ön tarafın kodu manuel olarak yazma ihtiyacını ortadan kaldırır.
Şu anda pix2code tarafından üretilen kodun doğruluk oranı% 77'ye ulaşmıştır ve bu kodlar Android, iOS ve Web arayüz platformları ile uyumludur.
Ne kadar harika Aşağıdaki animasyona bakın.
UIzard'ın kurucusu Tony Beltramelli, bu sinir ağını oluşturmak için Ar-Ge ekibinin üç ana zorluğun üstesinden gelmesi gerektiğini söyledi:
-
Birincisi, bilgisayar görme düzeyidir - bilgisayarlar, verilen nesneleri ve sahneleri otomatik olarak tanıyamaz ve anlayamaz, konumlarını ve özelliklerini yargılayamazlar;
-
İkincisi, dil seviyesidir - doğru örnekler oluşturabilmesi için sinir ağına metni anlamasını öğretmeleri gerekir;
-
Son olarak, sinir ağlarının kod, metin ve karşılık gelen görüntüler arasındaki ilişkiyi anlaması gerekir.
Beltramelli, gelecekte pix2code'u daha da iyileştirmek için Generative Adversarial Networks (GAN) kullanabileceklerini söyledi. GAN'lar sekanslar ve görüntüler oluşturmadaki avantajlarını kanıtladılar, ancak bu alandaki araştırmalar hala nispeten ön aşamada olduğundan, sinir ağlarını eğitmek hala çok zaman alıyor.
Ekli kağıt adresi:
https://arxiv.org/abs/1705.07962
GitHub adresi:
https://github.com/tonybeltramelli/pix2code
Ek olarak, Beltramelli, GitHub'da pix2code ile ilgili bazı genel soruları yanıtladı. Qubit bu bölümü şu şekilde derler:
S: Veri seti ne zaman kullanılabilir olacak?
C: Makaleyi bu yılki NIPS'e gönderdik. Kabul veya red sonucunu verdikten sonra, veri seti açılacak. Belirli bir zaman Eylül civarı. O zaman, veri setine dahil edilen GUI ekran görüntülerini, ilgili DSL kodunu ve iOS, Android ve Web arayüzü için üç hedef kodu sağlayacağız.
S: Kaynak kodu ne zaman yayınlanacak?
C: Başlangıçta kağıda yazıldığı gibi, kaynak kodunu açma planımız yok. Ancak bu projenin bu kadar dikkat çekmesini beklemiyordum, bu yüzden makalede bahsedilen pix2code uygulama kodunu ve veri setini açık kaynak yapmaya karar verdik.
S: pix2code diğer hedef platformları / dilleri destekleyecek mi?
C: Hayır, pix2code sadece bir araştırma projesidir, makalede anlatılan durumu koruyacaktır. Bu proje aslında Uizard Technologies'de yaptığımız işin küçük bir vitrini. Elbette, sizi diğer hedef platformlar / diller üzerinde çatallayıp deneyler yapmaya davet ediyoruz.
S: Ön uç projemde pix2code kullanabilir miyim?
C: Hayır, pix2code yalnızca deneysel bir projedir ve henüz belirli durumlara uygulanamaz. Ama ticarileştirmek için çok çalışıyoruz.
S: Modelin performansı nasıl ölçülür?
C: Makalede bildirilen doğru veya yanlış sonuçların tümü, üretilen jetonla beklenen jeton karşılaştırılarak DSL düzeyinde elde edilir. İkisi arasında herhangi bir uzunluk farkı varsa, bu da bir hata olarak kabul edilecektir.
S: Bu modeli eğitmek ne kadar sürer?
Y: Bir Nvidia Tesla K80 GPU'da, bir veri kümesinde bulunan 109 * 10 ^ 6 parametresini optimize etmek 5 saatten az sürer. Yani bu modeli üç hedef platformda eğitmek istiyorsanız, yaklaşık 15 saat sürecektir.
S: Ben bir ön uç geliştirici miyim? Yakında işsiz mi kalacağım? (Bu soruyu defalarca içtenlikle sordum ...)
Y: Yapay zeka, ön uç mühendislerin yerini bu kadar çabuk almayacak.
Pix2code'un olgun bir sürümü olduğu varsayılsa bile, her farklı platformda / dilde oluşturulan kod% 100 doğruluğa ulaşabilir.İyi bir ön uç hala mantık, etkileşim, gelişmiş grafikler ve animasyon ve diğer tüm kullanıcılar gerektirir. Sevdiğim şeyler.
Bunu yapmaktaki amacımız, UI / UX tasarımcıları ile ön uç geliştiriciler arasındaki boşluğu doldurmak, onları değiştirmek değil. Geliştiricilerin zamanlarının çoğunu bu temel işlevlere harcamasına izin verirken tasarımcıların daha iyi yaratmalarını sağlamayı umuyoruz.
Yapay zekanın gelecekte insanlarla onların yerini almayacağına inanıyoruz.
Bitiş
İşe Alım
Qubit, editörleri, muhabirleri, operasyonları, ürünleri ve diğer pozisyonları işe alıyor ve çalışma yeri Pekin, Zhongguancun'da bulunuyor. İlgili ayrıntılar için lütfen şu yanıtı verin: resmi hesabın diyalog arayüzünde "İşe Alım".
Bir şey daha...
Bugün AI dünyasında dikkat etmeye değer başka ne var? Yapay zeka endüstrisini ve tüm ağımızdan toplanan araştırma eğilimlerini görmek için QbitAI genel hesap diyalog arayüzünde "bugün" yanıtını verin. Yeniden doldur ~
