g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

Google ve Tesla tarafından 8 aylığına elendikten sonra, nasıl en iyi yapay zeka mühendisi oldu?

Yazar | Vladimir Iglovikov

Çevirmen | Sun Wei

Editör | Jane

Son zamanlarda Amerika Birleşik Devletleri'nde çalışan bir Rus, son 8 aydaki iş arama deneyimini paylaştı ve fizikten mezun olduktan sonra, veri ve geleneksel öneri sistemi mühendisliği yapmak için bir borç tahsilat şirketinde çalıştı. Derin öğrenme ve bilgisayarla görme alanıyla ilgilenmeye başladıktan sonra bu alana geçmek istemiş, ancak mesleki bilgi, beceri ve deneyim eksikliği nedeniyle iş aramada her yerde engellerle karşılaşmıştır.

Bu eksiklikleri daha iyi doldurmak için dönem içinde birçok Kaggle yarışmasına katılmış, çok iyi dereceler de kazanmış, bir yarışma etkinliğinde dahi Rusya'da bazı sorunlara yol açmıştır. Dikkat Ancak dediği gibi bunlar Google ve DeepMind gibi tanınmış şirket ve kurumların gözünde değil ve Tesla'yı kaçırdılar. Ancak, sekiz aylık zor ve işkence sırasında pes etmedi ve sonunda Lyft'in Teklifinden bahsetmeyi sevdi. Bugün, Vladimir Iglovikov'un bu geçmişe dair anlatısını birlikte gözden geçirelim. 2020'de aynı sıkıntı ve zorluklarla karşı karşıya kalan arkadaşlarımıza biraz düşünce ve güç vermeyi umuyoruz.

(Kaynak: Vladimir Iglovikov'un kişisel blogu)

2017'de yeni bir yolculuğa başlamak istiyorum

Ocak 2017'de TrueAccord için çalışıyordum Yarı zamanlı iş , Bu, merkezi San Francisco'da bulunan bir borç tahsilat platformu şirketidir. Benim işim, zaman serilerini ve tablo verilerini kullanarak geleneksel bir öneri sistemi oluşturmaktır. O zamanlar İnternet, en son teknolojileri, hatta insanları geçebilecek derin öğrenme modellerini açıklayan blog yazıları ve kağıtlarla dolmaya başladı. İlgim hızla bu heyecan verici yeni alana kaydı.

Derin öğrenme konusunda biraz bilgim olmasına rağmen, pratik deneyim çok sınırlıdır. Lisansüstü okuldayken, nadiren makine öğrenimi modellerini uygulama fırsatım oldu, ama neyse ki Kaggle'ı keşfettim, bu da derin öğrenme konusundaki mesleki bilgilerimi kullanmama izin verdi. Sonunda Kaggle Master unvanını kazandım ve "Ultrasonik Sinir Segmentasyonu" Yarışmasında altın madalya kazandım. Bu, Kaggle topluluğunun derin öğrenme mimarisi UNet'i yaygın olarak kullanması için ilk zorluktur ve aynı zamanda, segmentasyon görevlerinde bir kayıp işlevi olarak soft Dice'ı kullanmanın ilk zorluğudur.

2017'den önce Kagge, esas olarak tablo şeklinde veri yarışmaları düzenlemeye odaklandı. Kazanan çözümler genellikle xgboost ve diğer klasik makine öğrenimi algoritmalarının istiflenmesini içerir. Çok az derin öğrenme algoritması bu tür teknolojinin yerini alabilir.

2017'ye kadar her şey değişti. Derin öğrenme daha olgun hale geldi ve akademi dünyasından gerçek sektöre kaydı. Kaggle yarışmaları trendlere ayak uyduruyor ve görüntülemeyle ilgili yarışmalar da daha yaygın.

TrueAccord'daki işimi seviyorum, ancak derin öğrenmeyle ilgili bir pozisyon almayı tercih ederim. Bununla birlikte, beceri tabanım ve bilgi birikimim, o anda başarılı bir şekilde dönüşmem için yeterli değil:

Ben fizik bölümüyüm, bilgisayar bilimleri bölümü değil
Sadece bir yıllık iş tecrübem var
Özgeçmişimde makine öğrenimiyle ilgili belge yok
Çalışmam herhangi bir bilgisayarla görme projesi içermiyor
Derin öğrenmede çok sınırlı bilgiye sahibim

Temelde benim durumum işlerinin yönünü değiştirmek isteyen herkesten farklı değil. Bu nedenle, herkes gibi ikilemimle başa çıkmanın bir yolunu bulmalıydım. Yöntem basit: görüşmeye git. Başarılı olursa, başarısız olursa, anlamadığınız şeyler hakkında daha fazla bilgi edinin ve ardından önceki adımı tekrarlayın. Umut, sınırlı sayıda yinelemede başarılı olursanız, istenen konumu elde edecek kadar şanslı olacaksınız.

Bu süreçte derin öğrenme becerilerimi geliştirmeye devam ettim; makale ve blog yazıları okudum ve tabii ki derin öğrenme yarışmalarına katılmaya devam ettim.

Kaggle yarışmalarından deneme yanılma görüşmelerine

Mart 2017'de çabalarım meyvelerini vermeye başladı Arkadaşım Sergey Mushinsky ile birlikte gerçekleştirdiğim Dstl Uydu Görüntüsü Özelliği Tespit Yarışmasında 493'üncü sırayı kazandık ve ikisi toplam 20.000 USD para ödülü aldı. Bundan sonra, ikili görüntü bölümleme ve çokbantlı görüntülerdeki becerilerim yavaş yavaş yetkin hale geldi. İlgili makaleler ve kodlara bakılabilir:

Kağıt adresi:

https: // ar xi v.org/abs/ 1706 .06169

Bonusu ikinci bir GPU satın almak için kullandım ve sonra Keras'ın çoklu GPU ayarında iyi çalışmadığını fark ettim ve ardından bugün hala tercih ettiğim derin öğrenme çerçevesi olan PyTorch'a geçtim. Ancak başarı bir gecede olmadı, aynı zamanda, Descartes Labs ve diğer birkaç kişi ile yerinde mülakatı bitirdim. Çok çalışmam ve becerilerimi geliştirmem gerektiğini biliyorum.

O sırada bir noktada NVidia'dan da bir röportaj daveti aldım, ancak almadım. Sorun şu ki, 2B nesne algılayıcısının nasıl çalıştığına dair sınırlı anlayışım var. Neyse ki, DSTL, 2D algılamaya odaklanarak Aerial Image Challenge'daki araçların algılanması ve sınıflandırılması için "güvenli bir kanal" açtı. Kaggle hosting'i kullanmamaya, kendi kendine oluşturulmuş bir platform kullanmaya karar verdiler.

Yarışmanın önemli bir kuralı var: "Herkes katılabilir, ancak ödülü almak için bir pasaporta sahip olmanız ve birkaç ülkede veya bölgede yaşamanız gerekiyor." San Francisco'da yaşıyorum ve Amerika Birleşik Devletleri'nde vergi ödüyorum, ancak uyruğum Rus olduğu için , Bonus almaya uygun değil. Bu talihsiz gerçeği biliyorum ama bu yarışma hala nesne dedektörü için değerli pratik deneyimler sağlıyor ve sonunda çabalarımla yarışmada ikincilik kazandım.

Veri biliminin ilerlemesi büyük ölçüde kapsamlı uluslararası topluluk işbirliğine bağlıdır.DSTL kurallarının bu kavramlara aykırı olduğunu düşünerek FB ve Twitter hakkındaki görüşlerimi dile getirdim, ancak toz yatıştıkça onları da geride bıraktım. Başınızın arkasında ve kendi hayatınıza devam edin. Ama her nasılsa bu konu eski hikaye tarafından yeniden gündeme getirildi ve Rus haberleri tarafından seçildi. Kısa süre sonra, büyük Rus haber medyası ve TV kanallarının ana sayfalarında yüzümü gördüm.

İngiliz Savunma Teknolojisi Bilim Laboratuvarı, İngiliz Gizli İstihbarat Servisi için AI algoritma araçları geliştirdi ve bir Rus vatandaşı, uyruğu nedeniyle ödülü alamadı, bu güzel bir hikaye ve Rus medyası bunu çabucak keşfetti. Kameradaki röportajı kabul etmekten rahatsız olduğum için muhabirle konuşmayı reddettim. Ancak boşuna, profil resmimi arka plan ekranına koydular ve ardından ilgili konularda "uzmanları" fikirlerini ifade etmek için davet ettiler.

İlgili video

https: // www .Youtube .com /watch?v=M7wpH4xwBIQfeature=youtu.be

Hatta muhabir ailemle iletişime geçti - makine öğrenimi, yarışmalar ve tüm hikayeler hakkında hiçbir şey bilmiyorlardı. Annem onlara ebeveynlerin önemli bir faktör olduğunu söyledi, ancak okul öğretmenlerinin etkisini küçümsemek akıllıca değil. Bu yönelim işe yaradı ve muhabirler sorunu liseme taşıdı.

Rusya'nın en büyük teknoloji şirketlerinden Mail Ru Group, bu fırsatı halkla ilişkiler için kullanma kararı aldı ve bana yarışmanın ikincilik ödülüne denk olan 15.000 ABD doları vermeyi teklif ettiler. Bu fikri beğendim, ancak bunun adil olduğunu düşünmüyorum - Oyunun kurallarını biliyorum ve varsayılan olarak ödül için uygun olmadığıma katılıyorum.

Bununla birlikte, özgeçmişime bir ödül eklemekten de çok mutluyum: İngiliz Gizli İstihbarat Servisi tarafından yapay zeka algoritmalarının geliştirilmesi için verilen ödül. Daha iyi bir çözüm düşündüm: Teorik fiziği seviyorum ve bu konu için yeterli fon almanın zor olduğunu biliyorum, bu yüzden fonların temel bilimi destekleyen Rus vakfına aktarılmasını istedim.

Sonunda herkes mutlu. Mail Ru Group ve ben olumlu halkla ilişkiler etkileri elde ettik. Rus temel bilimi 15.000 ABD doları fon aldı. DSTL ayrıca makine öğrenimi yarışmalarının kuralları hakkında iki kez düşünme motivasyonuna sahip.

Bu hikaye Rus okurları uyandırdı Dikkat , Ancak birkaç gün sonra ortadan kayboldu. İngiliz medyasında, ilgili tek bir blog yazısı var, belki de bu en iyisidir.

Üç aylık iş arama, Tesla'yı geçerek hala başarısız

Yakında Mart'tan Haziran'a kadar bilgisayarla görme ile ilgili bir iş bulamadım.

Listemdeki bir sonraki şirket Tesla. Kaggle'daki sonuçlarımdan dolayı işe alan kişi benimle iletişime geçti, bu yaygın değil. Yazılı testi, teknik taramayı ve yerinde mülakatı geçtim Bir sonraki adım geçmiş kontrolüdür ve Elon Musk başvurumu onaylar. Ama bu adımı kaybettim İşveren bana bunun gizlilik sözleşmesini ihlal ettiğim ve bir forumda görüşme sürecini tartıştığım için olduğunu söyledi.

Bu doğru. Ods.ai'de bir kanalda Tesla ile tanıştığımdan bahsetmiştim, ancak mülakat sorularını paylaşmadım ama teorik olarak haklıydılar. Tesla'nın gizlilik anlaşmasının oldukça katı olduğunu hatırlıyorum. , Ve hatta röportaj süreci hakkında üst düzey tartışmaları bile yasaklayın.

Bu sefer reddedildim ve çok hayal kırıklığına uğradım, Andrei Karpathy ile çalışmak heyecan verici. Şimdi bile, birkaç yıl sonra, neden olduğum kötü durum için hala kendimi suçlu hissediyorum. Umarım ileride yaptıklarım için özür dileme fırsatım olur.

Sırada başka bir rekabet var: Gezegen: Amazon ormanı hakkında uzaydan bilgi edinmek için Kaggle yarışması. Bu soru çok basit, çok fazla zaman harcamaya değmez, sadece küçük bir veri kümesinin çok etiketli sınıflandırması. Sonuç olarak 6 kişiden oluşan bir ekip olarak bir hafta içinde 480 sınıflandırma ağını eğitip istifledim ve sonunda 938 takım arasında 7. sırada yer aldım.

Yarışmanın organizatörü Planet Labs adlı bir şirket. Derin öğrenme mühendisi pozisyonu için açık bir işe alımları var. Bir mülakata katılmak için sordum ve davet edildim. Sonuç başarısız oldu. Diğer taraf derinlemesine derin öğrenme bilgisine sahip olmadığımı bildirdi.

Ağustos ortasında, 7 aylık iş aramadan sonra, eskisi gibi daha az pozitif ve kendinden emin olmaya başladım. Lyftin röportajı için hazırlanmaya yeni başladım, ancak bu sefer diğerleri gibi başarısızlıkla sonuçlanacağını düşündüm.

7 ay sonra iş arama başarısız oldu, proaktif olarak saldırmak için yeni bir yöntem kullandım

Yatağın önüne oturdum, kederimi bir bardak brendi ile felç ettim ve aynı zamanda başka bir ret mektubu aldım:

Kısa bir süre önce bir Google çalışanı, Google Brain'de (ABD) araştırma bilimcisi olmanızı önerdi. Geçmişinizi ve deneyiminizi dikkatlice inceledikten sonra, başvurunuzu şimdilik işlemeye devam etmemeye karar verdik.

Hayal kırıklığına uğradım ama bir fikrim vardı. Her dezavantajlı durum, bazı özel eylemlerle çözülebilir. Reddedilenlerin çoğu özgeçmiş taraması aşamasındaydı ve sonuç olarak teknik becerilerimi gösterme fırsatım olmadı. Bu tür sorunları önlemek için özgeçmişime derin öğrenme yayınlama deneyimi eklemeye karar verdim.

MIT'de doktora sonrası araştırmacı olan Alexey Shvets ile iletişime geçtim ve önerilerde bulundum:

Bir yarışma içeren bir sonraki derin öğrenme konferansını bulun.
Modeller eğitin, sunumlar oluşturun ve adaylıklar alın (Bence insanlar bir sorunu araştırmak için yıllarını harcıyorlarsa, onlarla adil ve yasal olarak rekabet etmek çok zor).
Çözümümüzü açıklayan bu akademik veri seti için bir ön baskı veya makale yazın.

Yakın gelecekte uygun konferanslar aradık ve MICCAI'nin "Endoskop Görme Yarışması" adlı bir seminer ve bazı bilgisayarla görme yarışmaları da dahil olmak üzere üç hafta içinde yapılacağı gerçekleşti, son tarih 8 gün sonra.

İlk yarışma olan GIANA'yı seçtik. Bu sorunun üç alt zorluğu var Kalan 8 gecede Kaggle yarışmasında kullanılan sistemi ayarladım, kodu yeniden düzenledim ve yeni bir model eğittim. Alexey yöntem açıklaması raporunu yazdı.Listede görünebileceğimize kesinlikle inanıyoruz, bu yüzden bu konulara daha fazla zaman harcamadım. Sonrasında gönderilen içeriği organizatöre ileteceğiz ve rapor edeceğiz, sanırım bu bizim küçük maceramızın sonu. Durum böyle değil Alexey, bu seminerin ayrıca üç alt yarışmaya bölünmüş "Robot Enstrüman Segmentasyonu" adlı başka bir yarışma düzenlediğini ve son sürenin 4 gün sonra sona erdiğini gördü. Bana bu alt zorlukları denemek isteyip istemediğimi sordu.Kabul ettim 4 gece kendimi kapattıktan sonra kodu, modeli ve tahmini tamamladım.

Bu yarışmada bir uyarı var: bir ekip üyesi MICCAI konferansına şahsen katılmalı ve sonuçları göstermelidir. Nihai sonuç yalnızca konferansta açıklanacaktır. Olduğu gibi, Quebec'e ve hatta Kanada'ya hiç gitmedim, bu yüzden gitmekten çok mutluyum.

Seminer günü geldi Seminerde tıbbi görüntüleme konusunda tutkulu geniş bir uzmanlar topluluğuyla tanıştım. Birbirlerini tanıyor gibi görünüyorlar. Kimseyi tanımıyorum ve buzu kıramıyorum Derin öğrenme ve bilgisayarla görmeyi öğrenmeme rağmen, tıbbi görüntülemenin tüm detayları benim için hala yeni.

İlk yarışmanın gösterimi başladı.Farklı üniversitelerden takımlar kendi çözümlerini sundu.Mükemmellik seviyesini değerlendirmek zor, ama belli ki çok fazla enerji harcadılar. Benim sıramdı, kürsüye çıktım ve seyirciye bu alanda uzman olmadığımı söyledim, bu yarışma ile sadece derin öğrenme alıştırmaları ile uğraştım, vakitlerini boşa harcadığım için özür diledim ve iki slayt gösterdim.

Organizatör sonuçları açıkladı:

İlk alt zorluk - ilkini alıyoruz.

İkinci alt zorluk - üçüncü oluruz.

Üçüncü alt zorluk - ilkini alıyoruz.

Ve yarışmanın tüm sonuçlarında birincilik.

(Kaynak: Vladimir Iglovikov'un kişisel blogu)

Son teslim tarihinin 4 gün ertelendiği ikinci yarışmada farklı takımlar çözümlerini gösterdi ve birinci, ikinci, birinci, genel olarak ilk sonuçları aldık.

Bu anı hala hatırlıyorum, olay yerinde duruyordum ve organizatör çekler ve hediyeler hazırlıyordu. Alexey ve ben kazandık ve öne çıktık, ancak yardım edemem ama bu biraz saçma sonuçtan hayal kırıklığına uğradım. "Neden böyle? Tıbbi görüntüleme bilgisi olmayan adamlar her iki zorlukta da birinci oldu mu? Tıbbi görüntülemede çalışanlar tarafından kullanılan modeller çok daha kötü mü?"

Dinleyicilere sordum: "Nerede çalıştığımı biliyor musunuz?" LinkedIn'imi kontrol eden bir organizatör dışında kimse bilmiyor. Onlara TrueAccord için çalıştığımı ve iş yerinde derin öğrenme modelleri eğitmediğimi söyledim. Bu durumdan kurtulamayacağım için üzülüyorum, çünkü Google Brain ve Deepmindın insan kaynakları departmanı özgeçmişimi bile okumuyor.

Bu coşkulu konuşmadan sonra, seyircilerden Deepmind sağlık ekibinin bir üyesi orta sahada beni yakaladı ve ekibinin araştırma mühendisi pozisyonu için bir röportaja katılmakla ilgilenip ilgilenmeyeceğimi sordu.

Tarihte ilk kez bir borç tahsilat kurumundan birinin tıbbi görüntüleme yarışmasını kazandığına inanıyorum.

8 ay sonra müjde geldi

Kısa süre sonra şu anda çalıştığım Lyft firmasının teklifini kabul ettim.Katılmadan önce Kaggle'nin Carvana Image Masking yarışmasına da katıldım.GIANA'daki yöntem beni listenin en alt% 20'sinde asılı bıraktı. Yeni fikirler ortaya çıkmaya devam etti ve sonunda Vladimir Iglovikov, Alexander Buslaev ve Artem Sanakoyeu'dan oluşan ekip bunu aldı 73 5 takımın en iyi isimleri, kodları ve blog yazıları buradan görüntülenebilir.

https: // aracı .com / kaggle-blog / carvana-image-maskeleme-meydan okuma-1. sıra kazananlar-röportaj-78fcc5c887a8

Bu yarışma, toplulukların UNet tipi mimarilerde eğitim öncesi editörleri kullanmaya başladığı ilk büyük yarışmaydı. Artık norm haline geldi. Aralarından seçim yapabileceğiniz pek çok mükemmel kitaplık var. Çeşitli önceden eğitilmiş kodlayıcılar kullanın. Farklı segmentasyon ağları. Ama o zamanlar fikir hala nispeten yeniydi.Bu yarışmada Alexey ve ben TernausNet'i önerdik, ancak bunu sadece eğlence için yazdık, ama şaşırtıcı bir şekilde en çok alıntı yapılan çalışmamdı.

sonuç olarak

Sekiz ay içinde ilgi alanımda mükemmel bir iş buldum ve bu süre zarfında çok sancılı geçti. Yeni şeyler denediğinizde hatalar yapacaksınız, her başarısız olduğunuzda kendinizi aptal hissedecek ve zaman zaman kendinize olan güveninizi kaybedeceksiniz. Ama unutmayın, yeni bilgiler öğreniyorsunuz ve attığınız her adım sizi hedeflerinize yaklaştıracak.

Geçtiğimiz birkaç yılda, Google Akademik profilime bazı derin öğrenme belgeleri ekledim.