Tanrı, tanrıça fotoğrafını düzeltir! GAN bir asırlık fotoğrafları renklendiriyor
Eski fotoğrafların rengini değiştirmek için tek tıkla.
Tanrıçanın siyah beyaz fotoğrafları nasıl renkli fotoğraflara dönüştürülür? Bugünün editörü, Singapur'un GovTech Veri Bilimi ve Yapay Zeka Departmanının, bir asırlık eski fotoğrafları boyamak için Medium'da bir proje başlattığını buldu.
Bu proje Colourise.sg olarak adlandırılıyor ve başlangıçta ekip tarafından hackthon'a katıldıklarında (kantitatif analist Andrew Tan, yazılım mühendisi Preston Lim ve veri bilimcisi Tan Kai Wei dahil) yapılan bir derin öğrenme boyama aracıydı. Herhangi bir siyah beyaz fotoğrafı kendiniz renklendirmeye çalışmak için aşağıdaki proje adresine tıklayın.
Proje adresi: https://colourise.sg/#colorize
Uygulama sayfası
Spesifik etki nedir? Editör, Marilyn Monroe'nun klasik fotoğraflarını aradı ve denedi ve sonuçlar inanılmazdı.
Aşağıda, Colourise.sg galerisinde bulunan bir karşılaştırma tablosu verilmiştir.
Yazar, projenin asıl amacına göre renklendirmeden önce ve sonra eski Singapur fotoğraflarının bir karşılaştırma tablosunu yaptı.
Orijinal siyah beyaz fotoğraf (solda) ve Colourise.sg tarafından üretilen renkli fotoğraf (sağda). Fotoğraf, 1890'dan 1920'ye kadar çekilmiş "Singapur Çinli Kız Okulu". Frank ve Frances Carpenter Koleksiyonu Koleksiyonu, Kongre Kütüphanesi.
Karşılaştırma tablosuna baktıktan sonra, bazı fotoğrafların harika olduğunu, ancak bazı fotoğrafların iyi olmadığını gördük. Yazar, bu renk eşleştirme aracının öneminin makul renklere sahip fotoğraflar oluşturmak olduğunu belirtti. Oluşturulan renkli fotoğrafların o anda gerçek renkler olduğunu garanti etmez. Ayrıca proje araştırma alanının sadece bir köşesidir ve modeli mükemmel değildir. Bazı fotoğraflarda iyi performans gösterirken bazılarında olmayabilir.
Peki bu renklendirme aracı nasıl çalışıyor? Performansı neden kararsız? Aşağıdaki, yazar tarafından Medium'da yazılan teknik bir yorumdur:
Bu teknolojiyi daha önce yapan oldu mu?
Var ya da yok denilebilir.
Birisi daha önce boyama araçları yapmıştı, ancak bu araçlar özellikle Singapur'un tarihi geçmişine yönelik değil.
Sorabilirsin, ne önemi var? Algorithmia tarafından oluşturulan renkli görüntüyü örnek alalım, Algorithmia ile oluşturulan görüntünün renk yoğunluğu ve güvenilirliği yeterince yüksek değil.
Algorithmia tarafından oluşturulan orijinal görüntü (sol) ve renkli görüntü (sağda)
Eski Singapur fotoğraflarının zayıf renklendirme etkisindeki önemli bir faktör, Singapur'un siyah beyaz fotoğrafları ile eğitim seti arasındaki büyük fark olabilir. Algorithmia tarafından kullanılan model, ImageNet'ten 1,3 milyon görüntü üzerinde eğitildi. ImageNet, Stanford Üniversitesi ve Princeton Üniversitesi'nden araştırmacılar tarafından oluşturulmuştur ve Singapur ile ilgili resimler içermeyebilir. Başka bir deyişle, model eski Singapur kampüsünün gerçek renklerini öğrenemeyebilir.
Araştırmacılar, eski Singapur fotoğrafları üzerinde eğitilen araçların, mevcut araçlardan daha gerçekçi renkli eski Singapur fotoğrafları oluşturabileceğine inanıyor.
Eski siyah beyaz fotoğraflar nasıl renklendirilir
Bilgisayar programlarının nasıl renklendirebileceğini açıklamadan önce, insanların görüntüleri nasıl renklendirebileceğine bir göz atalım.
Boyama çok zaman alan ve çok yetenekli bir iştir. Renk koordineli bir fotoğraf oluşturmak için insan renk uzmanının iki görevi tamamlaması gerekir:
Uygun rengi çıkarmak için fotoğrafın tarihi, coğrafyası ve kültürel arka planı hakkında derinlemesine araştırma;
Siyah beyaz görüntüleri renklendirmek için Photoshop gibi yazılım araçlarını kullanın.
Benzer şekilde, bilgisayar programlarının da iki görevi tamamlaması gerekir:
Hedefi siyah beyaz fotoğraflarla belirleyin ve daha önce görülen fotoğraflardan hedefe uygun rengi belirleyin;
Siyah beyaz renkli fotoğraflar
Renklendirme için üretimsel düşmanlık ağları kullanın
Siyah beyaz fotoğrafları renklendirmek için, derin öğrenmede bilinen üretken karşıt ağ teknolojisini kullanıyoruz. Dahil etmek:
İlk olarak, görüntüdeki özelliklere bağlı olarak farklı piksellerin siyah ve beyaz fotoğraflarının piksel değerlerini tahmin etmek için çok sayıda matematiksel parametreye (> 20 milyon) sahip bir "oluşturucu" kullanın;
İkinci olarak, oluşturulan fotoğrafın renginin orijinal renkli görüntüye kıyasla gerçekçi olup olmadığını belirlemek için "ayırıcı" kullanın.
Modeli, ayırıcı jeneratör tarafından üretilen fotoğrafların gerçek olup olmadığını ayırt edemeyene kadar eğitin. Eğitim modelinin mimarisinin basitleştirilmiş bir görünümü aşağıdaki gibidir:
Renklendirme için basitleştirilmiş GAN mimarisi
Modeli geliştirmek için popüler fast.ai ve PyTorch kitaplıklarını kullanıyoruz ve mimarisi ve eğitim adımları Jason Antic'ten ilham alıyor. Singapur'un 500.000'den fazla eski fotoğrafından oluşan bir veri kümesi üzerinde eğitim aldık ve bu fotoğrafları NVIDIA V100 GPU'larla donatılmış yerel bir GPU kümesi kullanarak derledik.
Modeli iyileştirmek için Google Open Image V4'ten bazı fotoğraflar eklemek de dahil olmak üzere başka önlemler de aldık (bu, model tarafından tanınması zor olan eller, bacaklar ve kollar gibi modelin iyi yapmadığı vücut kısımları içindir), Daha iyi sonuçlar elde etmek için öğrenme oranını ve parti boyutunu değiştirin.
Derin öğrenme modelimizi web tarafı uygulaması olarak dağıtın
Şimdiye kadar, derin öğrenme modelimiz ofisin yerel ucundaki GPU kümesinde bulunuyor, bu da renklendirici modelini yalnızca ekibimizin kullanabileceği anlamına geliyor. Başkalarının renklendiriciyi kullanması için, bu modeli ağ üzerinde konuşlandırmalıyız.
Renklendirici bulut hizmeti sağlayıcısı olarak Google Cloud kullanıyoruz ve mimarisi çok basit:
(1) CDN, DDos koruması sağlar ve statik içeriği önbelleğe alır,
(2) NGINX ön uç proxy ve statik içerik sunucusu,
(3) Yük dengeleyici trafik dağıtımından sorumludur,
(4) Gerçek renklendirme işlemlerinde renklendirme hizmetini desteklemek için Nvidia Tesla K80 GPU'yu kullanın.
Colourise.sg mimari diyagramı
Renklendirme işlemi hesaplama açısından yoğun bir görevdir ve bir resmi tamamlamak yaklaşık 3 saniye sürer. Bu şekilde, istekleri arka uca yönlendirmek için NGINX sunucusunu kullanmayı ve böylece arka uç renklendirme sunucusunu engellemeyi amaçlıyoruz. İçe aktarma isteme hızı, arka uç sunucusunun işletim kapasitesini çok aşarsa, NGINX sunucusu, doğrudan istemciye durum yanıtını döndürerek kullanıcıdan tekrar denemesini ister.
Bu mimarinin kilit noktası, renklendirme hizmeti sanal makinesinin her sanal makinenin sağlaması gereken trafiği otomatik olarak ayarlayabilmesidir. Bu maliyetten tasarruf sağlayabilir ve diğer sanal makineler yalnızca ihtiyaç duyulduğunda açılır.
sonuç
Aşağıdakiler oluşturulmuş en sevdiğimiz sonuçlardan bazılarıdır: Kullanılan eğitim fotoğrafları New York Halk Kütüphanesi ve Singapur Ulusal Arşivleri'nden alınmıştır. Bu orijinal fotoğraflar siyah beyaz fotoğraflardır ve oluşturduğumuz renkli fotoğraflar üzerinde hiçbir etkisi yoktur.
Daha iyi sonuçlar
Model, insan öznesini (insanlar fotoğrafların büyük bir kısmını oluşturuyor) ve doğal manzarayı vurgulayan yüksek çözünürlüklü fotoğraflarda iyi performans gösteriyor.
Aşağıdaki fotoğraflar gerçek görünüyor (en azından bize) çünkü görüntü veri setinde iyi eğitilmiş bazı hedefler içeriyorlar. Bu nedenle model, görüntüdeki doğru nesneleri belirleyebilir ve bunları doğru şekilde renklendirebilir.
"Padang'da Malezya Gününü Kutlayın" - 16 Eylül 1963'te yapıldı. Resimde Yang Di-Pertuan Negara Yusof Ishak ve Federal İç Güvenlik Şefi İsmail bin Dato Abdul Rahman Datuk görülüyor. Singapur Ulusal Arşivleri koleksiyonundan fotoğraflar (solda) ve Colourise.sg (sağda) ile renklendirilmiş fotoğraflar.
"İçişleri ve Savunma Bakanı Lin Jinshan, 10 Temmuz 1969'da Jurong'daki Barrabat Kışlasında düzenlenen subay ve stajyerlerin askeri geçit töreninde bir konuşma yaptı". Singapur Ulusal Arşivleri koleksiyonundan fotoğraflar (solda) ve Colourise.sg (sağda) ile renklendirilmiş fotoğraflar.
"Singapur, eğlence koridorlarında giden arabalar." New York Halk Kütüphanesi'nden. Soldaki orijinal fotoğraf, sağdaki ise işlenmiş fotoğraf.
New York Halk Kütüphanesi'nden "Singapur". Soldaki orijinal fotoğraf, sağdaki ise işlenmiş fotoğraf.
Anekdot
Model fotoğraftaki hedefi belirleyemediğinde ilginç bir şey olur.
Örneğin, aşağıdaki resim - "Singapur'da Japon Teslimiyeti". Renk eşleştirme aracı bir askerin yumruğunu kırmızıya çevirir, ancak diğer askerlerin yumrukları doğru renge sahiptir. Bunun nedeni, fotoğraf açısından bakıldığında, modelin sıkılan yumruğun gerçek bir yumruk olduğundan emin olamamasıdır. Yani daha iyi bir tahmin yaptı, ancak doğru tahmin etmedi.
12 Aralık 1945'te çekilen "Singapur'da Japon Teslimiyeti". Fotoğrafçı, Kraliyet Donanması'nın resmi fotoğrafçısı Trusler C. İmparatorluk Savaş Müzesi'nin orijinal fotoğrafı (solda), Colourise.sg'den sonraki fotoğraf (sağda).
Aşağıdaki fotoğrafta da durum böyledir. Resimde "Maliye Bakanı Dr. Goh Keng Swee, Telok Blangah'daki Bata Ayakkabı Fabrikası'nın açılış yerine geldi." Fotoğrafta en sağdaki kişinin yüzü korkunç bir griye boyanmıştı çünkü yüzünün yarısı kapalıydı, bu yüzden model hedefi tanıyamadı.
Bu fenomen "tıkanma" olarak adlandırılır ve bilgisayarla görmenin temel zorluklarından biridir. Bu durumda, hedef tanıma algoritması kısmen tıkanmış bir hedefi tanıyamaz.
9 Nisan 1964'te çekilen "Maliye Bakanı Dr. Goh Keng Swee, Telok Blangah'daki Bata Ayakkabı Fabrikası'nın açılış yerine geldi". Singapur Ulusal Arşivlerinden orijinal fotoğraf (solda) ve Colourise.sg'ye ait renkli fotoğraf (sağda).
Daha fazla fotoğraf
Aşağıda daha iyi sonuçlara sahip daha fazla fotoğraf bulunmaktadır.
"Singapur, Malezyalı kız", çekim tarihi bilinmiyor. New York Halk Kütüphanesi'nden. Soldaki orijinal fotoğraf, sağdaki ise işlenmiş fotoğraf.
"Singapur", çekim tarihi bilinmiyor. New York Halk Kütüphanesi'nden. Soldaki orijinal fotoğraf, sağdaki ise işlenmiş fotoğraf.
"Singapur'da, inekler hindistan cevizi kabuğu yığınları arasında otluyor." New York Halk Kütüphanesi'nden. Soldaki orijinal fotoğraf, sağdaki ise işlenmiş fotoğraf.
"Singapur Jiksha İstasyonu". New York Halk Kütüphanesi'nden. Soldaki orijinal fotoğraf, sağdaki ise işlenmiş fotoğraf.
Twitter netizenleri, büyükanne ve büyükbabaların siyah beyaz düğün fotoğraflarını yayınladı
Web sitesi yayınlandıktan sonra, çok sayıda Twitter netizeninin yeniden yayınlamasına neden oldu.Çeşitli kanallardan uzun süredir kamuoyunun gözünden kaybolan bazı eski fotoğraflar buldular ve bazıları büyükanne ve büyükbabalarının eski fotoğraflarıydı. Renklendirdikten sonra bu fotoğraflardaki insanlar yeniden yaşıyor gibi görünüyor.
1880'den kalma eski bir Tonga (Pasifik adası ülkesi) fotoğrafını renklendirmek için Colourise.sg kullanın.
Netizenler, Colourise.sg kullanımının siyah beyaz fotoğrafları saniyeler içinde renkli fotoğraflara dönüştürebileceğini söyledi.
Netizenler, büyükanne ve büyükbabalarının düğün fotoğraflarını renklendirmek için Colourise.sg'yi kullanıyor ve "Çok harika" diye bağırıyor
Netizenler, eski manzara fotoğraflarını şaşırtıcı sonuçlarla renklendirmek için colourise.sg teknolojisini kullanıyor. Doğrudan arama: Alın!
