Özel Pekiştirmeli öğrenmenin ticari uygulamaları hakkında bir makale 2
Yazar: Aishwarya Srinivasan, Derin Öğrenme Araştırmacısı
Çeviri: Zhao Xueyao
Sağ: Ding Nanya
Bu makale hakkında 4000 kelime , Okumanız tavsiye edilir 10 dakika.
Bu makale ticarette pekiştirmeli öğrenmenin uygulamasını tanıtmaktadır.
Önceki makalede, pekiştirmeli öğrenmeyi hesaplamalı ve matematiksel bir bakış açısıyla anlamanın yanı sıra işimizde algoritmaları kullanırken karşılaştığımız zorlukları anlamaya odaklandım.
Bu yazıda, ticarette pekiştirmeli öğrenmenin uygulamasını inceleyeceğim. Finans sektörü, yapay zeka ve makine öğreniminin uygulanmasını araştırıyor, ancak finansal riskler insanları bunu yapmakta isteksiz kılıyor. Son yıllarda, geleneksel algoritmik ticaret geliştirildi.Günümüzde, yüksek hesaplama sistemlerinin otomatik görevleri vardır, ancak tüccarlar hala ticaret kararları vermekten sorumludur. Bir hisse senedi satın alma algoritması modeli, daha sonra tüccarlar tarafından tanımlanan belirli belirli kurallar tarafından tetiklenen bir değerleme ve büyüme göstergeleri listesine dayalı bir "al" veya "sat" sinyali tanımlayabilir.
Örneğin, bu algoritma basit olabilir. Piyasanın kapanışında S&P endeksinin son 30 günün en yüksek seviyesinden daha yüksek olduğunu gözlemlediğiniz sürece satın alın veya endeks son 30 günün en düşük seviyesinden düşükse pozisyonu kapatın. Bu kurallar trend izleme, ters trend veya doğal tabanlı modeller olabilir. Farklı teknik analistler kaçınılmaz olarak farklı model tanımlarına ve onay koşullarına sahip olacaktır.
Bu yöntemi sistematik hale getirmek için, yatırımcıların bir baş ve omuz modelinin oluşup oluşmadığını net bir şekilde belirlemek için kesin matematiksel koşullar belirtmeleri gerekir. Tersine dönüş formasyonlarından biri. Baş ve omuz formasyonu, tipik bir trend tersine dönüş formasyonudur. Yükselen piyasanın sonunda düşüş formasyonudur. Grafik sol omuz, baş, sağ omuz ve boyun çizgisinden oluşur.) Ve doğrulamayı onaylar. Modelin kesin koşulları.
Mevcut finans piyasasında gelişmiş makine öğrenimi alanında, Ekim 2017'de açıklanan AI tabanlı Borsa Yatırım Fonları ETF'lerine bir göz atabiliriz. EquBot bu ETF'leri otomatikleştirerek binlerce ABD şirketinden piyasa bilgilerini, 1 milyondan fazla piyasa sinyalini, üç aylık haber makalelerini ve sosyal medya gönderilerini toplar.
Belirli bir ETF, yüksek piyasa takdir fırsatlarına sahip 30 ila 70 şirket seçebilir ve her işlemden öğrenmeye devam edecektir. Bir başka tanınmış piyasa katılımcısı olan Horizons, tüccar stratejisi de dahil olmak üzere denetimli makine öğrenimi teknolojisi kullanılarak geliştirilen benzer bir Active AI Global ETF'yi (Active AI Global ETF) başlattı. Denetimli öğrenme yöntemlerini kullanan insan tüccarlar, eşikleri seçmeye, gecikmeleri açıklamaya, ücretleri tahmin etmeye ve daha pek çok şeye yardımcı olur.
Şekil 1: Denetimli öğrenme teknolojisini kullanan ticaret akış şeması (Çevirmenin Notu: kağıt ticareti, yani simüle edilmiş bir hesapta ticaret.)
Tabii ki, eğer tamamen otomatik hale getirilecekse, yapay zekaya dayalı ticaret modelleri fiyatları tahmin etmekten daha fazlasını yapmalıdır. Hisse senedi fiyatlarını girdi olarak alan ve daha sonra alıp almayacağına, satacağına veya elinde tutacağına karar veren kurala dayalı bir strateji gerektirir.
Morgan Stanley, Haziran 2018'de Pennsylvania Üniversitesi'nde bilgisayar bilimcisi olan Michael Kearns'i yapay zeka uygulamasını genişletmek için CEO olarak atadı. Bloomberg ile yaptığı bir röportajda Dr. Carnes, "standart makine öğrenimi modelleri fiyatları öngörse de, harekete geçmek için en iyi zamanı, işlemin en iyi boyutunu veya işlemin pazardaki etkisini belirtmiyorlar." Dedi. Deyin ki: "Takviyeli öğrenme yoluyla, eylemlerinizin piyasa koşulları üzerindeki etkisini nasıl tahmin edeceğinizi öğreniyorsunuz."
Güçlendirmeli öğrenme, uçtan uca optimizasyona ve getirileri en üst düzeye çıkarmaya olanak tanır. En önemlisi, pekiştirmeli öğrenme modelinin kendisi, parametreleri optimum sonuca yaklaştırmak için ayarlar. Örneğin, düşüş% 30'u aştığında, modeli başka bir strateji düşünmeye zorlayan çok büyük bir negatif getiri üretileceğini hayal edebiliriz. Kritik durumlarda tepkiyi iyileştirmek için simülasyonlar da oluşturabiliriz. Örneğin, model için olumsuz teşvikler oluşturmak için pekiştirmeli öğrenme ortamında gecikmeyi simüle edebiliriz. Bu olumsuz dönüş, modeli gecikmeler için geçici çözümler öğrenmeye zorlar. Benzer bir strateji, modelin zaman içinde otomatik olarak ayarlanmasını sağlayarak modeli sürekli olarak daha güçlü ve daha uyarlanabilir hale getirir.
IBM'de, mali işlemleri yürütmek için pekiştirmeli öğrenmenin gücünü kullanmak için DSX platformunda (IBM Data Science Experience (DSX)) karmaşık bir sistem oluşturduk. Model, her adımda rastgele bir strateji benimseyerek eğitmek için geçmiş hisse senedi fiyat verilerini kullanır ve her işlemin kar ve zararına göre getiri işlevini hesaplar.
"IBM Data Science Experience Platform (DSX), ekibe her türlü beceri ihtiyacını karşılamak için en geniş açık kaynak ve veri bilimi araçları yelpazesini, çoklu bulut ortamında herhangi bir yerde oluşturma ve devreye alma esnekliği sağlayan bir kurumsal veri bilimi platformudur ve Veri bilimi sonuçlarını daha hızlı işleme yeteneği. "
Aşağıdaki şekil, takviye öğrenme yöntemlerinin mali işlemlerle birlikte uygulandığı bir kullanım durumunu göstermektedir.
Gelişmiş ticaret modelinin performansını ölçmek için alfa göstergesini (pozitif yatırım getirisi, ROI) kullanırız ve yatırımın performansını piyasanın genel eğilimini temsil eden piyasa endeksine göre değerlendiririz. Son olarak, model değerlendirme ve karşılaştırması için basit bir satın al ve tut strateji modeli ve ARIMA-GARCH strateji modeli kullanıyoruz. Modelin pazar eğilimlerine göre çok ince ayarlandığını ve hatta baş ve omuz modelini yakalayabildiğini gördük. Bunlar, piyasanın tersine döndüğünü gösterebilecek önemli eğilimlerdir.
Takviye öğrenme tüm iş senaryolarına uygulanamayabilir, ancak finansal işlemlerin inceliklerini yakalama yeteneği kesinlikle karmaşıklığını, gücünü ve daha büyük potansiyelini gösterecektir.
Lütfen daha fazla iş senaryosunda pekiştirmeli öğrenmeyi test etme yeteneğimize dikkat etmeye devam edin!
Baidu Ansiklopedisi:
https://baike.baidu.com/item/%E5%A4%B4%E8%82%A9%E9%A1%B6
https://www.avatrade.cn/education/trading-for-beginners/paper-trading.html
Orijinal başlık: Reinforcement Learning: The Business Use Case, Part 2 Orijinal bağlantı: https://www.kdnuggets.com/2018/08/reinforcement-learning-business-use-case-part-2.htmlÇevirmen Profili
Pekin Posta ve Telekomünikasyon Üniversitesi'nin üçüncü yüksek lisans okulunda çalışan Zhao Xueyao, JD'de stajyer algoritma mühendisidir. Şu anda takviye öğrenme reklam teklif modellerini araştırmaktadır. Veri ve algoritmaların işletmelerin gelişimini güçlendireceğine inanıyorum ve benzer düşünen arkadaşlarla en yeni haberleri takip etmeyi ve algoritmaların sınırlarını derinlemesine keşfetmeyi umuyorum. Metafizik ayarlama yolunda, sonuna kadar acele ediyor.
- Bitiş -Tsinghua-Qingdao Veri Bilimi Enstitüsü'nün resmi WeChat kamu platformunu takip edin " THU Veri Pastası "Ve kız kardeş numarası" Veri Pastası THU "Daha fazla ders avantajı ve kaliteli içerik elde edin.
