Yazar
Ergün, Zehra Erva
Basım Tarihi
2024-08-30T15:34:48Z
Konu
Finans, Matematiksel modeller, Yapay zeka, Finansal uygulamalar, Risk değerlendirmesi, Duyarlılık analizi, Veri madenciliği, Derin öğrenme (Makine öğrenimi), Makine öğrenimi
Tür
Belge
Dil
İngilizce
Dijital
Evet
Yazma
Hayır
Kütüphane
Özyeğin Üniversitesi
Kayıt Numarası
2fe5668c-765f-4113-95e9-bd4fce458bac
Lokasyon
Bilgisayar Bilimleri Bölümü
Tarih
2024-08-30T15:34:48Z
Örnek Metin
Finansal metin madenciliği görevlerine artan bir ilgi var. Finansal duyarlılık analizi gibi finansal metin madenciliği görevlerinde de makul sonuçlar gösteren genel derlem üzerinde derin öğrenmeye dayalı modeller kullanılarak önemli ilerleme kaydedildi. Ancak finansal alana ilişkin etiketlenmiş verilerin ve bu alanın özel dilinin yetersizliği nedeniyle finansal duyarlılık analizi halen zorlu bir çalışmadır. Genel amaçlı derin öğrenme yöntemleri, esas olarak finansal bağlamda kullanılan özel dil nedeniyle o kadar etkili değildir. Bu çalışmada, NLP transfer öğrenimi yoluyla mevcut önceden eğitilmiş dil modellerini geliştirerek finansal metin madenciliği görevlerinin performansını artırmaya odaklanıyoruz. Önceden eğitilmiş dil modelleri az miktarda etiketli örnek gerektirir ve bunun yerine alana özgü derlemler üzerinde eğitilerek daha büyük ölçüde geliştirilebilirler. BERT, XLNet, RoBERTa gibi yakın zamanda önerilen önceden eğitilmiş modellerin geliştirilmiş versiyonlarını içeren, bu modelleri finansal alan bütünü üzerinde eğiterek finansal alandaki NLP görevlerinde daha iyi performans gösteren gelişmiş bir FinSentiment modeli öneriyoruz. FinSentiment'teki ilgili finansa özgü modellere sırasıyla Fin-BERT, Fin-XLNet ve Fin-RoBERTa adı veriliyor. Ayrıca bu modellerin finansal alan ve genel korpora üzerinde ortaklaşa eğitilmiş varyantlarını da öneriyoruz. Finansa özel FinSentiment modellerimiz, bu modellerin yalnızca bir alt parçası daha küçük bir eğitim seti ile ince ayarlandığında bile, genel olarak 3 finansal duyarlılık analizi veri kümesinde en iyi performansı gösterir. Sonuçlarımız, bu veri kümeleri için mevcut sonuçlar üzerinde test edilen her performans kriteri için iyileştirme göstermektedir. Kapsamlı deneysel sonuçlar, özellikle finansal kurumlar üzerinde önceden eğitilmiş RoBERTa'nın etkinliğini ve sağlamlığını göstermektedir. Genel olarak, NLP transfer öğrenme tekniklerinin finansal duyarlılık analizi görevlerine olumlu çözümler olduğunu gösteriyoruz. Finansal risk, varlığın beklenen getirisinden sapma derecesi olan varlık getirisi oynaklığı açısından ampirik olarak ölçülür. Finansta risk yönetimi kapsamında varlık volatilitesinin tahmin edilmesi, yatırım kararlarının alınmasındaki önemli rolü nedeniyle en önemli sorunlardan biridir. Her ne kadar daha önceki birçok çalışma, volatilite tahminlerinin kalitesinin artırılmasında doğal dil bilgisinin rolünü araştırmış olsa da, volatilite tahmini, güncel derin öğrenme teknikleri yoluyla hala geliştirilebilmektedir. Spesifik olarak, BERT gibi transfer öğrenme yaklaşımları yoluyla finansal bilginin metinden çıkarılması risk tahmininde kullanılmamıştır. Burada, hem geniş bir dizi finansal özelliği hem de finansal duyarlılığı aynı anda dikkate alarak varlık oynaklığını tahmin etmek için ilk BERT tabanlı transfer öğrenme yöntemi olan RiskBERT'i ortaya çıkarıyoruz. Dil veri seti açısından, modelimizi eğitmek için halka açık şirketlerin yıllık 10-K başvurularından alınan transkriptleri kullanıyoruz. Önerilen modelimiz RiskBERT, sözel bağlamı modellemek için dikkat mekanizmasını kullanıyor ve tarihsel oynaklık gibi en son teknolojiye sahip yöntemlerden ve temel çizgilerden önemli ölçüde daha iyi performans gösteriyor. RiskBERT'in daha küçük bir eğitim seti ile ince ayarı yapıldığında bile bu tür bir üstün performans gözlemliyoruz. 2002 Sarbanes-Oxley Yasası'nın yürürlüğe girmesinden sonra, bu tür mevzuatın yıllık raporları daha etkili hale getirmesi nedeniyle RiskBERT'in risk tahmininde daha etkili olduğunu gördük. Genel olarak, NLP transfer öğrenme tekniklerinin finansal risk tahmini görevine olumlu çözümler olduğunu gösteriyoruz. Önceden eğitilmiş modellerimiz ve kaynak kodu, inceleme tamamlandıktan sonra kamuya açık olacaktır., Son zamanlarda, finansal metin yapımına ilgide artış bulunmaktadır. Derinlemesine dayalı modellerle genel korpuslarda yapılan geniş kapsamlı yol katedildi ki bu modellerle finansal metin madenciliği işi olan finansal duygu analizinde de mantıklı sonuçlar elde edildi. Ancak finansal duygu analizi, finans alanında etiketlenmiş veri eksiliğinden ve özelleşmiş bir çalışmaya bağlı olarak hala zahmetli bir iştir. Finans kapsamındaki bu özelleşmiş dilden dolayı genel amaçlı derin öğrenme yöntemleri çok verimli çalışmıyor. Bu kapsamlı, düzenli bulunan dil modellerini transfer öğrenmesi ile geliştirerek finansal metin madenciliği problemlerindeki performansı geliştirmeye odaklandık. ¨ Bir kez sınıflandırılmış dil modelleri daha az miktarda etiketlenmiş veri tipi talep eder ve alana özel bir korpora ile eğitildiğinde daha büyük çapta çoğaltılabilir performansa sahip olur. Biz, son dönemlerde üzerinde çalışılmış olan BERT, XLNet ve RoBERTa modellerini içeren, iyileştirilmiş bir model olan FinSentiment'i sunuyoruz. Bu modeller doğal dil işleme problemlerinde daha iyi bir performans göstermeleri için finans alanında bir korpora ile sınıflandırıldılar. Sırasıyla finans alanı özelinde sınıflandırılmış FinSentiment modelleri: FinBERT, Fin-XLNet ve Fin-RoBERTa. Bu FinSentiment modelleri genel olarak 3 finansal duygu analizi verisetlerinde en iyi performansı göstermişler ki bu modellerin bir parçası küçük bir set ile öğrenilmişti. Test edilen paketler için temel performans performans kriterlerine göre olan sonuçlarda iyileşme gözlemlendi. Daha detaylı sonuçlarda ise özellikle finans korporası ile sahiplerimiş RoBERTa modelinin çeşitliliği gösterildi. Nihayetinde transfer öğrenme teknikleri duygu analizlerinde uygun çözümlerin sunulduğunu göstermiş olduk. Finansal risk ampirik olarak, varlıkların getirileri volatilitesi üzerinden kayıtlıdır. Varlık getirisi değişkenliği, varlığının beklenen getirisinden ne kadar sapmanın devam ettiği bir ölçütüdür. Finans'ta risk yönetimi altında, yatırım kararının güçlenmesinin önemine binaen varlığın değişkenliği tahmin ve mühim sorunlardan biridir. Doğal dil işleme yöntemlerini kullanarak volatilite tahminlemesinde verimliya yönelik birçok çalışmaya devam etmesine rağmen, derin öğrenme teknikleriyle volatilite tahminlemesi daha da iyileştirilebilir. Özellikle risk tahminlemesinde BERT gibi transfer öğrenmesi tedavisini kullanarak metinlerden finansal anlamda faydalanılarak kullanılmamıştır. C， alışmamızda öncelikle, BERT'e dayalı transfer öğrenmesi yöntemi ile varlıkların volatilitesi tahminini yapan RiskBERT'i sunuyoruz. Dil veriseti olarak modelimizi eğitirken halka açık raporlama yıllık yayınlanan 10-K belgelerii kullanıldık. RiskBERT modeli, kurallara dayalı bağlama modelleri sırasında bir "dikkat oranları" kullanılabilir ve modern oranlar ile dayanak noktası olan geçmiş volatilite ayrıntılarına göre izlenen değer bir performans gösterilmiştir. Bu dikkate alınan değer performansı, çok küçük bir veri setiyle gösterilerek gösterilmiştir. özellikle 2002 yılında Sarbanes-Oxley yasa rapor raporlarının daha etkili bir şekilde yazılması zorunlu tutulduğunda, RiskBERT bu yasanın ardından daha iyi bir performans sergiledi. Özetle, risk tahminlemesinde transfer öğrenme teknikleri olumlu sonuçlar verir.
