Yazar
Soylu, Necla Nisa
Basım Tarihi
2024
Konu
Yapay zeka, Derin öğrenme (Makine öğrenmesi), Makine öğrenmesi, Doğal dil işleme (Bilgisayar bilimi)
Tür
Belge
Dil
İngilizce
Dijital
Evet
Yazma
Hayır
Kütüphane
Özyeğin Üniversitesi
Kayıt Numarası
60a99c1e-1a8f-418d-ac91-c25a4e4b92c2
Lokasyon
Yapay Zeka Bölümü
Tarih
2024
Örnek Metin
Dil modelleri üzerine yapılan son çalışmalar, çeşitli dil görevlerinde en son teknoloji performansıyla sonuçlandı. Bunlar arasında Transformers'tan Çift Yönlü Kodlayıcı Gösterimleri (BERT), kelimelerin bağlamını ve anlambilimini çıkarmak için kelime yerleştirmelerini bağlamsallaştırmaya odaklanmıştır. Ayrıca ProtBERT gibi proteine özgü versiyonları, çeşitli biyoinformatik görevlerde daha iyi performansla sonuçlanan dinamik protein dizisi yerleştirmeleri oluşturdu. Öte yandan, transkripsiyon sonrası 2'-O-metilasyon (Nm) RNA modifikasyonu ve bir dizi farklı protein translasyon sonrası modifikasyonu, hücresel görevlerde öne çıkmaktadır ve bir dizi hastalıkla ilişkilidir. Mevcut yüksek verimli deneysel tekniklerin bu değişiklikleri tespit etmesi daha uzun zaman alır ve bu işlevsel süreçlerin araştırılması maliyetlidir. Burada, ilişkili biyolojik süreçleri daha hızlı anlamak için iki etkili yöntem bulduk: Birincisi, RNA dizilerinden 2'-O-metilasyon RNA modifikasyon bölgelerini çıkarmak için BERT2OME ve ikincisi, protein dizilerinden protein post-translasyonel modifikasyon (PTM) bölgelerini daha verimli bir şekilde tahmin etmek için DEEPPTM. BERT2OME, modifikasyon bölgeleri ile RNA dizisi içeriği arasındaki ilişkiyi ortaya çıkarmak için BERT tabanlı modeli evrişimli sinir ağlarıyla (CNN) birleştirir. Şu ana kadar önerilen yöntemlerden farklı olarak BERT2OME, verilen her RNA dizisini bir metin olarak kabul eder ve önceden eğitilmiş derin öğrenme tabanlı dil modeli BERT'i entegre ederek modifikasyon tahmin performansını iyileştirmeye odaklanır. Ek olarak, transformatör tabanlı yaklaşımımız, birden fazla türün modifikasyon bölgelerini ortaya çıkarabilir. 5 kat çapraz doğrulamaya göre insan ve fare doğrulukları sırasıyla %99,15 ve %94,35 idi. Benzer şekilde ROC AUC skorları da aynı tür için 0,99 ve 0,94 idi. Ayrıntılı sonuçlar, BERT2OME'un biyolojik deneylerde harcanan süreyi azalttığını ve birden fazla ölçüm üzerinden farklı veri kümeleri ve türler genelinde mevcut yaklaşımlardan daha iyi performans gösterdiğini göstermektedir. Ek olarak, 2D CNN'ler gibi derin öğrenme yaklaşımları, BERT özelliklerinin öğrenilmesinde daha geleneksel makine öğrenme yöntemlerine göre daha umut vericidir. Mevcut yöntemlerden farklı olarak DEEPPTM, özel ProtBERT bazlı protein yerleştirmelerini dikkat bazlı görüş transformatörleri (ViT) ile entegre ederek modifikasyon tahmin performansını artırır ve farklı modifikasyon türleri ile protein dizisi içeriği arasındaki ilişkileri ortaya çıkarır. Ek olarak, farklı türler üzerinde birkaç farklı modifikasyon olduğu sonucuna varılabilir. Süksinilasyon modifikasyonlarını tahmin etmek için insan ve fare ROC AUC'leri, 10 kat çapraz doğrulama uygulandığında sırasıyla 0,988 ve 0,965 idi. Benzer şekilde, ubikuitinasyon, krotonilasyon ve glikasyon bölgelerinin çıkarılmasında sırasıyla 0,982, 0,955 ve 0,953 ROC AUC skorları elde ettik. Ayrıntılı hesaplamalı deneylere göre DEEPPTM, laboratuvar deneylerinde harcanan zamanı azaltırken, rakip yöntemlerin yanı sıra 4 modifikasyon bölgesinin tamamının çıkarılmasında temel çizgilerden daha iyi performans gösteriyor. Bizim durumumuzda, görüntü transformatörleri gibi dikkat temelli derin öğrenme yöntemleri, ProtBERT özelliklerinden öğrenmeye, daha geleneksel derin öğrenme ve makine öğrenme tekniklerine göre daha uygun görünmektedir. Ek olarak, proteine özgü ProtBERT modeli, PTM tahmin görevleri için orijinal BERT yerleştirmelerinden daha etkilidir. Dil modelleri üzerine yapılan çalışmalar, çeşitli dil problemlerinde son derece iyi performans gösterdi. Örneğin Transformatörler'de Çift Yönlü Kodlayıcı Gösterimleri (BERT), kelimelerin bağlamasını ve açıklamayı çıkarma konusuna odaklanmıştır. ProtBERT gibi proteine özgü versiyonlar da, çeşitli biyoinformatik çalışmalarda çok iyi sonuçlar elde etti. Bu hastalıklar, sırasıyla, transkripsiyon sonrasında 2'-O-metilasyon (Nm) RNA modifikasyonu ve bir dizi farklı protein translasyonu sonrasında modifikasyonu, sadece tutulan görevlerde önceden ayrılmakla kalmayıp, canlılarda ortaya çıkan pek çok olasılıkla ilişkili olmuştur. Mevcut yüksek verimli, dağınık parçaların tespit edilmesi hem uzun zaman alıyor hem de çok fazla maliyete ihtiyaç duyuyor. Bu alanlarda yapılacak ilgili biyolojik parçalar daha hızlı hale getirmek ve ilgili birimleri daha iyi bir şekilde elde etmek için iki etkili model tasarladık; İlk olarak, RNA dizilerinden 2'-O-metilasyon RNA modifikasyonlarını çıkarmak için kullanılmak üzere olan BERT2OME ve ikinci olarak da protein dizilerinden protein translasyon sonrası modifikasyon (PTM) bölgelerini daha verimli bir şekilde tahmin etmek için DEEPPTM'dir. BERT2OME, değişiklik bölümleri ile RNA dizi içeriği arasındaki çeşitliliği ortaya çıkarmak için BERT tabanlı modeli evrişimli sinir ağlarıyla (CNN) birleştirir. Şu ana kadar önerilen hesaplamalardan farklı olarak BERT2OME, verilen her RNA dizisini bir metin olarak kabul eder ve önceden hazırlanmış derin öğrenme tabanlı dil modeli BERT'i entegre etme algoritması tahmin oluşturmayı içerir. Transformatörün bu yaklaşımımız, birden fazla tür değişiklik bölgelerini de ortaya çıkarabilmektedir. 5 katlı çapraz zamana göre insan ve ücretlerde doğru tahminleme işlemi sırasıyla %99,15 ve %94,35 olarak ölçüldü. Benzer şekilde ROC AUC skorları da aynı tür için 0,99 ve 0,94 olarak bulundu. Ayrıntılı sonuçlar, BERT2OME'nin biyolojik cihazlarında harcanan süreyi ayırmayı ve birden fazla ölçüm üzerinden farklı veri kümeleri ve türler genelinde mevcut bölümlerden daha iyi performans gösterdiğini kanıtlamaktadır. Ek olarak, 2 boyutlu CNN'ler gibi derin öğrenme yöntemleri, BERT programın öğrenilmesinde daha geleneksel makine öğrenme yöntemlerine göre daha umut vericidir. Bir diğer modelimiz DEEPPTM, mevcut çözünürlüklerden farklı olarak, ProtBERT tabanlı protein yerleştirmelerini dikkat temelli görüntü transformatörleri (ViT) ile entegre ederek modifikasyon tahminini arttırıp, farklı seçim türleri ile protein dizisi içeriği arasındaki ilişkileri ortaya çıkarmıştır. Süksinilasyon modifikasyonlarını tahmin etmek için insan ve ücret ROC AUC'leri, 10 çapraz çapraz başlangıçta sırasıyla 0,988 ve 0,965 şeklinde sonuçlanır. Benzer şekilde ubikuitinasyon, krotonilasyon ve glikasyon bölgelerinin çıkarılmasında sırasıyla 0.982, 0.955 ve 0.953 ROC AUC skorları elde edilmiştir. DEEPPTM modelinin geliştirilmesinde, görüntü transformatörleri gibi dikkat odaklı derin öğrenme yöntemleri, ProtBERT özellikleri öğrenme konusunda daha etkili olmuş ve daha geleneksel derin öğrenme ile makine öğrenme tekniklerine göre üstün bir performans sergilenmiştir. Ek olarak proteine özgü ProtBERT modeli, PTM tahminlemesinde BERT modelinden daha etkili olmuştur.
