Yazar
Öztürkçü, Özgür Baran
Basım Tarihi
2022-06-21T08:52:08Z
Tür
Belge
Dil
İngilizce
Dijital
Evet
Yazma
Hayır
Kütüphane
Özyeğin Üniversitesi
Kayıt Numarası
7939ec48-1e50-4636-b4ca-6063f6773d5c
Lokasyon
Bilgisayar Bilimleri Bölümü
Tarih
2022-06-21T08:52:08Z
Örnek Metin
Yaşayan organizmalar, özellikle memeliler, alet kullanımı ve manipülasyon gibi temel planlamayı gerektirebilecek karmaşık görevleri öğrenme konusunda ustadırlar. Bu yetenek merkezi sinir sistemi tarafından kendini gösterir; özellikle de eylem ve algı için düşük seviyeli sinyal işlemeyi gerçekleştiren sinir devrelerinden gelişen beyin tarafından. Yapay sistemler, temel algı ve eylem gerektiren görevler için düşük seviyeli sinyal işlemeyi gerçekleştirmeyi öğrenebilir. Bunun için özel bir öğrenme mekanizması, bir etmenin bir dizi eylem kararını içeren ve çevreden geri dönen 'ödülleri' içeren duyusal motor deneyiminin, belirli bir görev için bir 'politika' oluşturmak için kullanıldığı Takviyeli Öğrenmedir (RL). Yüksek seviyeli hayvanların karmaşık görev yürütme yetenekleri, öğrenme sırasında alt seviyeli sinir devrelerinin duyusal-motor yaşam döngüsüne dayalı olarak oluşturulan soyutlamalarla kolaylaştırılabilir. Benzer şekilde, bir RL aracısının öğrenme deneyimi, örneğin sembolik alanda açık planlama yoluyla daha karmaşık görev yürütmelerini mümkün kılmak için sembol benzeri yapılar oluşturmak için kullanılabilir. Bu tür üst düzey yapıların ortaya çıkışı ve bunların çevre ve etmen dinamikleriyle olan ilişkileri, öğrenme ve farklı ortamlarda fiili yayılma sırasındaki sinirsel çıktıların analiz edilmesiyle ortaya çıkarılabilir. Literatürde, onları ajanın deneyimlediği sürekli sensörimotor sinyallere 'temellendiren' sembolik yapıların varlığını varsayarak başlayan bir dizi çalışma bulunmaktadır. Ayrıca birçok çalışma, özel olarak tasarlanmış makine öğrenmesi mimarilerini kullanarak sembol benzeri gösterimlerin ortaya çıkmasını kolaylaştırmayı amaçlamaktadır. Bu tezde farklı bir yaklaşım benimseyerek dinamik bir görevi öğrenen derin pekiştirmeli öğrenme sisteminin, sembolik temsillerin öncüsü sayılabilecek üst düzey sinirsel temsillerin oluşumunu kolaylaştırıp kolaylaştıramayacağını araştırıyoruz. Deneylerimiz için, tek görevi hıza bağlı kuvvet tedirginlikleri altında ayakta durma politikasını öğrenmek olan simüle edilmiş bir robot kullanıyoruz. Politika, yanıtları öğrenme sırasında ve daha sonra politika farklı ortamlarda test edilirken kaydedilen simüle edilmiş nöronlardan oluşan bir sinir ağı tarafından temsil edilir ve öğrenilir. Kaydedilen veriler daha sonra üst düzey soyut temsillerin oluşumunu ve bunların görev dinamikleriyle ilişkilerini tespit etmek için analiz edilir. Sonuçlar, soyut temsilleri destekleyecek açık bir tasarım bile olmaksızın, öğrenme yoluyla ilgi çekici sinirsel tepkilerin ortaya çıktığını ve bunların soyut sembol benzeri temsillerin temelini oluşturabileceğini göstermektedir. Bu yetenek, merkezi sinir sistemi tarafından, özellikle aksiyon ve algılama için alt seviye sinyal işlemeyi gerçekleştiren nörolojik devrelerden beyin tarafından ortaya konmaktadır. Yapay sistemlerde, temel algılama ve aksiyon alma birimleri için alt seviyede sinyal işlemeyi görüyorlardı. Özellikle pekiştirmeli öğrenme (RL), bir oyuncunun sensörlü deneyimi ile bir dizi aksiyon alımı ve çevreden dönen "ödülleri" toplayarak belirli bir yeri yerine getirmek için gerekli karar aralıklarını (politika) belirlenen öğrenme şeklidir. Daha gelişmiş özellikler karmaşıklık gerçekleştirme kapasitesi, öğrenme sırasında alt seviye sinir devrelerinin sensörsel deneyimine dayalı olarak tüketimi soyutlamalar ile süre boyunca devam eder. Benzer bir şekilde bir RL aktörünün öğrenme deneyimi, sembol yapıları oluşturularak, sembol ile planlama gibi karmaşık işlemlerin yerine getirilmesini sağlamak amacıyla kullanılabilir. Bu tür yüksek seviyeli yapıların ortaya çıkışları ve bunların çevre ve aktör dinamikleri ile ilişkileri, öğrenme sırasındaki yayılmaları ve olası farklı bölgelerde konuşmanın analiz edilmesi ile ortaya çıkarılabilir. Literatürde pek çok çalışma bulerin içeriği var olduğu için ile başlar ve bu sembolleri sürekli motor sensör sembolleri üzerine oturtur. Diğer bir yaklaşım ise bu sembolün ortaya çıkmasını sağlamak amacı ile özel olarak tasarlanmış sinir ağlarını kullanmaktır. Bu tez çalışmasının dinamik bir görevi öğrenen bir derin pekiştirmeli öğrenme sistemi üst düzey bir sinirsel yapı oluşturma olasığı ki bu yapıların sembolik temsillerinin öncülleri olarak mevcuttur. Deneylerimiz için, görevi hız vektörlerine bağlı bir kırılma kuvveti altında kaldırmayı öğrenen simüle edilmiş bir robot kullanıldı. Simüle edilmiş bölümlerden oluşan aralık aralıkları bir sinir ağı ile öğrenilebilir ve temsil edilebilir. Deneylerimizde böyle bir sinir ağının ortaya çıkışı öğrenme sırasında ve sonrasında farklı yerlerde görülmüştür. Kaydedilen veriler daha sonra üst düzey soyut temsillerin oluşumu ve bunların görev dinamikleri ile özelliklerini tespit etmek için birbirinden ayrıldı. Sonuçlar, soyut yapılar için özel bir tasarım yapmadan, sembol benzeri gösterim olarak görülebilecek ilgi çekici sinir çıkışlarının oluşabileceği gösterilmiştir.
