Author
Yılmaz, Deniz
Publication Date
2024
Subject
Human-robot interaction, Robotics, Human factors, Robots, Control systems, Programming, Machine learning, Computer engineering
Type
Document
Language
English
Digital
Yes
Manuscript
No
Library
Özyeğin University
Record ID
623dbc86-d98f-4f8c-a0ff-3da680b0590c
Library Location
Department of Computer Science
Date
2024
Sample Text
This thesis presents a training procedure for reinforcement learning-based robot control to achieve skill acquisition with reduced training time and data requirements. It achieves this by actively incorporating the actions provided via human inputs in addition to actions generated by the learning algorithm. As the algorithm acquires the target skill, the contribution of the human actions is gradually decreased for autonomous task execution. To demonstrate the efficacy of the proposed approach, a ball-balancing task with manipulability index maximization was chosen. In this task, a 7-DoF robot arm achieved skill acquisition via reinforcement learning in which two distinct training approaches were employed: i)autonomous training, and ii) human-in-the-loop training approach. The task required the robot to bring the ball to the center of a tray attached to its end-effector, starting from arbitrary initial ball positions in the face of perturbations. Simulation experiments were carried out with 24 human participants where each participant guided robot learning in a human-in-the-loop shared control setting. Compared to autonomous training, the human-in-the-loop training approach showed superior performance in terms of reduced training time and data usage while exhibiting favorable ball-balancing skills., Bu tez, eğitim süresini düşürerek ve veri gereksinimlerini azaltarak insandan robota beceri kazanmayı amaçlayan öğrenmeye dayalı robot kontrolü için bir eğitim süreci sunmaktadır. Bu eğitim prosedürü, öğrenme algoritması tarafından üretilen komutlara ek olarak, insanın döngüye katılmasıyla sağlanan komutları etkin bir şekilde kullanarak eğitim sürecinin hızlanmasını sağlar. Algoritma hedef beceriyi kazandıkça insan eylemlerinin katkısı, görevin otonom gerçekleştirilebilmesi için kademeli olarak azaltılmıştır. Önerilen yaklaşımın etkisini gözlemlemek için, manipulabilite indeksinin iyileştirilmesi gözetilerek robotun uç işlevcisinde top dengeleme görevi seçilmiştir. Bu görevde, 7 serbestlik dereceli bir robot kolun öğrenme yoluyla beceri kazanmasını sağlamak için iki farklı eğitim yaklaşımı kullanılmıştır: i)otonom eğitim, ve ii) insanın eğitim döngüsüne dahil olduğu yaklaşım. Görev, robotun topu, rastgele belirlenmemiş pozisyonlarından başlayarak, robotun uç işlevcisine bağlı bir tepside dengelemesini gerektirmektedir. Otonom eğitime benzer şekilde, önerilen yaklaşım için 24 katılımcı ile benzetim çalışmaları gerçekleştirilmiştir. Her bir katılımcı robotu, insanın dahil olduğu paylaşımlı kontrol ortamında yönlendirmiştir. Otonom eğitimle karşılaştırıldığında, insanın dahil olduğu eğitim yaklaşımı, eğitim süresinin ve veri kullanımının düşürülmesini sağlayacak şekilde olumlu bir performans göstermiş ve top dengeleme becerisini başarılı bir şekilde sergilemiştir.
