Accelerating robot learning via human-in-the-loop shared control

Name: Accelerating robot learning via human-in-the-loop shared control
Author: Yılmaz, Deniz

İsim	Accelerating robot learning via human-in-the-loop shared control
Yazar	Yılmaz, Deniz
Basım Tarihi:	2024
Konu	Human-robot interaction, Robotics, Human factors, Robots, Control systems, Programming, Machine learning, Computer engineering
Tür	Belge
Dil	İngilizce
Dijital	Evet
Yazma	Hayır
Kütüphane:	Özyeğin Üniversitesi
Kayıt Numarası	623dbc86-d98f-4f8c-a0ff-3da680b0590c
Lokasyon	Department of Computer Science
Tarih	2024
Örnek Metin	This thesis presents a training procedure for reinforcement learning-based robot control to achieve skill acquisition with reduced training time and data requirements. It achieves this by actively incorporating the actions provided via human inputs in addition to actions generated by the learning algorithm. As the algorithm acquires the target skill, the contribution of the human actions is gradually decreased for autonomous task execution. To demonstrate the efficacy of the proposed approach, a ball-balancing task with manipulability index maximization was chosen. In this task, a 7-DoF robot arm achieved skill acquisition via reinforcement learning in which two distinct training approaches were employed: i)autonomous training, and ii) human-in-the-loop training approach. The task required the robot to bring the ball to the center of a tray attached to its end-effector, starting from arbitrary initial ball positions in the face of perturbations. Simulation experiments were carried out with 24 human participants where each participant guided robot learning in a human-in-the-loop shared control setting. Compared to autonomous training, the human-in-the-loop training approach showed superior performance in terms of reduced training time and data usage while exhibiting favorable ball-balancing skills., Bu tez, eğitim süresini düşürerek ve veri gereksinimlerini azaltarak insandan robota beceri kazanmayı amaçlayan öğrenmeye dayalı robot kontrolü için bir eğitim süreci sunmaktadır. Bu eğitim prosedürü, öğrenme algoritması tarafından üretilen komutlara ek olarak, insanın döngüye katılmasıyla sağlanan komutları etkin bir şekilde kullanarak eğitim sürecinin hızlanmasını sağlar. Algoritma hedef beceriyi kazandıkça insan eylemlerinin katkısı, görevin otonom gerçekleştirilebilmesi için kademeli olarak azaltılmıştır. Önerilen yaklaşımın etkisini gözlemlemek için, manipulabilite indeksinin iyileştirilmesi gözetilerek robotun uç işlevcisinde top dengeleme görevi seçilmiştir. Bu görevde, 7 serbestlik dereceli bir robot kolun öğrenme yoluyla beceri kazanmasını sağlamak için iki farklı eğitim yaklaşımı kullanılmıştır: i)otonom eğitim, ve ii) insanın eğitim döngüsüne dahil olduğu yaklaşım. Görev, robotun topu, rastgele belirlenmemiş pozisyonlarından başlayarak, robotun uç işlevcisine bağlı bir tepside dengelemesini gerektirmektedir. Otonom eğitime benzer şekilde, önerilen yaklaşım için 24 katılımcı ile benzetim çalışmaları gerçekleştirilmiştir. Her bir katılımcı robotu, insanın dahil olduğu paylaşımlı kontrol ortamında yönlendirmiştir. Otonom eğitimle karşılaştırıldığında, insanın dahil olduğu eğitim yaklaşımı, eğitim süresinin ve veri kullanımının düşürülmesini sağlayacak şekilde olumlu bir performans göstermiş ve top dengeleme becerisini başarılı bir şekilde sergilemiştir.

Kaynağa git Özyeğin Üniversitesi

Aramaya Dön

Özyeğin Üniversitesi

Kaynağa git

Accelerating robot learning via human-in-the-loop shared control

Yazar Yılmaz, Deniz

Basım Tarihi 2024

Konu Human-robot interaction, Robotics, Human factors, Robots, Control systems, Programming, Machine learning, Computer engineering

Tür Belge

Dil İngilizce

Dijital Evet

Yazma Hayır

Kütüphane Özyeğin Üniversitesi

Kayıt Numarası 623dbc86-d98f-4f8c-a0ff-3da680b0590c

Lokasyon Department of Computer Science

Tarih 2024

Örnek Metin This thesis presents a training procedure for reinforcement learning-based robot control to achieve skill acquisition with reduced training time and data requirements. It achieves this by actively incorporating the actions provided via human inputs in addition to actions generated by the learning algorithm. As the algorithm acquires the target skill, the contribution of the human actions is gradually decreased for autonomous task execution. To demonstrate the efficacy of the proposed approach, a ball-balancing task with manipulability index maximization was chosen. In this task, a 7-DoF robot arm achieved skill acquisition via reinforcement learning in which two distinct training approaches were employed: i)autonomous training, and ii) human-in-the-loop training approach. The task required the robot to bring the ball to the center of a tray attached to its end-effector, starting from arbitrary initial ball positions in the face of perturbations. Simulation experiments were carried out with 24 human participants where each participant guided robot learning in a human-in-the-loop shared control setting. Compared to autonomous training, the human-in-the-loop training approach showed superior performance in terms of reduced training time and data usage while exhibiting favorable ball-balancing skills., Bu tez, eğitim süresini düşürerek ve veri gereksinimlerini azaltarak insandan robota beceri kazanmayı amaçlayan öğrenmeye dayalı robot kontrolü için bir eğitim süreci sunmaktadır. Bu eğitim prosedürü, öğrenme algoritması tarafından üretilen komutlara ek olarak, insanın döngüye katılmasıyla sağlanan komutları etkin bir şekilde kullanarak eğitim sürecinin hızlanmasını sağlar. Algoritma hedef beceriyi kazandıkça insan eylemlerinin katkısı, görevin otonom gerçekleştirilebilmesi için kademeli olarak azaltılmıştır. Önerilen yaklaşımın etkisini gözlemlemek için, manipulabilite indeksinin iyileştirilmesi gözetilerek robotun uç işlevcisinde top dengeleme görevi seçilmiştir. Bu görevde, 7 serbestlik dereceli bir robot kolun öğrenme yoluyla beceri kazanmasını sağlamak için iki farklı eğitim yaklaşımı kullanılmıştır: i)otonom eğitim, ve ii) insanın eğitim döngüsüne dahil olduğu yaklaşım. Görev, robotun topu, rastgele belirlenmemiş pozisyonlarından başlayarak, robotun uç işlevcisine bağlı bir tepside dengelemesini gerektirmektedir. Otonom eğitime benzer şekilde, önerilen yaklaşım için 24 katılımcı ile benzetim çalışmaları gerçekleştirilmiştir. Her bir katılımcı robotu, insanın dahil olduğu paylaşımlı kontrol ortamında yönlendirmiştir. Otonom eğitimle karşılaştırıldığında, insanın dahil olduğu eğitim yaklaşımı, eğitim süresinin ve veri kullanımının düşürülmesini sağlayacak şekilde olumlu bir performans göstermiş ve top dengeleme becerisini başarılı bir şekilde sergilemiştir.