Đề tài tập trung nghiên cứu và triển khai giải pháp tránh vật cản cho robot tay máy 6 bậc tự do dựa trên kỹ thuật Học tăng cường (Reinforcement Learning - RL) trong hệ sinh thái Digital Twin (Song sinh ảo). Bằng cách ứng dụng hai thuật toán tối ưu là SAC (Soft Actor-Critic) và PPO (Proximal Policy Optimization), robot được huấn luyện khả năng tự lập kế hoạch quỹ đạo để đạt đến mục tiêu đồng thời tối ưu hóa việc né tránh vật cản trong môi trường mô phỏng vật lý PyBullet. Điểm cốt lõi của nghiên cứu là thiết lập cơ chế kết nối thời gian thực giữa mô hình ảo và robot thực thông qua framework ROS2, cho phép đánh giá trực quan hiệu quả học tập và khả năng thích nghi của thuật toán. Kết quả thực nghiệm khẳng định sự kết hợp giữa RL và Digital Twin không chỉ rút ngắn thời gian phát triển mà còn mở ra tiềm năng lớn trong việc triển khai các hệ thống robot tự hành thông minh, giảm thiểu rủi ro hư hại phần cứng và tối ưu hóa hiệu suất vận hành trong thực tế

Từ khóa:

Thuật toán học tăng cường cho cánh tay robot tránh vật cản trên môi trường Digital Twin

Abstract:

This project focuses on the research and implementation of an obstacle avoidance solution for a 6-DOF robotic arm utilizing Reinforcement Learning (RL) within a Digital Twin ecosystem. By employing two optimized algorithms, Soft Actor-Critic (SAC) and Proximal Policy Optimization (PPO), the robot is trained to autonomously plan trajectories to reach designated targets while effectively navigating around obstacles in the PyBullet physics simulation environment. The core of this research lies in establishing a real-time connection between the virtual model and the physical robot via the ROS2 framework, enabling a direct evaluation of the learning efficiency and adaptability of the control algorithms. Experimental results confirm that the integration of RL and Digital Twin not only accelerates the development cycle but also demonstrates significant potential for deploying intelligent autonomous robotic systems, minimizing hardware damage risks, and optimizing operational performance in real-world applications

Key word:

Reinforcement Learning algorithm for robotic arm obstacle avoidance in a Digital Twin environment