Tóm tắt nội dung

Nội dung của đồ án: Xây dựng hệ thống nhận diện biển báo cho xe tự hành sử dụng Deep Learning nhằm hướng tới áp dụng vào việc điều khiển xe tự hành. Phạm vi hệ thống xử lý trong 2 môi trường: Giả lập trên máy tính cấu hình cao và trên xe mô hình với sa hình thu nhỏ. Hệ thống bao gồm 2 module: Phát hiện biển báo và phân loại biển báo: Module phát hiện biển báo trên môi trường giả lập sử dụng dữ liệu chiều sâu của camera để đạt độ chính xác tuyệt đối; module phát hiện biển báo trên xe mô hình sử dụng mô hình YOLO v4 Tiny được huấn luyện trên các bộ dữ liệu mở về nhận dạng biển báo, đạt độ chính xác cao; module phân loại biển báo dùng chung cho cả 2 môi trường, sử dụng mô hình CNN tự đề xuất được huấn luyện kết hợp trên các bộ dữ liệu mở và dữ liệu tự thu thập cho độ chính xác tuyệt đối. Hệ thống có độ chính xác cao, tốc độ xử lý trong thời gian thực (46 FPS) trên bo mạch nhúng NVIDIA Jetson TX2 của xe mô hình và vượt thời gian thực trên máy tính chạy môi trường giả lập có cấu hình CPU Intel Core i7-9700k và GPU NVIDIA GeForce GTX 1080Ti.

Từ khóa:

Hệ thống nhận dạng biển báo, Xe tự lái

Abstract:

Content of the project: Building a sign recognition system for self-driving cars using Deep Learning towards application in driving autonomous vehicles. The scope of the system is handled in two environments: High-performance computer simulation and model car with thumbnails. The system includes 2 modules: Detecting signs and classifying signs: Module detects signs on a simulated environment using depth data of the camera to achieve absolute accuracy; the sign detection module on the model vehicle uses the YOLO v4 Tiny model, which is trained on open data sets on sign recognition, achieving high accuracy; The sign classification module is common for both environments, using a self-suggested CNN model that is trained on a combination of open data sets and self-collected data for absolute accuracy. High-precision, real-time system (46 FPS) on model car NVIDIA Jetson TX2 embedded board and real-time on PC running Intel Core CPU-configured emulator i7-9700k and NVIDIA GeForce GTX 1080Ti GPU.

Key word:

Sign recognition system, Self-driving car