Đề tài Tìm hiểu một số mô hình xử lý ngôn ngữ tự nhiên với BERT và ứng dụng trong nhận diện cảm xúc văn bản bao gồm các nội dung chính như: Tìm hiểu tổng quan về Transformer và BERT: khái niệm, đặc điểm, một số thuật ngữ liên quan, kiến trúc mô hình; Tìm hiểu chi tiết về PhoBERT là mô hình đơn ngôn ngữ được huấn luyện riêng cho tiếng Việt trong các nhiệm vụ xử lý ngôn ngữ tự nhiên như nhận diện cảm xúc, suy luận ngôn ngữ,... Bộ dữ liệu đầu vào để train model PhoBERT cho bài toán được lấy từ các comment, bình luận, đánh giá,... về trường Đại học Công nghiệp Hà Nội và dữ liệu cho trước này đã được gán nhãn tích cực, tiêu cực hay trung tính. Mô hình sau khi huấn luyện có thể đưa ra kết quả gán nhãn cho một câu bình luận được truyền vào dựa trên bộ dữ liệu huấn luyện trước.

Từ khóa:

ĐATN Công nghệ thông tin K14; ĐATN Công Nghệ Thông Tin; Xử lý ngôn ngữ; Nhận diện cảm xúc

Abstract:

The topic Understanding some models of natural language processing with BERT and its application in text emotion recognition includes the main contents such as: Understanding an overview of Transformer and BERT: concepts, characteristics, some related terms, model architecture; Learn more about PhoBERT is a language model trained specifically for Vietnamese in word processing tasks such as emotional recognition, language reasoning,... The input data set to train the PhoBERT model for the problem is taken from comments, comments, reviews,... about Hanoi University of Industry and this given data has been labeled positive, negative or neutral. The model after training can perform the task of giving a label result to an injected comment.

Key word:

Information Technology K14; Information Technology; Language processing; Emotional recognitionn