Emotion-Data-Studio — Pipeline Xử Lý Dữ Liệu Cảm Xúc Đa Phương Thức

1. Tổng quan Dự án (Project Overview)

Emotion-Data-Studio (EDS) là bộ công cụ chuyên nghiệp phục vụ việc thu thập, tiền xử lý, gán nhãn và đóng gói dữ liệu cảm xúc đa phương thức (Multimodal: Video, Audio, Text) chuẩn hóa cho các mô hình Học sâu (Deep Learning) tiên tiến như MMSA và MulT (Multimodal Transformer).

2. Pipeline Xử lý Đa tầng & Công nghệ (Multi-Stage Pipeline & Tech Stack)

• AI Video Segmentation & Auto-Cut: Tích hợp Google Cloud Vertex AI (Gemini 2.5 Flash) thực hiện cơ chế 2-pass (quét phát hiện phân cảnh $\rightarrow$ tái xác thực nhãn cảm xúc từng đoạn video).
• Thị giác Máy tính & Nhận diện Khuôn mặt: Sử dụng MTCNN / SCRFD kết hợp ByteTrack để định vị và theo dõi khuôn mặt nhân vật qua từng khung hình (bounding box & landmark tracking).
• Xử lý Âm thanh & Ngôn ngữ: Trích xuất đặc trưng âm thanh qua Wav2Vec2 và biểu diễn ngữ nghĩa văn bản qua PhoBERT-ViLexicon.
• Ensemble Voting & Bộ lọc Chất lượng 9 tiêu chí: Cơ chế bỏ phiếu kết hợp giữa các mô hình thị giác, âm thanh và văn bản để chấm điểm độ tin cậy và tự động loại bỏ clip nhiễu.
• Desktop Studio: Giao diện đồ họa PySide6 (Qt6) phong cách NLE (Non-Linear Editing) cho phép biên tập viên kiểm tra và tinh chỉnh nhãn trực quan.
• Xuất Dữ liệu MMSA: Đóng gói tensor chuẩn hóa .pkl: Text (50, 768), Audio (50, 74), Vision (50, 35) với phân chia tập train/val/test theo tỷ lệ 70/15/15.

3. Kiểm thử & Độ tin cậy (Testing & Reliability)

Dự án được bao phủ bởi 181 CI unit tests tự động chạy trên GitHub Actions, kiểm thử toàn diện các module từ trích xuất FFmpeg, giải mã JSON đến tính toán ma trận đặc trưng.