Xây Dựng Pipeline Xử Lý Dữ Liệu Cảm Xúc Đa Phương Thức Với Vertex AI Gemini & PyTorch

1. Thách Thức Trong Dữ Liệu Đa Phương Thức (Multimodal Challenges)

Trong các bài toán Nhận diện Cảm xúc Đa phương thức (Multimodal Emotion Recognition), chất lượng của tập dữ liệu quyết định đến 80% độ chính xác của mô hình học sâu. Tuy nhiên, việc chuẩn bị dữ liệu thủ công từ các video tự nhiên thường gặp các vấn đề nghiêm trọng:

• Khung hình video bị rung lắc, mờ nhòe hoặc khuôn mặt nhân vật bị che khuất.
• Âm thanh bị lẫn tạp âm nền, nhạc nền hoặc tiếng ồn môi trường.
• Sự bất đồng nhất giữa lời nói (Text) và biểu cảm khuôn mặt (Vision).

2. Kiến Trúc Pipeline 2-Pass Với Vertex AI Gemini

Để giải quyết bài toán trên trong dự án Emotion-Data-Studio, mình đã xây dựng cơ chế 2-Pass AI Verification:

• Pass 1 (Global Video Scan): Sử dụng Google Cloud Vertex AI (Gemini 2.5 Flash) để quét toàn bộ dòng thời gian của video, phát hiện các đoạn hội thoại có biến đổi cảm xúc rõ rệt và xuất tọa độ thời gian (Timestamps).
• Pass 2 (Per-Clip Verification): Sau khi dùng FFmpeg cắt clip thô, hệ thống gửi từng clip ngắn để AI kiểm tra lại với 5 tiêu chí phán quyết: confirmed, wrong_emotion, unstable, low_quality hoặc stats_mismatch.

3. Trích Xuất & Đồng Bộ Đặc Trưng (Feature Alignment)

• Thị giác (Vision): Sử dụng MTCNN / SCRFD nhận diện khuôn mặt và ByteTrack theo dõi liên tục qua từng khung hình, chuẩn hóa tensor về kích thước (50, 35).
• Âm thanh (Audio): Tách luồng audio 16kHz mono và trích xuất vector đặc trưng ngữ điệu qua Wav2Vec2 thành tensor (50, 74).
• Ngôn ngữ (Text): Trích xuất ngữ nghĩa câu thoại tiếng Việt qua PhoBERT-ViLexicon thành tensor (50, 768).

4. Kết Luận & Đóng Gói Dữ Liệu

Tập dữ liệu sau khi vượt qua bộ lọc chất lượng 9 tiêu chí được đóng gói thành định dạng .pkl chuẩn hóa tương thích hoàn toàn với các kiến trúc mô hình MMSA và MulT (Multimodal Transformer), giúp tăng độ chính xác phân loại cảm xúc lên hơn 12% so với dữ liệu cắt thủ công.