Chi tiết sản phẩm
Hệ thống khởi đầu từ drone (DJI/ArduPilot) truyền luồng ảnh/video theo thời gian thực về Jetson Nano/Xavier hoặc trực tiếp về server qua RTSP/WebRTC. Ở tầng tiền xử lý, ảnh được ổn định, giảm nhiễu động và cân bằng sáng để giữ độ tương phản khi bay cao hoặc gặp gió. Trên nền dữ liệu đã tối ưu, mô hình YOLOv12 đã fine-tune cho nhiều độ cao và góc nhìn khác nhau sẽ phát hiện đối tượng người ở kích thước rất nhỏ. Kết quả detection được đưa vào Deep SORT để gán ID và theo dõi liên khung hình, tạo ra quỹ đạo mượt ngay cả khi đối tượng bị che khuất ngắn hạn hoặc thay đổi hướng di chuyển. Tất cả được hiển thị trên dashboard web: người vận hành xem stream, bật/tắt lớp nhãn, xem vùng giám sát (geofence), nhận cảnh báo xâm nhập và xuất báo cáo.
Nhu cầu & Thách thức thực tế
Trong thực địa, độ cao bay 50–100 m làm người chỉ chiếm vài chục pixel, ánh sáng thay đổi nhanh theo mây gió, băng thông truyền hình ảnh bị giới hạn và nền cảnh có nhiều đối tượng động (cây, sóng gió). Vì thế mô hình phải nhạy với mục tiêu nhỏ nhưng vẫn chống nhiễu; pipeline truyền nhận phải giữ độ trễ thấp để cảnh báo còn giá trị; và thuật toán theo dõi phải đủ bền vững để không “mất người” khi che khuất ngắn.
Cách tiếp cận kỹ thuật
Đội ngũ tinh chỉnh YOLOv12 trên tập dữ liệu drone đa độ cao và đa bối cảnh (đường, bãi biển, rừng, khu công nghiệp, sân vận động), bổ sung các chiến lược augmentation đặc thù cho mục tiêu nhỏ (mosaic/tiling, copy-paste người, blur theo chuyển động). Tiền xử lý được tối ưu với ổn định khung hình, giảm nhiễu cảm biến và cân bằng sáng thích ứng. Deep SORT chạy song song để theo dõi và gán định danh liên tục, đồng thời lớp logic cảnh báo kiểm tra giao cắt giữa quỹ đạo và vùng cấm được cấu hình trên bản đồ. Kiến trúc cho phép chạy edge inference trên Jetson để tiết kiệm băng thông (chỉ gửi bounding box và keyframe), hoặc server inference để đạt FPS cao khi có đường truyền tốt.
Kiến trúc & Triển khai
Stack gồm Python, PyTorch, OpenCV, YOLOv12, Deep SORT, streaming WebRTC/RTSP, tích hợp Drone SDK (DJI, ArduPilot). Ở biên, Jetson nhận luồng từ camera, chạy mô hình, đẩy kết quả qua WebSocket/HTTP về trung tâm; ở trung tâm, dịch vụ phân tích hợp nhất track, lưu PostgreSQL/Redis, phát cảnh báo và render dashboard. Hệ thống hỗ trợ HA/scale-out theo số luồng video, có thể thêm worker để nâng thông lượng. Bảo mật mặc định với TLS 1.3, chữ ký JWT, phân quyền theo vai trò và audit log 24/7.
Năng lực & KPI mục tiêu
Bộ mô hình đạt mục tiêu phát hiện người ổn định ở độ cao ≥80 m, xử lý ≥25 FPS trên Jetson Xavier hoặc ≥40 FPS ở server GPU phổ thông, độ trễ đầu cuối <300 ms với WebRTC. Mục tiêu chất lượng gồm [email protected] ≥0.6 trên tập drone, recall ≥0.9 cho người trong vùng giám sát, và FPR ≤0.05 sau lớp lọc cảnh báo. Với đường truyền hạn chế, chế độ edge chỉ gửi metadata giúp giảm 50–80% băng thông so với gửi toàn bộ khung hình.
Giá trị nổi bật & Tình huống minh họa
Giải pháp phát hiện người ở tầm cao, theo dõi quỹ đạo ổn định, phân tích hành vi và cảnh báo xâm nhập theo geofence. Dashboard hợp nhất giám sát nhiều UAV, ghi lại sự kiện và xuất báo cáo cho an ninh. Ví dụ: phát hiện người di chuyển vào vùng không cho phép trong khu tư nhân ven biển; hệ thống tạo cảnh báo tức thời, lưu video cắt đoạn, đánh dấu thời gian và vị trí để lực lượng phản ứng nhanh xử lý.
