Đo hiệu năng LLM nhỏ trên thiết bị biên: Llama, Phi và Gemma trên Jetson

AI biên (edge AI) đưa suy luận mô hình rời khỏi đám mây và chạy ngay trên thiết bị. Trong bài viết "Đo hiệu năng LLM nhỏ trên thiết bị biên: Llama, Phi và Gemma trên Jetson", chúng ta sẽ đi từ bối cảnh đến các bước thực hành cụ thể.

Mô hình ngôn ngữ 2-8B tham số đã chạy được trên Jetson Orin với tốc độ chấp nhận được. Kết quả benchmark llama.cpp trên các mức lượng tử hoá và gợi ý ứng dụng offline.

Vì sao chạy AI tại biên?

Ba lý do khiến edge AI bùng nổ: độ trễ (không phải chờ mạng), chi phí (không trả phí API theo request) và quyền riêng tư (dữ liệu camera, âm thanh không rời khỏi thiết bị). Với các dự án robot, xe tự hành hay quan trắc, độ trễ dưới 50 ms là yêu cầu bắt buộc mà cloud không đáp ứng được.

Phần cứng biên hiện nay đã đủ mạnh: một module Jetson Orin cỡ lòng bàn tay đạt tới hàng trăm TOPS, trong khi Google Coral Edge TPU chỉ tiêu thụ khoảng 2 W điện.

Chuẩn bị phần cứng và môi trường

Bạn cần một board có NPU hoặc GPU (Jetson, Coral, hoặc Raspberry Pi 5 kèm AI Kit), nguồn điện đủ dòng, thẻ nhớ hoặc SSD NVMe, và một camera CSI hoặc USB nếu bài toán liên quan đến thị giác máy.

Về phần mềm, hệ sinh thái NVIDIA dùng JetPack (Ubuntu + CUDA + TensorRT), còn Coral dùng PyCoral trên Debian. Cả hai đều có sẵn container Docker chính thức giúp môi trường tái lập được.

Tối ưu mô hình cho thiết bị biên

Mô hình huấn luyện xong hiếm khi chạy tốt ngay trên thiết bị biên. Quy trình chuẩn là: export sang ONNX, lượng tử hoá (INT8 hoặc FP16), rồi biên dịch bằng TensorRT hoặc Edge TPU Compiler. Lượng tử hoá INT8 thường tăng tốc 3-5 lần với mất mát độ chính xác dưới 1%.

Đừng quên đo đạc: dùng trtexec hoặc benchmark script để ghi lại FPS, độ trễ và công suất tiêu thụ trước khi triển khai thực tế.

Lời kết

Rào cản lớn nhất của edge AI ở Việt Nam không phải kiến thức mà là tiếp cận phần cứng. Sứ mệnh của aiviethub là rút ngắn khoảng cách từ ý tưởng đến phần cứng: board nhúng, module AI và phụ kiện chính hãng giao trong vài ngày, giá minh bạch, hỗ trợ kỹ thuật tiếng Việt.