Blog
2 bài viết với chủ đề llm
· Lê Thu Hà
Đo hiệu năng LLM nhỏ trên thiết bị biên: Llama, Phi và Gemma trên Jetson
Mô hình ngôn ngữ 2-8B tham số đã chạy được trên Jetson Orin với tốc độ chấp nhận được. Kết quả benchmark llama.cpp trên các mức lượng tử hoá và gợi ý ứng dụng offline.
· Lê Thu Hà
LLM mã nguồn mở đang thu hẹp khoảng cách với mô hình đóng
Các mô hình mở mới nhất đạt chất lượng từng là độc quyền của API trả phí, và chạy được trên phần cứng tự chủ. Ý nghĩa với doanh nghiệp Việt cần giữ dữ liệu trong nước.