66B là một mô hình ngôn ngữ lớn có khoảng 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên ở nhiều ngữ cảnh, từ trả lời câu hỏi cho tới sáng tác văn bản, tóm tắt và hỗ trợ tư duy sáng tạo.
Mô hình theo hướng kiến trúc dựa trên transformer, với nhiều lớp chú ý (attention) và mạng feed-forward, tối ưu cho hiệu suất và khả năng suy luận. Số lượng tham số được phân bổ cho các thành phần như encoder/decoder, layer norm và các cơ chế tối ưu hóa để giảm chi phí nhưng duy trì độ chính xác.
66B được huấn luyện trên khối lượng dữ liệu đa ngôn ngữ và đa miền, kết hợp dữ liệu văn bản từ sách, bài báo, web và mã nguồn. Quy trình này nhấn mạnh chất lượng dữ liệu, lọc nội dung nhạy cảm và khuyến nghị về sự công bằng, đồng thời tối ưu hóa cho hiệu suất trên nhiều tác vụ.
Với khả năng trả lời câu hỏi, viết văn bản, tóm tắt, dịch thuật và hỗ trợ viết mã, 66B có thể được áp dụng trong giáo dục, doanh nghiệp và các hệ thống trợ lý ảo. Khả năng điều chỉnh và kiểm soát ngữ cảnh giúp nó phù hợp với nhiều mục đích khác nhau.
Những thách thức gồm rủi ro về bias, an toàn và chi phí vận hành. Cải thiện chất lượng dữ liệu, đánh giá minh bạch và năng lực kiểm soát đầu ra là ưu tiên trong tương lai, cùng với tối ưu hóa hiệu suất và giảm thiểu tác động môi trường.
