66B là một mô hình ngôn ngữ lớn với khoảng 66 tỷ tham số, được huấn luyện trên tập dữ liệu đa dạng nhằm sinh văn bản tự động, trả lời câu hỏi và hỗ trợ sáng tạo nội dung.
66B thường dựa trên kiến trúc transformer, gồm nhiều lớp tự chú ý (self-attention) và mạng feed-forward, được tối ưu qua bài toán dự đoán từ tiếp theo và tối ưu hóa mất mát ngữ nghĩa để hiểu ngữ cảnh và thông tin ngữ nghĩa.
Trong thực tế, 66B có thể được dùng làm trợ lý ảo, tóm tắt văn bản, dịch máy, viết nội dung sáng tạo, hỗ trợ lập trình, giáo dục và chăm sóc khách hàng.
