66B là một mô hình ngôn ngữ có khoảng 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên, sinh văn bản và hỗ trợ các nhiệm vụ AI đa dạng.
66B dựa trên kiến trúc transformer hiện đại, với nhiều tầng chú ý tự động và mạng feed-forward sâu. Nó được tối ưu để nắm bắt ngữ cảnh dài và tạo văn bản mượt mà, có thể thực hiện nhiều tác vụ ngôn ngữ chỉ với một lượng điều chỉnh nhỏ.
Ứng dụng của 66B gồm trợ lý ảo, tổng kết văn bản, phân tích cảm xúc, sinh mã nguồn và hỗ trợ viết nội dung. Thách thức gồm chi phí huấn luyện, nguồn dữ liệu, an toàn nội dung và khả năng kiểm soát hành vi của mô hình.

