66b là một khái niệm dùng để chỉ một mô hình ngôn ngữ có kích thước khoảng 66 tỷ tham số. Những mô hình ở kích thước này có khả năng hiểu ngữ cảnh phức tạp, sinh văn bản tự nhiên và thực hiện nhiều tác vụ ngôn ngữ khác nhau. Tuy nhiên, quy mô lớn cũng đi kèm với chi phí đào tạo và vận hành, đòi hỏi hạ tầng mạnh mẽ và quản trị rủi ro.
Thông thường dựa trên kiến trúc có cơ chế chú ý để xem xét ngữ cảnh của từng từ hoặc câu. Mô hình được huấn luyện trên khối lượng dữ liệu lớn bằng phương pháp tự giám sát, sau đó có thể được tinh chỉnh cho các tác vụ cụ thể thông qua tinh chỉnh sau đào tạo và huấn luyện theo hướng chỉ dẫn. Quá trình tối ưu tham số và sắp xếp trọng số giúp mô hình nắm bắt cú pháp, ngữ nghĩa và tri thức rộng.
66b có thể được dùng trong dịch máy, tóm tắt văn bản, trợ lý ảo, hệ thống hỏi đáp, phân tích cảm xúc và sáng tác nội dung. Mô hình ở kích thước lớn có thể tạo văn bản trôi chảy và gợi ý ý tưởng, song vẫn cần kiểm soát chất lượng và đạo đức trong sử dụng.
Chi phí tính toán và năng lượng cho huấn luyện và vận hành, rủi ro thiên vị và sai lệch thông tin, an toàn dữ liệu và quyền riêng tư, cùng với việc đảm bảo minh bạch và kiểm soát kết quả. Nhiều nghiên cứu đang tập trung vào tối ưu hiệu suất, giảm kích thước hoặc tối ưu hoá tiêu thụ tài nguyên, và đề ra khung đánh giá đạo đức cho các hệ thống ngôn ngữ lớn.
