66b là một mô hình ngôn ngữ có quy mô lớn, được đặt tên theo tham số 66 tỷ. Nó nằm ở giữa các mô hình nhỏ và cực kỳ lớn, nhằm cân bằng hiệu suất với chi phí tính toán và memory.
66b dựa trên kiến trúc transformer, gồm nhiều lớp tự chú ý và mạng feed-forward. Quá trình huấn luyện kinh điển sử dụng dữ liệu văn bản rộng từ nhiều nguồn như web, sách và bài viết để rèn luyện khả năng hiểu và tạo văn bản tự nhiên.
So với các mô hình 7B hay 13B, 66b mang lại hiểu biết sâu hơn và khả năng sinh văn bản mượt mà hơn, nhưng đòi hỏi tài nguyên tính toán và bộ nhớ cao hơn, cần các chiến lược tối ưu hóa triển khai.
66b có thể được dùng cho tổng hợp nội dung, trả lời câu hỏi, hỗ trợ viết sáng tạo, phân tích ý kiến, tự động hoá quy trình nội dung, và làm trợ lý cho doanh nghiệp, giáo dục cũng như nghiên cứu.