66B gọi là mô hình ngôn ngữ có khoảng 66 tỷ tham số, thuộc lớp mô hình ngôn ngữ được huấn luyện trên tập dữ liệu rộng lớn để xử lý ngôn ngữ tự nhiên, phân tích ngữ nghĩa và hỗ trợ các tác vụ khó khăn. Nó được xây dựng dựa trên kiến trúc Transformer và có khả năng hiểu và sinh văn bản ở nhiều ngôn ngữ.
Mô hình dựa trên cơ chế attention, đa tầng và vị trí nhúng, cho phép nắm bắt mối quan hệ ngữ cảnh dài. Nó xử lý chuỗi token và sinh ra dự đoán tiếp theo dựa trên xác suất. Kích thước tham số lớn giúp nắm bắt mẫu ngôn ngữ phức tạp nhưng cũng đòi hỏi tài nguyên tính toán và tối ưu hóa để triển khai.
Quá trình huấn luyện bao gồm nhiều nguồn dữ liệu: văn bản từ web, sách, mã nguồn và các dataset đa ngôn ngữ. Mục tiêu tối ưu là tối đa hóa xác suất có điều kiện của chuỗi văn bản, và được cân bằng để giảm thiên lệch cũng như cải thiện khả năng hiểu ngôn ngữ.
66B có thể hỗ trợ chat bot thông minh, tóm tắt văn bản, dịch ngôn ngữ, sinh mã mẫu và phân tích dữ liệu. Tuy nhiên cần coi trọng an toàn, quản trị sai lệch, biện pháp phòng ngộ nhận và tối ưu hóa chi phí triển khai. Người dùng cần đánh giá rủi ro và áp dụng quy trình kiểm tra chất lượng khi tích hợp mô hình vào sản phẩm.
