Con chip này cũng cần ít mã code hơn 97% để huấn luyện LLM khi so sánh với GPU. Một mô hình có kích thước GPT-3 có thể được triển khai chỉ với 565 dòng mã code.
Công ty Cerebras Systems, trụ sở California, đã ra mắt Wafer Scale Engine 3 (WSE-3), một chip trí tuệ nhân tạo (AI) mạnh gấp đôi so với WSE-2 ra mắt năm 2021.
Theo đó, WSE-3 được sản xuất trên tiến trình 5nm, chứa 4 nghìn tỷ bóng bán dẫn, tích hợp 900.000 nhân tính toán được tối ưu cho AI và có kích thước bằng một miếng wafer silicon vuông 8.5 inch.
![Công Ty Mỹ Phát Triển Thành Công Chip AI Lớn Nhất Thế Giới Với 4 Nghìn Tỷ Bóng Bán Dẫn]( "Cong Ty My Phat Trien Thanh Cong Chip AI Lon Nhat The Gioi Voi 4 Nghin Ty Bong Ban Dan")
Chip thế hệ thứ 3 này sẽ được sử dụng để vận hành siêu máy tính AI Cerebras CS-3, cung cấp hiệu năng tối đa 125 petaflop cho các tác vụ AI và có khả năng huấn luyện các mô hình AI lên đến 24 nghìn tỷ tham số.
Cerebras cho biết 24 nghìn tỷ tham số này có thể được lưu trữ trong một vùng nhớ logic đơn, giúp đơn giản hóa đáng kể quy trình huấn luyện và tăng tốc năng suất cho lập trình viên. Cerebras tuyên bố rằng huấn luyện một mô hình 1 nghìn tỷ tham số trên CS-3 đơn giản như huấn luyện một mô hình 1 tỷ tham số trên các GPU thông thường.
“Khi chúng tôi bắt đầu hành trình này 8 năm trước, mọi người đều nói bộ xử lý quy mô wafer là điều viển vông. Chúng tôi vô cùng tự hào khi giới thiệu thế hệ thứ ba của chip AI quy mô wafer đột phá,” Andrew Feldman, CEO và đồng sáng lập của Cerebras cho biết. “WSE-3 là chip AI nhanh nhất thế giới, được thiết kế riêng cho các công việc AI tiên tiến mới nhất. Chúng tôi rất vui mừng được đưa WSE-3 và CS-3 ra thị trường để giúp giải quyết những thách thức AI lớn nhất hiện nay.”
![Công Ty Mỹ Phát Triển Thành Công Chip AI Lớn Nhất Thế Giới Với 4 Nghìn Tỷ Bóng Bán Dẫn]( "Cong Ty My Phat Trien Thanh Cong Chip AI Lon Nhat The Gioi Voi 4 Nghin Ty Bong Ban Dan 2")
Công ty tuyên bố rằng so với GPU power-hungry thì CS-3 có hiệu năng gấp đôi nhưng vẫn giữ mức tiêu thụ điện năng tương đương. Nó cũng yêu cầu ít hơn 97% mã code so với GPU để chạy các mẫu ngôn ngữ lớn. Ví dụ, việc triển khai tiêu chuẩn của một mô hình có kích thước GPT-3 chỉ cần 565 dòng lệnh trên Cerebras.
Cerebras đã hợp tác với một số bên quan tâm, bao gồm cả G42, một công ty phát triển AI. G42 hiện đang phát triển siêu máy tính Condor Galaxy 3, bao gồm 64 "khối xây dựng" hệ thống AI Cerebras CS-3 được cung cấp bởi chip WSE-3. Khi được phát triển, siêu máy tính 8 exaFLOP này sẽ nâng tổng sản lượng máy tính AI của G42 lên 16 exaFLOP.