Các dự án mã nguồn mở giúp GPU GeForce RTX tăng gần gấp đôi hiệu năng xử lý AI

GPU GeForce bị giới hạn tốc độ xử lý một số phép toán AI

Trong cộng đồng tự xây dựng hệ thống AI tại nhà, GeForce RTX 3090 vẫn là lựa chọn được nhiều người quan tâm nhờ sở hữu 24GB VRAM với mức giá trên thị trường đồ cũ dễ tiếp cận hơn đáng kể so với các dòng GPU máy trạm. Dung lượng bộ nhớ lớn giúp card có thể chạy nhiều mô hình AI mà không cần đầu tư vào phần cứng chuyên dụng đắt tiền.

Tuy nhiên, GPU GeForce tồn tại một hạn chế liên quan đến tốc độ xử lý một số phép toán trên Tensor Core. Cụ thể, khi thực hiện phép nhân ma trận FP16 hoặc BF16 kết hợp với bước cộng dồn ở độ chính xác FP32, một số GPU GeForce chỉ đạt khoảng một nửa thông lượng so với chế độ cộng dồn FP16. Đây là dạng phép toán quan trọng trong nhiều tác vụ AI, từ huấn luyện mô hình đến suy luận.

Trong khi đó, một số GPU máy trạm sử dụng cùng nền tảng chip, chẳng hạn RTX A6000, có thể xử lý các phép toán này ở tốc độ tối đa. Sự khác biệt khiến những người xây dựng hệ thống AI giá rẻ tìm cách khai thác thêm hiệu năng từ GPU GeForce mà không cần thay thế phần cứng.

Một số dự án mã nguồn mở gần đây tuyên bố đã tìm ra cách vượt qua giới hạn nói trên trên các dòng RTX 20, RTX 30 và RTX 40. Thay vì chỉnh sửa VBIOS hoặc vá trực tiếp trình điều khiển Nvidia, các công cụ này can thiệp vào những thanh ghi điều khiển tốc độ xử lý của GPU trước khi driver được tải.

RTX 3090 Ti và RTX 4090 ghi nhận mức tăng hiệu năng đáng kể

Một trong những dự án đầu tiên là gpu-unlock, do nhà phát triển Zagitta công bố trên GitHub, nhắm đến các GPU RTX 30-series. Công cụ hoạt động dưới dạng mô-đun nhân Linux, can thiệp vào hai thanh ghi điều khiển tốc độ trên GPU rồi thiết lập lại thiết bị trước khi trình điều khiển Nvidia tiếp quản hoạt động như bình thường.

Theo kết quả thử nghiệm do nhà phát triển công bố, RTX 3090 Ti với mức công suất tối đa 450W đạt hiệu năng xử lý BF16 từ 87,5 TFLOPS lên 157,4 TFLOPS sau khi áp dụng phương pháp này. Hiệu năng TF32 cũng tăng gần gấp đôi, trong khi FP16 ghi nhận mức cải thiện khoảng 35%.

Sau đó, các nhà phát triển khác tiếp tục điều chỉnh phương pháp cho những thế hệ GPU còn lại. Dự án gpu-unlock-ada hướng đến kiến trúc Ada Lovelace, bao gồm RTX 4090. Theo số liệu được công bố, thông lượng FP16 của mẫu card này tăng từ 165,6 TFLOPS lên 331,6 TFLOPS, gần gấp đôi so với ban đầu.

Dù vậy, cần phân biệt giữa thông lượng tính toán lý thuyết và hiệu năng trong các tác vụ thực tế. Tài liệu của gpu-unlock-ada cũng lưu ý rằng những con số trên thể hiện khả năng xử lý thô của GPU. Trong một thử nghiệm độc lập được dẫn lại, mức cải thiện khi chạy các phép toán ma trận thực tế trên RTX 4090 dao động từ 12% đến 34%, thấp hơn đáng kể so với mức tăng gần 100% của thông lượng lý thuyết.

Với các GPU cũ hơn, dự án turing-unlock được phát triển cho kiến trúc Turing, bao gồm RTX 2080 Ti. Công cụ này cũng thu hút sự chú ý của cộng đồng AI giá rẻ, đặc biệt với những mẫu RTX 2080 Ti đã được nâng cấp lên 22GB VRAM. Theo kết quả thử nghiệm của nhà phát triển, tốc độ xử lý ma trận FP16 tăng từ 36% đến 64%, tùy thuộc vào kích thước ma trận. Tuy nhiên, BF16 không được hỗ trợ trên kiến trúc Turing do thiếu phần cứng tương ứng.

Không phải mọi tác vụ AI đều nhanh hơn

Dù những kết quả ban đầu khá ấn tượng, lợi ích của các công cụ mở khóa không đồng đều giữa các loại tác vụ. Người dùng chạy chatbot AI tại nhà có thể không nhận thấy tốc độ sinh token tăng đáng kể, bởi quá trình tạo văn bản thường bị giới hạn bởi băng thông bộ nhớ thay vì năng lực tính toán thuần túy của GPU.

Ngược lại, tốc độ xử lý lời nhắc đầu vào được báo cáo có thể cải thiện từ 14% đến 36%. Những tác vụ phụ thuộc nhiều vào phép toán Tensor, chẳng hạn tạo ảnh bằng AI và tinh chỉnh mô hình, được kỳ vọng hưởng lợi rõ rệt hơn khi GPU có thể thực hiện các phép toán tích lũy FP32 với thông lượng cao hơn.

Đối với game thủ, những thay đổi này gần như không mang lại lợi ích đáng kể. Các trò chơi thông thường ít phụ thuộc vào dạng phép toán AI nói trên, nên việc mở khóa tốc độ Tensor Core không đồng nghĩa FPS sẽ tăng tương ứng.

Hiện tại, phần lớn công cụ vẫn tập trung vào Linux, dù đã xuất hiện một số bản thử nghiệm dành cho Windows được kiểm tra trên cấu hình phần cứng cụ thể. Vì các dự án can thiệp vào thanh ghi điều khiển GPU, khả năng tương thích và độ ổn định có thể khác nhau tùy mẫu card, hệ điều hành và phiên bản trình điều khiển.

Hiệu năng cao hơn đi kèm rủi ro phần cứng

Vấn đề đáng cân nhắc nhất là mức độ an toàn khi vận hành GPU sau khi mở khóa. Zagitta cho rằng nguy cơ gây hư hỏng phần cứng tương đối thấp, bởi các cơ chế quản lý điện năng và điều chỉnh hiệu năng thông thường của card vẫn được giữ nguyên.

Tuy nhiên, tài liệu của turing-unlock đưa ra cảnh báo thận trọng hơn. Theo nhà phát triển, Tensor Core có thể tiêu thụ lượng điện năng đáng kể khi hoạt động ở mức cao, và việc khai thác chúng liên tục với cường độ lớn có thể gây rủi ro cho phần cứng.

Do đó, những mức tăng hiệu năng được công bố chưa đủ để khẳng định phương pháp này an toàn với mọi GPU. Người dùng cần cân nhắc hệ thống tản nhiệt, nguồn điện, giới hạn công suất và độ ổn định trước khi thử nghiệm. Đặc biệt, việc can thiệp vào các thanh ghi cấp thấp có thể khiến hệ thống hoạt động không ổn định hoặc phát sinh lỗi khó khắc phục.

Nhìn chung, các dự án gpu-unlock, gpu-unlock-ada và turing-unlock mở ra hướng khai thác hiệu năng AI đáng chú ý cho những người đang sử dụng GPU GeForce. Nếu kết quả tiếp tục được kiểm chứng trên nhiều cấu hình độc lập, chúng có thể giúp kéo dài giá trị sử dụng của những mẫu card cũ như RTX 3090 và RTX 2080 Ti. Tuy nhiên, đây vẫn là các công cụ thử nghiệm do cộng đồng phát triển, chưa phải giải pháp được Nvidia chính thức hỗ trợ, nên người dùng không nên xem những con số hiệu năng ban đầu là cam kết cho mọi tác vụ.