Nhiệm vụ của đội ngũ là dựng lại hình ảnh khuôn mặt của một người từ một đoạn ghi âm giọng nói.
Các nhà khoa học tại Viện Công nghệ Massachusetts (MIT-Mỹ) lần đầu tiên thành công trong việc áp dụng thuật toán phục dựng chân dung chỉ từ giọng nói.
Một thuật toán AI có tên Speech2Face, được phát triển bởi các nhà khoa học trí tuệ nhân tạo (AI) tại Phòng thí nghiệm Khoa học Máy tính và Trí tuệ Nhân tạo (CSAIL) của MIT, giúp tái tạo khuôn mặt của một người chỉ trong nháy mắt chỉ với một đoạn ghi âm giọng nói ngắn và kết quả rất ấn tượng.
![Chỉ với giọng nói, công nghệ AI có thể phục dựng chân dung khớp với khuôn mặt của bạn]( "Chi voi giong noi, cong nghe AI co the phuc dung chan dung khop voi khuon mat cua ban")
Đầu tiên, các nhà nghiên cứu đã thiết kế và đào tạo một mạng nơ-ron nhân tạo học, sử dụng hàng triệu video từ YouTube và internet của những người đang nói chuyện.
Trong quá trình đào tạo này, AI đã học được mối tương quan giữa âm thanh của giọng nói và vẻ bề ngoài của người nói. Những mối tương quan đó cho phép AI đưa ra những phỏng đoán tốt nhất về tuổi, giới tính và quốc gia của người nói.
Không có sự tham gia của con người vào quá trình đào tạo. AI chỉ được cung cấp một lượng lớn video và có nhiệm vụ tìm ra mối tương quan giữa đặc điểm giọng nói và đặc điểm khuôn mặt.
![Chỉ với giọng nói, công nghệ AI có thể phục dựng chân dung khớp với khuôn mặt của bạn 2]( "Chi voi giong noi, cong nghe AI co the phuc dung chan dung khop voi khuon mat cua ban 2")
Sau khi được đào tạo, AI rất giỏi trong việc tạo ra các bức chân dung chỉ dựa trên các bản ghi âm giọng nói giống với những gì người nói thực sẽ trông như thế nào.
Để phân tích sâu hơn về độ chính xác của việc tái tạo khuôn mặt, các nhà nghiên cứu đã chế tạo một "bộ giải mã khuôn mặt". Bộ giải mã sẽ tạo ra một bản tái tạo chuẩn khuôn mặt của một người từ ảnh tĩnh của họ, bỏ qua "các biến thể không liên quan", chẳng hạn như tư thế và ánh sáng. Điều này cho phép các nhà khoa học dễ dàng so sánh các bản dựng lại giọng nói với các tính năng thực tế của âm thanh.
![Chỉ với giọng nói, công nghệ AI có thể phục dựng chân dung khớp với khuôn mặt của bạn 3]( "Chi voi giong noi, cong nghe AI co the phuc dung chan dung khop voi khuon mat cua ban 3")
Một lần nữa, kết quả của AI rất khớp với khuôn mặt thật trong nhiều trường hợp được nghiên cứu từ nhiều độ tuổi, giới tính và sắc tộc khác nhau.
AI kết xuất giọng nói có thể tạo hình ảnh động của một người trong cuộc gọi điện thoại hoặc cuộc gọi hội nghị video khi danh tính của người đó không xác định và họ không muốn chia sẻ khuôn mặt thật của mình.
Các nhà nghiên cứu đã viết trong bài báo được công bố tại một hội nghị về thị giác máy tính và nhận dạng mẫu (CVPR): "Các khuôn mặt được tái tạo cũng có thể được sử dụng trực tiếp để chỉ định giọng nói do máy tạo ra được sử dụng trong các thiết bị gia dụng và trợ lý ảo".
![Chỉ với giọng nói, công nghệ AI có thể phục dựng chân dung khớp với khuôn mặt của bạn 4]( "Chi voi giong noi, cong nghe AI co the phuc dung chan dung khop voi khuon mat cua ban 4")
Cơ quan pháp luật cũng có thể sử dụng AI để tạo chân dung nghi phạm từ bằng chứng duy nhất là đoạn ghi âm giọng nói. Tuy nhiên, các ứng dụng của chính phủ nhất định sẽ là chủ đề của rất nhiều cuộc tranh luận và tranh luận liên quan đến quyền riêng tư.