AI Của Alibaba Có Thể "Biến" Bức Hoạ Monalisa Biết Nói Và Hát

mô hình Emote Portrait Live là một bước tiến quan trọng trong việc biến ảnh tĩnh thành chuyển động.

Các kỹ sư Trung Quốc tại Viện Điện toán Thông minh (IIC) của Alibaba, vừa phát triển một ứng dụng AI có tên Emote Portrait Live, có thể "biến hình" một bức ảnh tĩnh có thể nói và hát được.

Công nghệ đằng sau mô hình Emote Portrait Live dựa trên khả năng tổng hợp của các mô hình khuếch tán. Mô hình khuếch tán là một mô hình toán học được sử dụng để mô tả cách mọi thứ lan truyền hoặc khuếch tán theo thời gian. Trong trường hợp này, mô hình khuếch tán được sử dụng để mô tả cách các chuyển động trên khuôn mặt lan truyền từ một điểm khởi đầu đến các phần khác của khuôn mặt.

AI Của Alibaba Có Thể Biến Bức Hoạ Monalisa Biết Nói Và Hát

Mô hình Emote Portrait Live sử dụng mô hình khuếch tán để tổng hợp trực tiếp video đầu nhân vật từ hình ảnh được cung cấp và bất kỳ clip âm thanh nào. Quá trình này bỏ qua nhu cầu xử lý trước phức tạp hoặc biểu diễn trung gian, do đó đơn giản hóa việc tạo video đầu người biết nói.

Mục tiêu của nhóm nghiên cứu là phát triển một khung đầu biết nói có thể nắm bắt được nhiều biểu cảm thực tế trên khuôn mặt, bao gồm cả những biểu cảm vi mô tinh tế và cho phép chuyển động đầu tự nhiên. Để làm được điều đó, các nhà nghiên cứu đã đưa các cơ chế điều khiển ổn định vào mô hình của họ, cụ thể là bộ điều khiển tốc độ và bộ điều khiển vùng mặt, để cải thiện độ ổn định trong quá trình tạo ra.

AI Của Alibaba Có Thể Biến Bức Hoạ Monalisa Biết Nói Và Hát 2

So với các AI trước đây chỉ có thể biến đổi miệng và một phần của khuôn mặt, thì Emote có thể tạo nét mặt, tư thế, nhíu mày hoặc lắc lư. Đặc biệt, phần miệng được AI tạo ra trông rất tự nhiên. 

Trong một số video do Alibaba công bố, hình ảnh sẽ biến thành video và hát các bài được nhập vào nhanh chóng như bức hoạ Mona Lisa kể lại đoạn độc thoại của Rosalind trong As You Like It , Màn 3, Cảnh 2 của Shakespeare.

Bài viết liên quan

Bài viết đọc nhiều nhất

Bài viết mới trong ngày

GTA 6 thu về hơn 1,5 tỷ USD doanh thu đặt mua trước dù chưa chính thức phát hành

GTA 6 thu về hơn 1,5 tỷ USD doanh thu đặt mua trước dù chưa chính thức phát hành

Khoa Nguyen

Grand Theft Auto VI (GTA 6) được ước tính đã tạo ra hơn 1,5 tỷ USD doanh thu từ hoạt động đặt trước, dù người chơi vẫn chưa được trải nghiệm phiên bản hoàn chỉnh. Theo dữ liệu từ công ty nghiên cứu thị trường Sensor Tower được CNN dẫn lại, sức hút của bom tấn Rockstar Games đang vượt xa nhiều tựa game lớn từng phát hành trước đây.

Game Online
Cơn sốt "Gia đình Điệp viên" bùng nổ trở lại: "Spy x Family" chính thức công bố mùa 4 truyền hình và phần phim điện ảnh thứ hai cùng ra mắt trong năm 2027

Cơn sốt "Gia đình Điệp viên" bùng nổ trở lại: "Spy x Family" chính thức công bố mùa 4 truyền hình và phần phim điện ảnh thứ hai cùng ra mắt trong năm 2027

hoanlagvn

Một thông tin chấn động vừa thổi bùng niềm hân hoan trên khắp các diễn đàn yêu thích hoạt hình Nhật Bản toàn cầu. Thương hiệu anime quốc dân "Spy x Family" (tựa Việt: Gia đình Điệp viên) mới đây đã chính thức công bố kế hoạch sản xuất đồng thời hai siêu dự án trọng điểm: mùa anime truyền hình thứ tư và một phần phim điện ảnh màn ảnh rộng hoàn toàn mới, cả hai đều được ấn định trình làng khán giả trong năm 2027.

Giải trí
Instagram thử nghiệm công cụ phát hiện video và nội dung hài bị AI sao chép

Instagram thử nghiệm công cụ phát hiện video và nội dung hài bị AI sao chép

Khoa Nguyen

Instagram đang thử nghiệm Content Protection, công cụ mới giúp nhà sáng tạo phát hiện những video bị sao chép và kiểm soát cách nội dung của họ xuất hiện trên nền tảng. Meta đồng thời phát triển công nghệ nhận diện kịch bản và câu thoại bị đánh cắp, kể cả khi người khác sử dụng AI để thay đổi hình ảnh hoặc nhân vật trong video.

Công Nghệ
Lên đầu trang