Roblox công bố AI mã nguồn mở phát hiện nguy cơ xâm hại trẻ em trực tuyến

Trước áp lực pháp lý và lo ngại từ cộng đồng, Roblox công bố hệ thống AI Sentinel miễn phí và mã nguồn mở, giúp theo dõi hành vi dài hạn để phát hiện sớm các mối đe dọa an toàn cho trẻ em trên nền tảng.

Công cụ AI theo dõi hành vi dài hạn mang tên “Sentinel”

Roblox vừa giới thiệu Sentinel, một hệ thống trí tuệ nhân tạo mã nguồn mở có khả năng phát hiện sớm các dấu hiệu lạm dụng, dụ dỗ trẻ em trong các cuộc trò chuyện trực tuyến. Công cụ này được cung cấp miễn phí, cho phép các nền tảng khác tích hợp vào hệ thống kiểm duyệt nội dung của mình.

Sentinel đã giúp phát hiện và chuyển hàng trăm vụ việc nghi ngờ đến cơ quan chức năng. Không giống các bộ lọc từ ngữ thông thường, Sentinel không chỉ “bắt” từ khóa nhạy cảm mà theo dõi mẫu hội thoại theo thời gian, phân tích từng phút trong khoảng 6 tỷ tin nhắn chat mỗi ngày để nhận diện rủi ro.

Roblox ra mắt Sentinel để theo dõi và đảm bảo an toàn cho người chơi “nhí” của mình

Cơ chế hoạt động và cải thiện liên tục

Sentinel theo dõi hành vi lâu dài của người dùng để xác định xu hướng giao tiếp an toàn hay nguy hiểm, sau đó chuyển những trường hợp nghi ngờ cho đội ngũ kiểm duyệt xem xét kỹ hơn. Khi cần thiết, Roblox sẽ báo cáo tới cơ quan thực thi pháp luật và Trung tâm Quốc gia về Trẻ em Mất tích và Bị bóc lột (Mỹ).

Biểu đồ cách thức hoạt động của Sentinel

Bối cảnh pháp lý và cam kết an toàn

Việc ra mắt Sentinel diễn ra trong lúc Roblox đối mặt với các vụ kiện liên quan đến an toàn trẻ em. Roblox khẳng định đã áp dụng nhiều biện pháp như cấm chia sẻ thông tin cá nhân, giới hạn tin nhắn trực tiếp với người dùng dưới 13 tuổi nếu không có sự đồng ý của phụ huynh, và giữ quyền giám sát nội dung trò chuyện để đảm bảo an toàn.

Công ty thừa nhận không hệ thống nào đảm bảo an toàn tuyệt đối, nhưng cho rằng AI như Sentinel sẽ tăng đáng kể khả năng phát hiện sớm và ngăn chặn các hành vi nguy hiểm.