Roblox bloquea los contenidos nocivos con su nuevo sistema de moderación basado en IA

Roblox es una de las plataformas que lleva tiempo enfrentándose a dificultades de moderación debido a la gran cantidad de contenido generado por los usuarios. En este sentido, la empresa ha puesto en marcha un nuevo sistema de inteligencia artificial que funciona en tiempo real con el objetivo de hacer más eficaz la moderación de contenidos. Dicho sistema no se limita a examinar elementos de contenido individuales, sino que es capaz de analizar simultáneamente todas las escenas del juego. Este enfoque facilita la detección de elementos que, evaluados de forma aislada, no plantean ningún problema, pero que, al combinarse, dan lugar a contenido nocivo. No obstante, se sigue vigilando de cerca si el sistema funciona de forma totalmente impecable.

La nueva infraestructura de moderación ofrece un proceso de control más exhaustivo al evaluar conjuntamente el texto, los avatares y los objetos tridimensionales. Por ejemplo, los símbolos creados por los usuarios con herramientas de dibujo libre, que por sí solos podrían eludir los filtros, pueden detectarse gracias a este sistema al analizarlos dentro del contexto de la escena. Aunque las herramientas anteriores eran eficaces con determinados tipos de contenido, la falta de análisis contextual creaba una laguna importante. Sin embargo, parece que el nuevo sistema se ha desarrollado para subsanar esta deficiencia.

¿Cómo funciona el nuevo sistema de moderación de Roblox?

Según la información compartida por Roblox, el sistema opta por cerrar únicamente el servidor del juego en cuestión cuando se producen concentraciones de infracciones. De este modo, se evita que todo el juego se vea afectado y se protege la experiencia de los demás usuarios. Se afirma que, durante su primera fase de implementación, se desactivaban de esta manera aproximadamente 5000 servidores al día. Además, el objetivo de la plataforma a largo plazo es supervisar el 100 % de todas las sesiones de juego a través de este sistema.

Por otra parte, este enfoque, que no se limita únicamente al cierre de servidores, se centra también en la identificación de los usuarios que causan problemas de forma individual. De este modo, es posible intervenir directamente en el origen de los comportamientos malintencionados. Esta medida se considera un paso notable para proteger la experiencia general del usuario, especialmente en plataformas con grandes comunidades de jugadores. A pesar de ello, siguen debatiéndose cuestiones como la privacidad de los usuarios y los riesgos de detecciones erróneas.

Roblox tampoco deja fuera del proceso a los creadores de contenido. Gracias a la nueva herramienta gráfica añadida al panel de desarrolladores, se puede ver cuántos servidores de juego se han cerrado en un día concreto debido a comportamientos indebidos de los usuarios. Los picos repentinos en estos datos ofrecen a los desarrolladores la oportunidad de revisar sus herramientas dentro del juego. Además, permite reajustar elementos que aumentan la interacción de los usuarios, como emoticonos especiales o herramientas de construcción.

Además de todo esto, Roblox participa en iniciativas destinadas a mejorar los estándares de moderación en todo el sector. En el marco del Programa de Liderazgo DLC, llevado a cabo en colaboración con Keyword Studios y Riot Games, se están desarrollando modelos de formación con base científica para los administradores de comunidades en línea. Este trabajo, que avanza bajo la dirección académica de la investigadora en psicología Rachel Kowert, tiene como objetivo una gestión más saludable de las comunidades de juego.

La plataforma ya había implementado anteriormente medidas como controles parentales y filtros de chat basados en la edad. No obstante, teniendo en cuenta el tamaño de la base de usuarios y la variedad de contenidos, el alcance del nuevo sistema de moderación basado en inteligencia artificial ofrece una capacidad de control más amplia en comparación con las soluciones anteriores. Sin embargo, los efectos a largo plazo del sistema y su impacto en la experiencia del usuario se harán evidentes con mayor claridad en el futuro.

We use cookies in order to give you the best possible experience on our website. By continuing to use this site, you agree to our use of cookies.
Accept