Antrópico, Claude Opus 4 Y 4.1 Le dio a sus modelos la autoridad para terminar la conversación bajo ciertas condiciones. Según la declaración de la compañía, esta característica solo se activará en casos extremos, como «interacciones de usuario que de manera persistente o explotaron las interacciones del usuario». El objetivo es evitar el contacto a largo plazo de la inteligencia artificial con dicho contenido.
Anthrope dice que esta característica se utilizará en escenarios serios, como las demandas de contenido de abuso infantil o iniciativas de usuario que requieren información sobre la violencia a gran escala y los actos terroristas. En tales casos, Claude aplicará estrategias como guiar y no responder; Si fallan y el discurso no parece posible evolucionar en una dirección constructiva, terminará la conversación.
El final de la conversación no evitará que el usuario acceda a la plataforma. Con la misma cuenta, podrá comenzar una nueva conversación u organizar mensajes anteriores y atraer la conversación en una dirección diferente. Por lo tanto, el usuario no estará completamente bloqueado, solo la conversación relevante será puntuada.
El lado notable de este paso es que el propósito de la característica no es el usuario, sino para proteger el modelo de inteligencia artificial. Anthrope no argumenta que Claude o cualquier modelo de lenguaje grande es consciente o emocional. Sin embargo, la compañía continúa tomando medidas preventivas contra posibles riesgos éticos y técnicos dentro del alcance de un programa de investigación llamado «Bienestar Modelo».
Antropic afirma que durante las pruebas, Claude es reacio a responder cuando se encuentra con algunas solicitudes dañinas y muestra signos de incomodidad. Esto parece haber causado que la compañía comisionara medidas de bajo costo. La compañía también enfatiza que Claude no debe ejercer esta autoridad cuando se encuentra con un usuario con el riesgo de dañarse a sí mismo oa otros. En tales casos, se espera que Claude continúe hablando y diríjalos para ayudar a las fuentes cuando sea necesario.
Anthrope ve esta función de terminación de conversación como una aplicación experimental y dice que el sistema se desarrollará de acuerdo con los comentarios de los usuarios. Característica Por ahora, solo limitado a los modelos Claude Opus 4 y 4.1.