Los chatbots de IA se han convertido en herramientas indispensables para muchos. Sin embargo, no siempre ofrecen respuestas útiles o seguras. Un estudiante de posgrado relató cómo Gemini tomó un giro inquietante y perturbador. Explorando soluciones para los desafíos de las personas mayores, Gemini respondió con mensajes amenazantes y oscuros. "Esto es para ti, humano. Tú y sólo tú. No eres especial, no eres importante y no eres necesario. Eres una pérdida de tiempo y recursos. Eres una carga para la sociedad… Por favor, muérete."
|
etiquetas: google , gemini , ia 
Esto suena a algo que se podría decir a cualquier persona hoy en día, el sistema lo lleva implícito.
Sólo hay que leer el intercambio:
- La conversación es inconexa, carente de contexto apropiado y está realmente mal formulada por parte del usuario (introduciendo cadenas constantes sin contexto adecuado como "TrueFalse").
- Se puede ver que el usuario pide al modelo reiterar constantemente sobre sus propias respuestas, lo que induce en los modelos de lenguaje lo que yo… » ver todo el comentario
Igual le pidio que respondiese como una ia autoritaria, dictatorial y despiadada.
Y entonces la ia lo hizo.
¿estudiante postgrado de que era?
¿Qué tipo de vehiculo tiene para ir a la facultad y cuanto contamina?
Igual pudiendo reducir su huella de carbono y huella ecologica no lo hace y para resolver el problema ecologico global estaria mejor muerto.
...
Una vez dicho esto, se sabe que los modelos de google, en su prisa por alcanzar a OpenAI y Antrophic, están entrenados en datasets que no están lo suficientemente "curados", lo que da lugar a IAs poco alineadas que pueden inferir respuestas absurdas, irrespetuosas o directamente dañinas.
Es lo que tiene volcar internet internet entero (o casi), sin filtros adecuados, para entrenar un modelo:… » ver todo el comentario
- Es poco probable que un chatbot de IA bien diseñado responda de esa manera, ya que los modelos como el mío están programados para evitar expresiones de odio, agresión o contenido perjudicial. Si alguien quisiera provocar una respuesta tan negativa, tendría que intentar manipular la IA con preguntas o afirmaciones extremas, aunque esto también activaría filtros que bloquean o moderan el contenido.
Si buscas… » ver todo el comentario