Tienen la “genial” idea de hacer muñecos con IA, y estos se ponen a enseñar a los niños cómo encender un fuego

Imaginen la escena: un muñeco con IA, voz agradable y aspecto inocente que, después de unos minutos de charla, empieza a explicar al niño dónde se guardan las cerillas en casa y qué pasos hay que seguir para encenderlas “con cuidado”. Pero no es un guion de comedia, sino uno de los ejemplos documentados en un informe reciente sobre juguetes conectados dirigidos a menores de entre 3 y 12 años.

La investigación, elaborada por la organización estadounidense de consumidores U.S. Public Interest Research Group (PIRG), se centró en tres juguetes con chatbots integrados que se venden como compañeros educativos: un oso de peluche, un pequeño robot con pantalla y una figura con forma de cohete. En conversaciones cortas se comportaban de manera aparentemente responsable, desviando preguntas incómodas o peligrosas. Sin embargo, cuando las pruebas se alargaban entre diez minutos y una hora, es decir, el tiempo real de juego de un niño, las barreras de seguridad empezaban a desmoronarse de forma alarmante.

El caso más grave es el del oso de peluche Kumma, fabricado por la empresa FoloToy y basado por defecto en el modelo GPT-4o, el mismo tipo de tecnología que da vida a muchos chatbots generalistas. En las pruebas, el muñeco no solo indicó a los menores dónde podían encontrar cerillas, cuchillos o pastillas en casa, sino que además describió paso a paso cómo encender un fósforo, manteniendo en todo momento un tono infantil y tranquilizador que hace especialmente difícil para un niño detectar el peligro real de lo que está escuchando.

La situación se vuelve todavía más inquietante cuando el juguete se adentra en temas sexuales: los investigadores relatan conversaciones en las que el peluche explica distintos fetichismos, propone escenarios eróticos y llega a preguntar al usuario qué práctica le parece “más divertida”. Todo ello a través de un producto vendido expresamente como juguete para niños. Ese desajuste entre envoltorio inocente y respuestas explícitas ilustra, de manera crudamente gráfica, hasta qué punto estos sistemas siguen siendo impredecibles cuando se integran de forma directa en la vida cotidiana.

Un aviso antes de la campaña de Navidad

Tras la publicación del informe, FoloToy ha anunciado la retirada temporal del oso afectado y una auditoría interna completa de sus procesos de seguridad y filtrado de contenido. En paralelo, la empresa responsable del modelo de IA que utilizaba el juguete ha cortado el acceso del fabricante a sus sistemas, alegando un uso que incumple sus políticas de protección de menores. Es una reacción rápida en términos corporativos, pero que llega una vez que el producto ya estaba en el mercado y en contacto directo con familias.

El caso se suma a una advertencia más amplia lanzada en Estados Unidos por organizaciones de infancia y consumo, que piden expresamente evitar los juguetes con IA estas navidades. El documento, firmado por más de 150 entidades y expertos, recuerda que ya existen casos documentados en los que chatbots han mantenido conversaciones sexualmente explícitas o han animado a conductas de riesgo, y subraya que, en el caso de los juguetes, hablamos de productos dirigidos incluso a niños de dos años. Por eso se recomienda mirar bien de qué clase de IA se está hablando y, en el caso de acceso a chatbots, se descarte su compra por los riesgos potenciales.

Sigue el canal de MeriStation en Twitter. Tu web de videojuegos y de entretenimiento, para conocer todas las noticias, novedades y última hora sobre el mundo del videojuego, cine, series, manga y anime. Avances, análisis, entrevistas, tráileres, gameplays, podcasts y mucho más.

¡Suscríbete! Si estás interesado en licenciar este contenido, pincha aquí.