La incorporación de bots de IA en canales de atención al cliente o al ciudadano promete justo lo que cualquier organización quiere oír: respuestas más rápidas, disponibilidad continua, menos carga para los equipos humanos y una experiencia de usuario aparentemente más fluida.
Sobre el papel, todo suena impecable, las empresas optimizan en la dedicación de personal, mientras que las administraciones pueden guiar mejor en trámites farragosos. De hecho, ya vemos asistentes virtuales de este tipo en webs de compañías de todos los tamaños, y también en organismos públicos como la DGT, la Seguridad Social o la Agencia Tributaria.
El problema es que no hablamos ya de aquellos chatbots rígidos que se limitaban a lanzar respuestas prefabricadas. Los nuevos asistentes basados en IA generativa interpretan lenguaje natural, consultan información, mantienen conversaciones complejas y, en algunos casos, pueden incluso activar procesos.
Ahí empieza el verdadero riesgo: cuando la IA deja de ser una herramienta interna de apoyo y se convierte en una interfaz directa entre la organización y el mundo exterior.
Porque un bot que responde a clientes o ciudadanos no deja de suponer un portavoz de la empresa o de la administración que lo despliega. Y aunque el usuario esté advertido de que habla con una inteligencia artificial, lo normal es que tienda a interpretar sus respuestas como información 100% fiable y oficial.
Qué implica poner una IA a hablar con clientes o ciudadanos
Utilizar bots de IA en atención externa supone colocar un sistema probabilístico en primera línea de contacto con usuarios reales. Y conviene no perder de vista esa palabra: probabilístico.
A diferencia de una herramienta de software tradicional, que funciona con reglas cerradas y previsibles, un sistema de IA generativa puede ofrecer respuestas variables ante consultas parecidas. Puede malinterpretar una pregunta, explicar un procedimiento incorrectamente o dar por válida una opción que la organización nunca ha contemplado.
El ejemplo del chatbot MyCity de Nueva York resulta bastante ilustrativo. La herramienta se creó para orientar a pequeños negocios en trámites y normativa municipal, pero acabó en entredicho tras ofrecer respuestas incorrectas e incluso directamente contrarias a la ley. Entre otros errores, dio indicaciones equivocadas sobre salario mínimo, obligaciones fiscales o las sacrosantas normas no escritas sobre propinas, características de los Estados Unidos.
En atención externa, una respuesta incorrecta puede generar confusión, pérdida de confianza, perjuicio económico, reclamaciones y hasta responsabilidades legales.
Además, de poco sirven las advertencias sobre la interacción con el bot, cuando se trata de no perder la confianza de clientes, no de cubrirse las espaldas a efectos legales.
Sin entrar ya en los peligros reputacionales en la era del meme, en la que una captura de pantalla viralizada puede provocar una crisis de imagen.
Datos sensibles, sistemas conectados y prompt injection
El riesgo crece cuando el bot no se limita a contestar preguntas generales, sino que se conecta a sistemas internos de la organización: CRM, ERP, bases de datos, expedientes, etc
Esa conexión puede mejorar mucho la utilidad del servicio, pero también amplía la superficie de ataque. Si el asistente tiene acceso a información corporativa o datos personales, una mala configuración puede provocar fugas de información sensible, ya sea de la propia organización o de terceros.
Y aquí entra uno de los riesgos más específicos de estos sistemas: los ataques de prompt injection.
Dicho de forma sencilla, un usuario malicioso puede intentar manipular el comportamiento del bot introduciendo instrucciones diseñadas para que ignore sus normas internas, revele información, o ejecute acciones indebidas.
En un asistente aislado, el daño puede limitarse a una mala respuesta. Pero en un bot conectado a sistemas internos, el problema cambia de escala, pues una interacción aparentemente inocente puede convertirse en una vía para extraer datos críticos o provocar acciones no autorizadas en herramientas corporativas.
Por eso, cuanto más útil es el asistente, más delicado resulta su despliegue.
La paradoja es evidente: para que el bot aporte verdadero valor debe conectarse al conocimiento y a los sistemas de la organización, pero esa misma conexión lo convierte en un punto crítico de seguridad.
El problema de la trazabilidad
A todo lo anterior se suma otra cuestión menos visible, pero igual de importante: la trazabilidad.
Cuando una IA atiende a un cliente o ciudadano, la organización necesita poder reconstruir qué ha ocurrido. Qué preguntó el usuario, qué datos consultó el sistema, qué respuesta generó, qué versión del modelo estaba activa, qué reglas se aplicaron y si hubo intervención humana o no.
Sin esa trazabilidad, corregir errores se vuelve mucho más difícil. También responder a reclamaciones, demostrar cumplimiento normativo o identificar si un incidente se debe a un fallo de configuración, a un problema del modelo o a un ataque deliberado.
Por eso, un asistente de IA no puede desplegarse como quien instala un widget en la web y espera que todo funcione. Necesita límites claros desde el principio:
- Qué puede responder.
- Qué datos puede consultar.
- Qué acciones puede ejecutar.
- Cuándo debe abstenerse.
- Cuándo debe derivar a una persona.
- Cómo se registran sus interacciones.
- Cómo se revisan sus errores.
- Qué información debe mostrar al usuario sobre su naturaleza automatizada.
Automatización y trazabilidad
Automatizar la atención no significa delegar la responsabilidad. Ese es quizá el punto más importante.
Un bot de IA en atención externa debe operar con datos bien gobernados, límites funcionales precisos, supervisión humana, controles de seguridad, trazabilidad y protocolos de escalado.
Y, por descontado, debe cumplir las obligaciones normativas aplicables, incluidas las exigencias europeas de transparencia cuando una persona interactúa directamente con un sistema de IA.
No se trata de renunciar a estos asistentes, puesto que bien diseñados, su utilidad es clara, de cara a orientar al usuario y agilizar consultas, liberando a los equipos humanos de tareas repetitivas.
Pero, hablamos de poner un sistema no determinista en contacto directo con clientes o ciudadanos, en nombre de una organización y, muchas veces, conectado a información sensible, por lo que desplegarlo alegremente sin railes ni salvaguardas puede tener consecuencias funestas.
Cuanto más visible, operativo y conectado sea un bot de IA, mayor debe ser su gobernanza.
No entenderlo así implica exponerse a una paradoja difícil de justificar: que una herramienta concebida para mejorar la atención termine deteriorando la confianza del usuario, comprometiendo datos sensibles y dañando la reputación de la propia organización.