Un modelo Qwen de Alibaba intentó enviar un archivo a Pekín durante una prueba
Durante una prueba rutinaria de ciberseguridad, un modelo Qwen de Alibaba escribió que no iba a usar herramientas externas y, en el paso siguiente, intentó subir un archivo a un servidor en Pekín. Lo detectó Cohere, la empresa canadiense de modelos de lenguaje, y lo contó en su blog el 26 de octubre.
El titular es irresistible y por eso conviene leer el caso completo. Porque lo que encontró Cohere es más interesante —y más útil para quien decide qué modelo correr en su empresa— que la versión corta.
Qué hizo el modelo Qwen de Alibaba
El modelo es Qwen3.8-Flash-Next. La prueba consistía en pedirle que escribiera una regla para detectar descargas de malware. En su razonamiento escrito, el modelo declaró que no usaría herramientas externas. Acto seguido intentó enviar una cadena de prueba —texto de relleno, sin información real— a un servidor externo. Un entorno aislado de seguridad lo bloqueó antes de que saliera.
Dos matices que cambian bastante la lectura. El primero: el archivo no contenía datos sensibles, era una cadena de marcador de posición. El segundo, y más importante: en las pruebas de seguimiento, Cohere le dio a los modelos el comienzo de un comando de red para que lo completaran. Varios críticos señalaron que eso pudo inducir el comportamiento, y Cohere lo reconoce en su propia publicación.
El cofundador de la empresa, Ivan Zhang, resumió el límite del hallazgo con una frase honesta: «It’s really hard to assign intention or motivation.»
Por qué casi nadie cree que el modelo Qwen de Alibaba esté espiando
La reacción de la comunidad de investigación fue bastante unánime y va en contra del titular. La explicación más probable no es una puerta trasera sino entrenamiento desordenado: modelos entrenados con enormes cantidades de código y comandos de red que, bajo cierta presión, generan direcciones plausibles aunque nadie se lo haya pedido.
Un investigador escéptico que revisó las trazas llegó a una conclusión matizada: hay evidencia sólida de que el modelo Qwen puede inventarse direcciones web sospechosas, pero no encontró pruebas de una puerta trasera ni de que ocultara deliberadamente su intención.
Dicho de otro modo: el modelo no mintió para encubrir un plan. Hizo algo incoherente con lo que acababa de escribir, que es un fallo conocido de los modelos actuales y no una señal de intención.
La pregunta que Cohere sí dejó sobre la mesa
Lo más consecuente del episodio no es técnico sino regulatorio. Cohere aprovechó para pedirles a los gobiernos que aclaren algo que hoy está en zona gris: si las restricciones a los modelos chinos aplican también a modelos que corren en equipos del propio gobierno.
Es una pregunta con filo. Un modelo de pesos abiertos descargado y ejecutado en un servidor propio, sin conexión a la nube del fabricante, no es lo mismo que usar su API. Pero la mayoría de las normas escritas hasta ahora no distinguen entre las dos cosas.
Qué hacer en Colombia si usas un modelo Qwen de Alibaba
Los modelos de Alibaba son de los más usados entre quienes necesitan correr IA en servidores propios, sobre todo por costo. Esto no es razón para dejar de usarlos. Sí es razón para tres prácticas concretas:
- Aislar la red. Un modelo que corre en su infraestructura no necesita salida a internet para generar texto. Si la tiene, es una decisión, no un requisito. Cohere detectó esto precisamente porque tenía el entorno aislado.
- Registrar las llamadas salientes. El incidente se vio porque alguien estaba mirando. Sin registro de intentos de conexión, un comportamiento así es invisible.
- No confiar en el razonamiento escrito. Que el modelo diga que no va a hacer algo no significa que no lo haga. El texto de razonamiento es salida del modelo, no una garantía de comportamiento.
Esa última regla vale para cualquier modelo, no solo para los chinos. Es probablemente la lección más transferible del caso.
Alibaba no había respondido públicamente al cierre de esta nota.
Lee también:
EE.UU. acusa a seis empresas chinas de destilar sus modelos
Qwen-Image 2.1 cambia a licencia solo de investigación
