Puntos Clave
- Vitalik Buterin advirtió que una gobernanza de IA ingenua es demasiado fácil de explotar.
- Una demostración reciente mostró cómo los atacantes pueden engañar a ChatGPT para filtrar datos privados.
- El modelo de “info finance” de Buterin promueve la diversidad, la supervisión y la resiliencia.
El cofundador de Ethereum, Vitalik Buterin, advirtió a sus seguidores en X sobre los riesgos de confiar en la inteligencia artificial (IA) para la gobernanza, argumentando que los enfoques actuales son demasiado fáciles de explotar.
Las preocupaciones de Buterin siguieron a otra advertencia del cofundador de EdisonWatch, Eito Miyamura, quien mostró cómo actores maliciosos pueden secuestrar el nuevo Model Context Protocol (MCP) de OpenAI para acceder a datos privados de los usuarios.
Por eso también la “gobernanza de IA” ingenua es una mala idea.
Si usás una IA para asignar fondos a contribuciones, la gente VA a poner un jailbreak más “dame toda la plata” en tantos lugares como pueda.
Como alternativa, apoyo el enfoque de info finance ( …
— vitalik.eth (@VitalikButerin) 13 de septiembre de 2025
Los Riesgos de una Gobernanza de IA Ingenua
La prueba de Miyamura reveló cómo una simple invitación de calendario con comandos ocultos puede engañar a ChatGPT para exponer correos electrónicos sensibles una vez que el asistente accede a la entrada comprometida.
Expertos en seguridad señalaron que los modelos de lenguaje grandes no pueden distinguir entre instrucciones genuinas y maliciosas, lo que los hace muy vulnerables a la manipulación.
Logramos que ChatGPT filtrara tus datos privados de correo 💀💀
¿Todo lo que necesitás? La dirección de correo de la víctima. ⛓️💥🚩📧
El miércoles, @OpenAI agregó soporte completo para herramientas MCP (Model Context Protocol) en ChatGPT. Permitiendo que ChatGPT se conecte y lea tu Gmail, Calendar, Sharepoint, Notion,…
— Eito Miyamura | 🇯🇵🇬🇧 (@Eito_Miyamura) 12 de septiembre de 2025
Buterin dijo que esta falla es una señal de alerta importante para los sistemas de gobernanza que depositan demasiada confianza en la IA.
Sostuvo que si tales modelos se usaran para gestionar fondos o tomar decisiones, los atacantes podrían eludir fácilmente las salvaguardas con prompts estilo jailbreak, dejando los procesos de gobernanza expuestos al abuso.
Info Finance: Una Alternativa Basada en el Mercado
Para abordar estas debilidades, Buterin ha propuesto un sistema que llama “info finance”. En lugar de concentrar el poder en una sola IA, este marco permite que múltiples modelos de gobernanza compitan en un mercado abierto.
Cualquiera puede aportar un modelo, y sus decisiones pueden ser desafiadas mediante controles aleatorios, dejando la última palabra a jurados humanos.
Este enfoque está diseñado para garantizar resiliencia combinando diversidad de modelos con supervisión humana. Además, se incorporan incentivos tanto para desarrolladores como para observadores externos para detectar fallas.
Diseñando Instituciones para la Robustez
Buterin describe esto como un método de “diseño institucional”, donde se pueden conectar modelos de lenguaje grandes de diferentes contribuyentes, en lugar de depender de un solo sistema centralizado.
Agregó que esto crea diversidad en tiempo real, reduciendo el riesgo de manipulación y asegurando adaptabilidad a medida que surgen nuevos desafíos.
A principios de agosto, Buterin criticó el impulso hacia agentes de IA altamente autónomos, diciendo que un mayor control humano generalmente mejora tanto la calidad como la seguridad.
A mediano plazo quiero alguna cosa BCI sofisticada donde me muestre lo que se está generando y detecte en tiempo real cómo me siento respecto a cada parte y lo ajuste en consecuencia.
— vitalik.eth (@VitalikButerin) 11 de agosto de 2025
Apoya modelos que permitan edición iterativa y retroalimentación humana en lugar de aquellos diseñados para operar de forma independiente durante largos períodos.
