Extrabajador de Anthropic advierte sobre los peligros que conllevan los avances de las IA

Jacob Coxon, un extrabajador de Anthropic, generó controversia al publicar una serie de reflexiones en su cuenta de X después de renunciar a la compañía. Coxon, quien trabajó en investigación de preentrenamiento durante tres años tanto en OpenAI como en Anthropic, expresó su preocupación por el rumbo que están tomando ambas empresas.

Anthropic es una empresa estadounidense especializada en inteligencia artificial, reconocida por desarrollar Claude, una familia de modelos de IA generativa que compite con herramientas como ChatGPT. La compañía se enfoca en la investigación y desarrollo de sistemas avanzados de inteligencia artificial, con énfasis en la seguridad y el desarrollo responsable de esta tecnología.

'Renuncié a Anthropic hoy. Pasé los últimos tres años haciendo investigación de preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de las dos compañías está actuando de manera responsable. Están corriendo directamente hacia una superinteligencia auto-mejorante y apostando con nuestras vidas', advirtió Coxon.

Coxon advirtió sobre los avances en inteligencia artificial que podrían llevar pronto a sistemas con capacidades sobrehumanas y un impacto significativo en diversos ámbitos. Expresó: 'No subestimes el poder de esta tecnología. Pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales'.

'Las personas que están construyendo IA creen sinceramente que podría matarnos a todos para finales de la década. Esto no es un truco de marketing. Si acaso, muchos ejecutivos e investigadores senior moderarán su lenguaje en la prensa para sonar sensatos, pero oigo a las mismas personas expresar miedo en privado. Ninguna otra actividad humana representa este nivel de peligro', aseguró Coxon.

El excolaborador también explicó por qué los laboratorios continúan avanzando a pesar de los riesgos planteados. Según su análisis, mientras algunos no habrían comprendido completamente las consecuencias, otros estarían atrapados en una carrera por llegar primero debido a la falta de responsabilidad percibida en el sector.

'Una respuesta común es: si realmente creen esto, ¿por qué siguen construyéndolo?. En OpenAI, muchos no han interiorizado profundamente las apuestas civilizatorias. En Anthropic, las apuestas están bien comprendidas, pero están atrapados en una carrera por llegar primero: creen que nadie más actuará de manera responsable, por lo que deben hacerlo ellos mismos, a pesar del riesgo', sostuvo Coxon.

Coxon cuestionó que decisiones tan trascendentales queden en manos de empresas privadas y sugirió medidas para evitar posibles consecuencias negativas derivadas del avance descontrolado en inteligencia artificial.

'Aceptar esta carrera e ingresar al endgame es una apuesta que no debería lanzarse desde el Slack de una empresa privada. Intentar hacer un speedrun del alineamiento debería requerir una confianza extraordinaria en que no hay trayectorias mejores disponibles', señaló.

A pesar de sus críticas, Coxon se mostró optimista respecto a la posibilidad de alcanzar acuerdos entre los laboratorios dedicados a la IA. Sin embargo, advirtió que evitar una carrera global podría requerir medidas drásticas como una prohibición temporal para mejorar las capacidades de los modelos.

'Estoy optimista sobre el potencial para la coordinación. Disparos de advertencia como el ataque a Hugging Face han hecho que los acuerdos entre laboratorios sean más viables. No siento que estemos en camino de prevenir una carrera global, lo que podría requerir acciones costosas como una prohibición temporal para mejorar las capacidades de los modelos', concluyó Coxon.

Finalmente, Coxon hizo un llamado a los investigadores del campo para reflexionar sobre si deben continuar avanzando simplemente porque consideran inevitable el desarrollo tecnológico o si es necesario replantearse ciertos aspectos éticos y prácticos relacionados con la inteligencia artificial.

Fuente: Meganoticias