Pausar el desarrollo de la IA podría salir mal. ¿Cómo mitigar los riesgos?
Estamos presionando para una pausa en el desarrollo de grandes modelos de IA generales. Ver nuestra propuesta para más detalles.
Esta medida no está exenta de riesgos. En este artículo, abordaremos algunos de estos riesgos y cómo mitigarlos.
Pausar demasiado pronto
Si se produce una pausa en la IA antes de que los riesgos sean lo suficientemente grandes, podríamos perder los beneficios de la IA. En última instancia, debemos equilibrar los riesgos con los costos de pausar.
En nuestra opinión, la posibilidad de que la IA cause riesgos catastróficos pronto ya es lo suficientemente grande como para justificar una pausa en este momento. Como dijo Stuart Russell, cuando se enfrenta a un plazo incierto, uno debe tomar la acción que sería óptima dado el plazo más corto.
Cuanto más esperemos, más personas pensarán que una pausa no es posible, y más personas fantasearán e invertirán en aplicaciones de IA teóricamente posibles. Así que más dinero irá a presionar en contra de personas como nosotros.
Además, desde protestar y presionar hasta convencer a las personas en el poder, para hacer un tratado que tenga efecto, podría tomar muchos años. Sin mencionar que incluso si no fuera el caso, pausar temprano nos da espacio para respirar para que los actores malos y los avances algorítmicos no nos hagan caer en el precipicio.
Pausar durante demasiado poco tiempo / solo durante 6 meses
La pausa que proponemos es de duración indeterminada. No deberíamos reanudar hasta que haya un consenso amplio sobre cómo desarrollar IA de manera segura. Técnicamente y democráticamente hablando. Nuestra propuesta no es “durante al menos 6 meses” como la carta abierta publicada por el Instituto del Futuro de la Vida .
Pausar durante demasiado tiempo
Nick Bostrom, una de las primeras voces que expresaron preocupación sobre la IA, se preocupa de que en algún momento podríamos preocuparnos demasiado por los riesgos de la IA , aunque ese momento aún no ha llegado. Si la preocupación por la IA sigue aumentando y obtenemos una pausa, podría llevar a una situación en la que el desarrollo de la IA en su totalidad se vuelva tabú o ilegal. Si eso sucede, nunca cosecharemos los beneficios de la IA, y mientras tanto, podríamos enfrentar otros riesgos existenciales que podríamos haber evitado con la ayuda de la IA.
Podemos abordar este riesgo declarando claramente bajo qué condiciones debería reanudarse el desarrollo de la IA. Como dijimos, sugerimos que el desarrollo de la IA debería reanudarse cuando sea posible construir IA segura. Además, solo proponemos prohibir el desarrollo de modelos muy específicos: los modelos generales más grandes.
La centralización de la IA podría empeorar los riesgos de toma de control
No proponemos una centralización del desarrollo de la IA en una sola organización. Eso haría que el desarrollo de la IA fuera más controlable, pero también crearía un solo punto de falla, que la codicia y la estupidez humanas podrían aprovechar. Decidir si un proyecto tipo CERN/Apolo/Manhattan sería bueno o no debería discutirse multilateralmente, una vez que ya hayamos colaborado en una pausa y estemos fuera de una carrera.
La descentralización hará que actores menos conscientes de la seguridad lideren la carrera
Si se sumerge en la historia de OpenAI, DeepMind y Anthropic, encontrará que todos ellos fueron fundados por personas que están muy preocupadas por los riesgos de la IA. De alguna manera, somos afortunados de que las mayores empresas de IA en este momento tengan la seguridad de la IA como parte de su cultura. Quizás una pausa les da a un gran número de empresas el tiempo para ponerse al día, lo que podría llevar a un gran grupo de empresas que son menos conscientes de la seguridad.
Si estuviéramos pidiendo una pausa basada en el tiempo, esta sería una preocupación justa. Pero lo que estamos pidiendo es una pausa hasta que podamos probar que la IA puede ser construida de manera segura, así que no deberíamos terminar con organizaciones que construyen IA insegura después de que se levante la pausa.
Las pausas nacionales o locales podrían fallar
Si un país pausa el desarrollo de la IA, otros países seguirán desarrollando la IA. Podríamos terminar en un mundo donde la primera AGI sea desarrollada por un actor no cooperativo, lo que probablemente sea un mal resultado. Los incentivos para pausar individualmente son débiles, porque los beneficios del desarrollo de la IA son grandes, y los riesgos del desarrollo de la IA son globales. Esta es una situación clásica de dilema del prisionero .
La solución a esto es hacer que la pausa sea internacional a través de un tratado, lo que es lo que estamos proponiendo. Esto también requiere un mecanismo de aplicación fuerte. Los países que no cumplan con el tratado deberían ser castigados. Las sanciones económicas pueden ser suficientes, pero la intervención militar podría ser necesaria en casos extremos.
Un actor en particular que algunas personas creen que no pausará es China. No estamos de acuerdo con esta evaluación y puede leer sobre ello aquí.
El desarrollo de la IA podría ir bajo tierra
Si el desarrollo de la IA (por encima de un cierto umbral) es prohibido, podría ir bajo tierra. Los beneficios potenciales son tan grandes que un actor estatal (o no estatal) podría decidir desarrollar la IA en secreto. Eso significa que el primero en lograr la superinteligencia sería un actor no cooperativo, lo que probablemente sea un mal resultado.
Al rastrear las ventas de GPU, podemos detectar el desarrollo de la IA a gran escala. Dado que los clústeres de GPU de modelos de vanguardia requieren cantidades inmensas de energía y edificios personalizados, la infraestructura física necesaria para entrenar un modelo grande es difícil de ocultar.
Las potencias occidentales (EE. UU., Países Bajos y Taiwán) controlan la cadena de suministro de GPU lo suficientemente fuerte como para evitar que los estados no cooperativos obtengan GPU. Los actores no estatales es probable que no puedan reunir suficientes recursos en secreto para entrenar una AGI durante al menos una década después de que la AGI se vuelva posible para las grandes empresas de tecnología. Además, el hecho de que ya no haya un incentivo comercial ayudaría a reducir la cantidad de desarrollo de la IA bajo tierra.
El exceso de hardware podría causar un despegue rápido
Si no incluimos la I+D de hardware en la pausa, el rendimiento precio de las GPU seguirá duplicándose cada 2,5 años, como lo hizo entre 2006 y 2021. Esto significa que los sistemas de IA se volverán al menos 16 veces más rápidos después de diez años y 256 veces más rápidos después de veinte años, simplemente debido a un mejor hardware. Si se levanta la pausa de golpe, estas mejoras de hardware estarían disponibles inmediatamente para entrenar modelos más potentes de manera más barata: un exceso de hardware. Esto causaría un aumento rápido y bastante discontinuo en las capacidades de la IA, lo que podría llevar a un escenario de despegue rápido y todos los riesgos que conlleva.
Esta es una preocupación seria, aunque hay argumentos sólidos que se pueden hacer que el exceso es improbable que ocurra .
PauseAI apoya una pausa en las mejoras relevantes de cómputo también. Además, como dijimos, el botón de “play” no debería presionarse si todavía no sabemos cómo construir IA segura. Y eso incluye el entrenamiento y la implementación de modelos con hardware más avanzado.
El desarrollo de la IA es necesario para aprender a hacer que la IA sea segura
La mayoría de las personas creen que algún nivel de alineación prosaica/incremental es necesario, así que si se implementa una pausa completa sin excepciones, no se haría suficiente progreso en la alineación y eventualmente los actores que no se preocupan por la seguridad y la pausa desarrollarían una IA poderosa y no alineada.
Esa es una razón por la que proponemos tener una forma de aprobar ciertas ejecuciones de entrenamiento. Eso nos permitiría aprender de sistemas más grandes si podemos asegurar su seguridad. Sin embargo, en el peor de los casos en el que no podemos asegurar su seguridad y progresar lo suficiente en la alineación, todavía tenemos la opción de intentar aumentar nuestra inteligencia a través de otras tecnologías.
Las mejoras algorítmicas o de ejecución pueden hacer que los modelos más pequeños sean peligrosos también
Hemos visto que los cambios en los datos de entrenamiento, los algoritmos de entrenamiento o el uso de ejecución pueden llevar a mejoras significativas en el rendimiento del modelo. Es por eso que no nos estamos enfocando solo en el tamaño del modelo. Estamos proponiendo pausar el desarrollo de modelos de IA generales grandes que sean 1) más grandes que 10^12 parámetros, 2) tengan más de 10^25 FLOPs utilizados para el entrenamiento o 3) capacidades que se espera que superen a GPT-4. Esta tercera condición se agrega para incluir también modelos más pequeños que pueden ser peligrosos. Hacer cumplir un límite en las capacidades es complicado, ya que es difícil predecir las capacidades de un modelo antes de que se entrene.
Dado que las apuestas son tan altas, debemos ser cautelosos, así que también apoyamos una pausa en las mejoras relevantes algorítmicas y de ejecución. Sin embargo, hacer cumplir esto será más difícil que hacer cumplir las regulaciones de cómputo, porque el hardware es más fácil de rastrear que el software.
Si solo prohibimos los modelos de IA generales, todavía podríamos obtener AGI a través de modelos estrechos
Queremos restringir los modelos peligrosos que tienen capacidades peligrosas como manipular a los humanos, planificar estratégicamente y escribir código. No queremos restringir los modelos de IA muy estrechos, como clasificadores de imágenes utilizados en autos autónomos o diagnóstico médico. Afortunadamente, prácticamente todos estos modelos estrechos caen fuera de nuestras propuestas restricciones, porque estos modelos tienden a ser relativamente pequeños.
Un modelo estrecho lo suficientemente poderoso (entrenado con datos del mundo real) podría ser probable que se generalice a capacidades peligrosas. Por ejemplo, un modelo generador de imágenes muy poderoso podría ser capaz de hacer imágenes de código funcional, o un modelo de video muy poderoso podría ser capaz de generar una película sobre una IA que planea una toma de control exitosa. Los modelos estrechos a menudo se vuelven mejores en su tarea estrecha al generalizarse. Hasta cierto punto, esto es lo que hace que los LLM como ChatGPT sean tan exitosos: están entrenados solo para “predecir la siguiente palabra”, pero para que sean realmente buenos en esto, necesitan aprender mucho sobre el mundo.
Por lo tanto, no hemos definido “estrecho” o “general” IA en nuestra propuesta, sino que usamos tres condiciones relacionadas con el tamaño del modelo, el cómputo utilizado y las capacidades.
Si se implementa una pausa, debemos esperar un compromiso político
Tenemos una propuesta específica que creemos que es óptima. Sin embargo, no debemos esperar que nuestra propuesta se implemente exactamente como la queremos. La política es desordenada e impredecible, así que debemos esperar que nuestros esfuerzos de presión tengan efectos vagamente direccionales, en lugar de efectos precisos. Si obtenemos alguna forma de pausa, pero no es exactamente lo que queremos, esto podría terminar siendo peor que no tener pausa en absoluto. Por ejemplo:
- Una pausa nacional que permitiría que actores potencialmente peores lleguen a la AGI primero
- Una pausa internacional que no se hace cumplir adecuadamente, lo que lleva a un resultado similar
Podemos mitigar esto siendo consistentes y claros en nuestras comunicaciones sobre lo que queremos.
Pausar demasiado tarde
Este es el riesgo de fracaso más obvio y probable: si pausamos demasiado tarde, es probable que nos encontremos con riesgos catastróficos. Y eso podría suceder pronto, como explicamos en nuestra página de urgencia.
Es por eso que necesitamos su ayuda para presionar por una pausa ahora.