TechCrunch
Jakub Pachocki sugiere que la perplejidad podría servir como métrica común para establecer límites al progreso de la inteligencia artificial.
Jakub Pachocki, científico jefe de OpenAI, publicó una nueva entrada en el blog de la empresa en la que analiza posibles límites al desarrollo de la inteligencia artificial, centrándose en una métrica denominada perplejidad.
El debate sobre frenar el avance de la IA cobró especial relevancia después de que un investigador que trabajó en OpenAI y Anthropic afirmara que ambas compañías estaban «jugando con nuestras vidas». Incluso el documento de salida a bolsa de Anthropic advirtió que la tecnología podría representar «riesgos catastróficos o existenciales para la sociedad».
Posteriormente, el director ejecutivo de Anthropic, Dario Amodei, presentó un plan para «marcar el ritmo de la frontera», al que aparentemente respaldaron el director ejecutivo de OpenAI, Sam Altman, y el director ejecutivo de SpaceX, Elon Musk. Entre otras cosas, Amodei pidió a las empresas que acordaran «normas de seguridad comunes, así como límites al ritmo del progreso de la IA sin control».
Sin embargo, para establecer un límite de velocidad en el desarrollo de la IA, primero es necesario ponerse de acuerdo sobre cómo se mide esa velocidad. La publicación de Pachocki, que Altman describió como «lo más importante que OpenAI ha publicado en mucho tiempo», sugiere que la perplejidad —sin confundirla con la empresa del mismo nombre— podría ser esa métrica.
En el argumento de Pachocki, los benchmarks que se centran en las «capacidades descendentes» de la IA han quedado rápidamente obsoletos a medida que avanza la tecnología.
— TechCrunch
Según Pachocki, la perplejidad —que «mide qué tan bien un modelo predice el siguiente token en promedio; una perplejidad menor significa mejores predicciones»— ha seguido siendo «informativa». Su publicación incluye un gráfico que muestra cómo ha disminuido la perplejidad de los modelos de OpenAI desde GPT 3.5.
«GPT‑4, con aproximadamente 0,91, fue competente para utilizar el razonamiento en cadena de pensamiento de manera productiva, lo que motivó la posterior obtención específica de esta capacidad y la creación de los modelos de razonamiento modernos», escribió Pachocki. «Ahora, que hemos alcanzado pérdidas por debajo de 0,8, hemos visto el surgimiento de capacidades transformadoras en campos como la ciberseguridad y las matemáticas».
En su opinión, la perplejidad podría servir de base para «un benchmark compartido de inteligencia general», que las empresas de IA podrían utilizar para establecer «límites comunes». Con la perplejidad como medida estándar del progreso de la IA, las compañías se comprometerían a no superar un determinado umbral «hasta que nuestra capacidad para comprender y monitorear el comportamiento de la IA alcance un hito concreto».
Fuente: TechCrunch.
