Anthropic Looks to Fund a New, More Comprehensive Generation of AI Benchmarks

Anthropic is launching a program to fund the development of new types of benchmarks capable of evaluating the performance and impact of AI models, including generative models like its own Claude.

Unveiled on Monday, Anthropic’s program will dole out payments to third-party organizations that can, as the company puts it in a blog post, “effectively measure advanced capabilities in AI models.” Those interested can submit applications to be evaluated on a rolling basis.

“Our investment in these evaluations is intended to elevate the entire field of AI safety, providing valuable tools that benefit the whole ecosystem,” Anthropic wrote on its official blog. “Developing high-quality, safety-relevant evaluations remains challenging, and the demand is outpacing the supply.”

As we’ve highlighted before, AI has a benchmarking problem. The most commonly cited benchmarks for AI today do a poor job of capturing how the average person actually uses the systems being tested. There are also questions as to whether some benchmarks, particularly those released before the dawn of modern generative AI, even measure what they purport to measure, given their age.

The very-high-level, harder-than-it-sounds solution Anthropic is proposing is creating challenging benchmarks with a focus on AI security and societal implications via new tools, infrastructure, and methods.

The company calls specifically for tests that assess a model’s ability to accomplish tasks like carrying out cyberattacks, “enhance” weapons of mass destruction (e.g., nuclear weapons), and manipulate or deceive people (e.g., through deepfakes or misinformation). For AI risks pertaining to national security and defense, Anthropic says it’s committed to developing an “early warning system” of sorts for identifying and assessing risks, although it doesn’t reveal in the blog post what such a system might entail.

Anthropic also says it intends its new program to support research into benchmarks and “end-to-end” tasks that probe AI’s potential for aiding in scientific study, conversing in multiple languages, and mitigating ingrained biases, as well as self-censoring toxicity.

To achieve all this, Anthropic envisions new platforms that allow subject-matter experts to develop their own evaluations and large-scale trials of models involving “thousands” of users. The company says it’s hired a full-time coordinator for the program and that it might purchase or expand projects it believes have the potential to scale.

“We offer a range of funding options tailored to the needs and stage of each project,” Anthropic writes in the post, though an Anthropic spokesperson declined to provide any further details about those options. “Teams will have the opportunity to interact directly with Anthropic’s domain experts from the frontier red team, fine-tuning, trust and safety, and other relevant teams.”

Anthropic’s effort to support new AI benchmarks is a laudable one — assuming, of course, there’s sufficient cash and manpower behind it. But given the company’s commercial ambitions in the AI race, it might be a tough one to completely trust.

In the blog post, Anthropic is rather transparent about the fact that it wants certain evaluations it funds to align with the AI safety classifications it developed (with some input from third parties like the nonprofit AI research org METR). That’s well within the company’s prerogative. But it may also force applicants to the program into accepting definitions of “safe” or “risky” AI that they might not agree with.

A portion of the AI community is also likely to take issue with Anthropic’s references to “catastrophic” and “deceptive” AI risks, like nuclear weapons risks. Many experts say there’s little evidence to suggest AI as we know it will gain world-ending, human-outsmarting capabilities anytime soon, if ever. Claims of imminent “superintelligence” serve only to draw attention away from the pressing AI regulatory issues of the day, like AI’s hallucinatory tendencies, these experts add.

In its post, Anthropic writes that it hopes its program will serve as “a catalyst for progress towards a future where comprehensive AI evaluation is an industry standard.” That’s a mission the many open, corporate-unaffiliated efforts to create better AI benchmarks can identify with. But it remains to be seen whether those efforts are willing to join forces with an AI vendor whose loyalty ultimately lies with shareholders.

Credits: TechCrunch

------------------------------------------------------------------------------------------------------

Anthropic busca financiar una nueva generación de benchmarks de IA más completos

Anthropic está lanzando un programa para financiar el desarrollo de nuevos tipos de benchmarks capaces de evaluar el rendimiento y el impacto de los modelos de IA, incluidos los modelos generativos como su propio Claude.

Presentado el lunes, el programa de Anthropic otorgará pagos a organizaciones de terceros que puedan, como dice la compañía en una publicación de blog, “medir efectivamente las capacidades avanzadas en los modelos de IA.” Los interesados pueden enviar solicitudes para ser evaluadas de manera continua.

“Nuestra inversión en estas evaluaciones está destinada a elevar todo el campo de la seguridad en IA, proporcionando herramientas valiosas que beneficien a todo el ecosistema,” escribió Anthropic en su blog oficial. “Desarrollar evaluaciones de alta calidad y relevantes para la seguridad sigue siendo un desafío, y la demanda está superando la oferta.”

Como hemos destacado antes, la IA tiene un problema de benchmarks. Los benchmarks más comúnmente citados para la IA hoy en día no capturan adecuadamente cómo la persona promedio realmente usa los sistemas que se están probando. También hay preguntas sobre si algunos benchmarks, especialmente aquellos publicados antes del auge de la IA generativa moderna, realmente miden lo que pretenden medir, dada su antigüedad.

La solución muy a alto nivel y más difícil de lo que parece que propone Anthropic es crear benchmarks desafiantes con un enfoque en la seguridad de la IA y las implicaciones sociales mediante nuevas herramientas, infraestructuras y métodos.

La compañía pide específicamente pruebas que evalúen la capacidad de un modelo para realizar tareas como llevar a cabo ciberataques, “mejorar” armas de destrucción masiva (por ejemplo, armas nucleares) y manipular o engañar a las personas (por ejemplo, a través de deepfakes o desinformación). Para los riesgos de IA relacionados con la seguridad nacional y la defensa, Anthropic dice que se compromete a desarrollar una especie de “sistema de alerta temprana” para identificar y evaluar riesgos, aunque no revela en la publicación del blog en qué consistiría dicho sistema.

Anthropic también dice que su nuevo programa está destinado a apoyar la investigación en benchmarks y tareas “de extremo a extremo” que exploren el potencial de la IA para ayudar en el estudio científico, conversar en varios idiomas y mitigar sesgos arraigados, así como autocensurar la toxicidad.

Para lograr todo esto, Anthropic imagina nuevas plataformas que permitan a expertos en la materia desarrollar sus propias evaluaciones y realizar pruebas a gran escala de modelos que involucren a “miles” de usuarios. La compañía dice que ha contratado a un coordinador a tiempo completo para el programa y que podría comprar o expandir proyectos que crea que tienen el potencial de escalar.

“Ofrecemos una variedad de opciones de financiamiento adaptadas a las necesidades y etapa de cada proyecto,” escribe Anthropic en la publicación, aunque un portavoz de Anthropic se negó a proporcionar más detalles sobre esas opciones. “Los equipos tendrán la oportunidad de interactuar directamente con los expertos en dominios de Anthropic del equipo de prueba avanzada, ajuste fino, confianza y seguridad y otros equipos relevantes.”

El esfuerzo de Anthropic por apoyar nuevos benchmarks de IA es encomiable, asumiendo, por supuesto, que hay suficiente dinero y personal detrás de él. Pero dado que la compañía tiene ambiciones comerciales en la carrera de la IA, podría ser difícil confiar completamente en él.

En la publicación del blog, Anthropic es bastante transparente sobre el hecho de que quiere que ciertas evaluaciones que financia se alineen con las clasificaciones de seguridad de IA que desarrolló (con algo de aporte de terceros como la organización de investigación de IA sin fines de lucro METR). Eso está bien dentro de las prerrogativas de la compañía. Pero también podría obligar a los solicitantes del programa a aceptar definiciones de IA “segura” o “riesgosa” con las que podrían no estar de acuerdo.

Una parte de la comunidad de IA probablemente también cuestionará las referencias de Anthropic a los riesgos de IA “catastróficos” y “engañosos,” como los riesgos de armas nucleares. Muchos expertos dicen que hay pocas pruebas que sugieran que la IA tal como la conocemos adquirirá capacidades de superinteligencia que pongan en peligro el mundo o superen a los humanos en un futuro próximo, si es que lo hará alguna vez. Estos expertos añaden que las afirmaciones de una "superinteligencia" inminente solo sirven para desviar la atención de los problemas regulatorios urgentes de la IA de hoy, como las tendencias alucinatorias de la IA.

En su publicación, Anthropic escribe que espera que su programa sirva como “un catalizador para el progreso hacia un futuro donde la evaluación integral de la IA sea un estándar en la industria.” Esa es una misión con la que muchos esfuerzos abiertos y no afiliados corporativamente para crear mejores benchmarks de IA pueden identificarse. Pero queda por ver si esos esfuerzos están dispuestos a unirse con un proveedor de IA cuya lealtad en última instancia reside en los accionistas.

Créditos: TechCrunch