OpenAI a présenté GeneBench-Pro, un nouveau benchmark conçu pour tester si les systèmes d’IA peuvent faire davantage qu’exécuter des analyses scriptées en biologie computationnelle. Selon l’entreprise, le benchmark doit mesurer dans quelle mesure les modèles gèrent l’ambiguïté, révisent leurs hypothèses, choisissent des méthodes et décident quand une réponse est suffisamment fiable pour des décisions scientifiques en aval.

Cette sortie est importante parce qu’elle cible une lacune que de nombreuses évaluations d’IA existantes couvrent mal : un travail de recherche itératif, désordonné et seulement partiellement spécifié à l’avance. OpenAI indique que GeneBench-Pro étend son effort GeneBench initial à des tâches plus difficiles en génomique, biologie quantitative et médecine translationnelle, en utilisant des jeux de données et des invites conçus pour refléter les types d’arbitrages qui façonnent l’analyse scientifique réelle. Pour les constructeurs d’IA et les équipes d’entreprise travaillant dans les sciences de la vie, la nouvelle concerne moins le lancement spectaculaire d’un modèle qu’une nouvelle tentative de définir à quoi devrait ressembler un raisonnement scientifique « utile » dans des conditions de benchmark.

Ce qu’OpenAI lance

Dans la description d’OpenAI, GeneBench-Pro est un benchmark de niveau recherche comportant 129 questions couvrant des cas d’usage en biologie computationnelle. Chaque problème fournit à un agent IA une courte invite, des fichiers de données et l’accès à un environnement d’analyse standard incluant Python, des bibliothèques de calcul scientifique et des outils de génomique tels que PLINK 2.0. Le modèle doit ensuite explorer les données, sélectionner un chemin d’analyse, itérer lorsque les hypothèses initiales échouent et fournir une réponse finale.

Cette formulation est centrale dans le positionnement d’OpenAI. L’entreprise soutient que de nombreuses tâches scientifiques sont limitées non par la mémorisation factuelle ou la capacité à suivre une liste de contrôle, mais par ce qu’elle appelle le « research taste » — la séquence liée de jugements sur ce que les données peuvent soutenir, sur le fait que les diagnostics invalident ou non le plan initial, et sur la manière de arbitrer entre des estimateurs ou des méthodes alternatives. GeneBench-Pro vise à mesurer ces décisions au niveau du système plutôt que de simples résultats finaux.

OpenAI a également publié une page d’études de cas associée, « Inside Genebench-Pro », avec 10 exemples représentatifs. Ces exemples montrent le type de tâches que l’entreprise veut évaluer : estimation d’effet de traitement dans un registre oncologique synthétique, interprétation d’expériences CRISPRi et CasRx agrégées pour distinguer les effets spécifiques au transcript des artefacts proches du locus, randomisation mendélienne multivariable cis, et estimation du risque de portage reproductif. Dans plusieurs cas, des labels tels que TXR1, TXR1i, LINC473, KIN1, PROTA et PROTB sont explicitement décrits comme des étiquettes synthétiques de benchmark et non comme de vraies cibles biologiques.

Pourquoi OpenAI estime que les benchmarks existants sont insuffisants

L’argument central d’OpenAI est que les benchmarks standards en biologie échouent souvent de l’une de deux manières. D’un côté, des jeux de données historiques du monde réel peuvent autoriser plusieurs approches défendables, rendant difficile de savoir si un modèle a échoué parce que son raisonnement était faible ou parce que le créateur du benchmark préférait une autre voie, tout aussi subjective. De l’autre, des problèmes numériquement indulgents peuvent permettre aux modèles d’aboutir à des réponses acceptables malgré d’importantes erreurs méthodologiques.

Pour y remédier, OpenAI indique que les problèmes de GeneBench-Pro sont construits de manière synthétique avec des processus générateurs de données contrôlés. L’entreprise affirme que cela lui donne une notation déterministe par rapport à des cibles connues, permet d’ajuster la difficulté des tâches et autorise des études d’ablation pour vérifier que des analyses plausibles mais incorrectes doivent échouer. OpenAI précise également avoir audité les brouillons afin de détecter des voies de contournement et des fuites d’information.

C’est un choix de conception notable. Dans le développement de benchmarks, une construction synthétique peut améliorer le contrôle et la clarté de la notation, mais elle peut aussi introduire un risque différent : le benchmark peut refléter davantage les hypothèses et les préférences de ses créateurs que la complexité ouverte des environnements de recherche réels. OpenAI semble consciente de cette préoccupation et indique avoir envoyé 82 des 129 questions à des évaluateurs externes, notamment des étudiants diplômés, des postdoctorants, des scientifiques de l’industrie et des professeurs, qui ont évalué le réalisme, l’identifiabilité et la pertinence méthodologique.

Il reste néanmoins important pour les acheteurs et les chercheurs de noter que les preuves disponibles proviennent principalement des propres documents d’OpenAI. La conception du benchmark peut être rigoureuse, mais l’argument public sur la manière dont il se transpose à la découverte de médicaments en production ou aux workflows de translation reste encore précoce.

Les premiers résultats signalent des progrès, mais pas une fiabilité

La revendication de performance la plus forte d’OpenAI est que son modèle GPT-5.6 Sol a atteint un taux de réussite de 28,7 % au plus haut niveau de raisonnement sur GeneBench-Pro, montant à 31,5 % avec le « Pro mode » activé. L’entreprise compare cela à un score inférieur à 5 % pour GPT-5 lorsque l’effort GeneBench initial a commencé.

OpenAI affirme également que l’augmentation du calcul de test-time a eu un impact important. Selon l’entreprise, GPT-5.6 Sol au plus faible niveau de raisonnement n’a obtenu qu’un taux de réussite à un chiffre, tandis qu’au plus haut niveau de raisonnement il a résolu près de six fois plus de questions que GPT-5.2 tout en utilisant environ deux tiers de jetons en moins.

Ce sont des signaux intéressants pour les développeurs de modèles, car ils suggèrent que les gains ne proviennent pas seulement d’une capacité de base plus importante, mais aussi de la configuration du raisonnement à l’inférence. En pratique, cela soutient une stratégie que de nombreuses équipes produit IA testent déjà : réserver davantage de calcul et de temps de réflexion aux tâches analytiques à forte valeur plutôt que d’appliquer un budget d’inférence uniforme.

Mais les résultats soulignent aussi les limites actuelles. Même en utilisant le propre benchmark d’OpenAI et sa configuration rapportée comme la plus forte, environ sept problèmes sur 10 n’ont pas été réussis. OpenAI reconnaît que les agents IA restent trop peu fiables pour remplacer des experts humains. L’entreprise ajoute une comparaison de coûts — indiquant qu’un problème typique était estimé par des évaluateurs à 20 à 40 heures de travail pour un expert humain, tandis que les coûts d’inférence ne sont que de plusieurs dollars par problème — mais cet argument économique doit être considéré comme un cadrage rapporté par le fournisseur plutôt que comme une preuve d’autonomie déployable.

Preuves, affirmations et ce qui est vérifié indépendamment

La base factuelle de cette histoire provient de l’annonce d’OpenAI et de ses documents d’études de cas. Ces sources étayent plusieurs points concrets : GeneBench-Pro existe, il contient 129 questions, 10 questions représentatives sont mises en open source sur Hugging Face, et OpenAI prévoit de fournir un sous-ensemble de 50 questions à Artificial Analysis pour un benchmark tiers.

Les mêmes sources étayent également le périmètre visé du benchmark, couvrant la génomique, la biologie quantitative et la médecine translationnelle, ainsi que l’inclusion d’un environnement standard de bioinformatique avec Python et PLINK 2.0.

En revanche, les scores du benchmark, la comparaison avec GPT-5, l’affirmation selon laquelle les modèles GPT surpassent des modèles open source de premier plan comme GLM 5.2 dans ce type de raisonnement scientifique, et l’implication que le benchmark pourrait être saturé d’ici la fin de l’année sont toutes des affirmations rapportées par OpenAI. Elles sont informatives, mais elles n’ont pas encore été reproduites indépendamment dans les documents fournis ici.

OpenAI révèle aussi une mise en garde méthodologique importante : des modèles GPT de pointe ont été utilisés pendant le développement pour évaluer et renforcer les problèmes. L’entreprise dit avoir soupçonné que cela pourrait biaiser GeneBench-Pro contre les modèles GPT par rapport à d’autres familles de modèles, mais rapporte que les modèles concurrents n’ont fait que égaler ou sous-performer le modèle GPT correspondant au moment de la sortie. Cette transparence est utile, mais l’affirmation provient toujours du créateur du benchmark. Des tests indépendants via Artificial Analysis seront importants si acheteurs ou chercheurs veulent des comparaisons intermodèles auxquelles ils puissent faire confiance.

Ce que cela signifie pour les constructeurs d’IA et les équipes des sciences de la vie

Pour les constructeurs d’IA, GeneBench-Pro signale que les priorités d’évaluation dépassent désormais le code et les questions scientifiques de type manuel scolaire. Si une équipe veut construire des agents pour la bioinformatique, la médecine translationnelle ou l’appui interne à la R&D, le benchmark met en évidence les types de modes de défaillance qui comptent au moment du déploiement : choisir le mauvais estimateur causal, mal lire la structure de confusion, ne pas mettre à jour un plan après les diagnostics, ou renvoyer une réponse soignée mais dangereuse pour la décision.

Pour les équipes d’IA d’entreprise dans la pharma, la biotech et la recherche en santé, le message est plus prudent. Un modèle capable de réussir certaines tâches GeneBench-Pro peut être utile comme copilote d’analyste, outil de triage ou assistant de génération d’hypothèses, surtout lorsque le coût d’inférence est faible par rapport au temps des scientifiques. Mais les propres résultats d’OpenAI ne soutiennent pas une autonomie sans supervision dans des workflows à fort enjeu. Même si le benchmark est bien conçu, un taux de réussite de 31,5 % est la preuve d’une capacité partielle, pas d’une exécution fiable.

Le benchmark pourrait néanmoins être précieux sur le plan opérationnel. Les équipes qui évaluent des agents IA en interne manquent souvent de tests solides pour un travail exigeant du jugement. Un benchmark comme GeneBench-Pro pourrait fournir une mesure plus réaliste que les suites de codage généralistes ou les examens de biologie à choix multiples, en particulier pour comparer les stratégies de prompting, l’utilisation d’outils, les politiques d’aiguillage et les seuils d’escalade.

L’angle concurrentiel mérite aussi d’être surveillé. OpenAI présente GeneBench-Pro comme la preuve que les modèles forts en tâches logicielles ne sont pas automatiquement forts en raisonnement scientifique sous incertitude quantitative. Si cela se confirme sous évaluation tierce, cela pourrait modifier la manière dont les entreprises comparent les modèles fermés de pointe, les modèles ouverts et les systèmes spécialisés pour l’IA d’entreprise dans les sciences de la vie.

Ce qu’il faut surveiller ensuite

Le signal suivant le plus important est le benchmark indépendant d’Artificial Analysis. Si ce sous-ensemble de 50 questions devient disponible et est exécuté sur plusieurs familles de modèles, le marché aura une vision plus claire de la solidité du classement interne d’OpenAI entre GPT-5.6 Sol, GPT-5.5 et GLM 5.2.

Ensuite, il faut surveiller dans quelle mesure GeneBench-Pro devient réellement réutilisable. OpenAI indique que 10 questions sont mises en open source sur Hugging Face, mais une adoption plus large dépendra du fait que des laboratoires et des équipes produit externes jugent ces tâches suffisamment réalistes pour les intégrer à leurs pipelines d’évaluation.

Troisièmement, il sera utile de suivre si les fournisseurs commencent à optimiser spécifiquement ce type de benchmark. Si les scores s’améliorent rapidement, comme OpenAI suggère que cela pourrait se produire, la question deviendra de savoir si les modèles apprennent un jugement scientifique largement transférable ou s’adaptent simplement à une famille de benchmarks.

Enfin, surveillez la monétisation produit. Si OpenAI ou d’autres commencent à intégrer un raisonnement de type GeneBench-Pro dans des produits d’agents pour l’analyse biomédicale, les équipes d’achat voudront des preuves non seulement de taux de réussite, mais aussi de calibrage, de reproductibilité, de journaux d’audit et de passation sécurisée à un humain.

Perspective de Creati.ai

GeneBench-Pro n’est pas qu’une simple publication de classement. C’est une tentative de formaliser une question plus difficile pour l’IA : un modèle peut-il faire des choix défendables lorsque le workflow est insuffisamment spécifié et que les données sont bruitées ? C’est beaucoup plus proche du vrai défi de la recherche appliquée que de répondre à des trivialités de biologie ou de générer des extraits de code.

Le hic, c’est que les progrès d’un benchmark ne doivent pas être confondus avec la préparation au déploiement. Les chiffres d’OpenAI suggèrent une amélioration significative, en particulier pour GPT-5.6 Sol, mais ils montrent aussi à quel point les modèles restent éloignés d’une autonomie digne de confiance en biologie computationnelle. Pour les fondateurs et les équipes produit, la leçon pratique est de concevoir autour d’une compétence partielle : utiliser des agents IA pour réduire l’espace de recherche, proposer des analyses et alléger le travail des itérations routinières, tout en laissant les humains responsables de l’interprétation à fortes conséquences. Si Artificial Analysis et des chercheurs externes valident l’utilité du benchmark, GeneBench-Pro pourrait devenir un test pertinent pour cette zone intermédiaire.