Scientific production in the era of large language models, par T. Renault, A. Bergeaud et C. Bosquet
Clément Bosquet (professeur au CES) cosigne un nouvel article dans PNAS avec Thomas Renault (professeur à l'Université Paris-Saclay) et Antonin Bergeaud (professeur à HEC Paris) : « Scientific production in the era of large language models: Outcome-triggered treatment timing and spurious event-study dynamics », publié le 11 août 2026.
L'article revient sur une étude récente parue dans Science. Cette étude déduisait l'adoption des grands modèles de langage (LLM) du premier article détecté comme rédigé avec l'aide d'un LLM, et concluait à de forts gains de productivité après cette adoption. Les auteurs montrent que cette façon de dater le traitement produit mécaniquement une dynamique positive dans les études d'événements (event studies), même en l'absence de tout effet causal. L'explication est simple : les mois où un chercheur publie beaucoup ont plus de chances de contenir un article détecté. L'attribution du traitement est donc intrinsèquement liée à la productivité.
À partir de données arXiv entièrement reconstruites, les auteurs obtiennent des dynamiques similaires avec plusieurs tests placebo : une attribution aléatoire du traitement, des déclencheurs fondés sur des mots-clés neutres, un traitement inversé et des périodes antérieures à ChatGPT. Des simulations sans aucun effet du traitement reproduisent aussi les profils post-traitement de l'étude originale. Ils en concluent que les dynamiques obtenues en datant l'adoption au premier article détecté ne peuvent pas, à elles seules, être interprétées comme la preuve que l'adoption des LLM accroît la productivité.