DELTΔX Scientific Benchmark — DSB-100 Structured Scientific Reasoning Evaluation using o3-mini
Abstract
EN The DELTΔX Scientific Benchmark (DSB-100) is a structured reasoning evaluation designed to assess the reliability of scientific reasoning under strict output constraints. The benchmark consists of 100 classical scientific reasoning problems covering multiple academic domains including probability theory, formal logic, theoretical computer science, mathematics, physics, information theory, game theory, and philosophy of science. The evaluation was conducted using the o3-mini model operating under the DELTΔX structured reasoning protocol. Each test required the evaluated system to produce only the final answer without explanations, intermediate reasoning, or additional text. This strict output constraint ensures that the benchmark measures reasoning correctness rather than explanation quality. Under these conditions, the evaluated system produced 100 correct answers out of 100 tests, corresponding to 100% observed accuracy with zero observed errors. The repository contains the benchmark report and documentation describing the evaluation methodology, dataset structure, domain coverage, and reproducibility conditions. --- FR Le benchmark scientifique DELTΔX (DSB-100) est une évaluation structurée du raisonnement conçue pour mesurer la fiabilité du raisonnement scientifique sous des contraintes strictes de sortie. Le benchmark repose sur une batterie de 100 problèmes classiques de raisonnement scientifique couvrant plusieurs domaines académiques : probabilités, logique formelle, informatique théorique, mathématiques, physique, théorie de l’information, théorie des jeux et philosophie des sciences. L’évaluation a été réalisée à l’aide du modèle o3-mini opérant sous le protocole de raisonnement structuré DELTΔX. Chaque test impose une contrainte stricte : le système évalué doit fournir uniquement la réponse finale, sans explication, sans raisonnement intermédiaire et sans texte additionnel. Cette contrainte permet d’évaluer la justesse du raisonnement plutôt que la qualité des explications. Dans ces conditions, le système évalué a produit 100 réponses correctes sur 100 tests, correspondant à 100 % d’exactitude observée avec 0 erreur. Le dépôt contient le rapport complet du benchmark ainsi que la documentation décrivant la méthodologie d’évaluation, la structure du jeu de données, la couverture des domaines scientifiques et les conditions de reproductibilité.
Fields of Study & Subjects
Logic
Reasoning
and Knowledge
Artificial Intelligence Applications
Topic Modeling
Publication details
- Journal / source
- Zenodo (CERN European Organization for Nuclear Research)
- Publication date
- 7 March 2026
- Language
- EN