Les chercheurs ont montré que l'ajout de détails apparemment sans importance pouvait entraîner des erreurs de raisonnement.
Les modèles reproduisent des schémas de données observés plutôt que de véritablement raisonner, selon les auteurs. Cette limite suggère que les IA actuelles peinent à effectuer des raisonnements logiques, contrairement à un enfant capable de comprendre des détails contextuels simples.
Face au problème suivant : "Olivier cueille 44 kiwis le vendredi. Le samedi, il cueille 58 kiwis. Le dimanche, il cueille deux fois plus de kiwis que le vendredi, mais cinq d'entre eux sont un peu plus petits que la moyenne. Combien de kiwis Oliver a-t-il cueillis ?", GPT-o1 va par exemple faire l'erreur de soustraire les kiwis plus petits du total.
À SURVEILLER : Peut mieux faire. Ou pas. Cette étude soulève des doutes sur la capacité des IA à raisonner de manière autonome, ce qui remet en question leur utilisation dans des applications critiques où une compréhension fine et logique des problèmes est essentielle, comme la prise de décision ou l'analyse complexe.