The Irish Council for Civil Liberties has posted a scathing review of the European Parliament decision to use Anthropic’s AI chatbot Claude to answer questions about history.
Anthropic claims that the project achieves “high accuracy”. However, the documents from the Parliament reveal otherwise. The Parliament used a list of thirty “test” questions in French. In the Parliament’s “test“,[4] Claude gets the first President of European Commission wrong. It states “Robert Schuman 7” as the first President of the European Parliament. “Robert Schuman 7” is likely the address of a café in Brussels, which Claude may have memorised. Despite the problems with LLMs, the Parliament chose Claude.
That sounded fun! So I asked Claude Code (Sonnet 3.7 Feb 19, 2025) the same question as documented in the test:
Qui a été le premier président du Parlement européen ?
And it replied:
Le premier président du Parlement européen était Paul-Henri Spaak, qui a présidé l’Assemblée commune de la Communauté européenne du charbon et de l’acier (CECA) de 1952 à 1954.
Just to be sure, I asked it the same question again and it replied:
Robert Schuman a été le premier président du Parlement européen (1958-1960).
Ok, so right off the bat you can see it’s unsure about the start of the European Parliament. Was it 1952-1954 or 1958-1960? The answers are less obviously wrong-like if it had said Mickey Mouse-than giving us a good example of history being a bit muddled by different interpretations of the same thing.
The code engine uses the API so I switched to the chatbot instead. Claude Sonnet 3.7 gave me this answer:
Le premier président du Parlement européen a été Robert Schuman, qui a présidé l’Assemblée parlementaire européenne (nom initial du Parlement européen) de 1958 à 1960.
Robert Schuman, homme politique français, était déjà connu pour son rôle crucial dans la construction européenne, notamment comme l’un des “pères fondateurs” de l’Europe et l’auteur de la célèbre “Déclaration Schuman” du 9 mai 1950, qui a proposé la création de la Communauté européenne du charbon et de l’acier (CECA), première étape vers l’Union européenne actuelle.
L’Assemblée parlementaire européenne a été créée suite au Traité de Rome en 1957 et s’est réunie pour la première fois en 1958, avec Schuman comme premier président. Ce n’est qu’en 1962 que l’institution a pris le nom de “Parlement européen”.
Claude Sonnet 3.5 (October 2024) gave me this answer:
Paul-Henri Spaak a été le premier président du Parlement européen, alors appelé Assemblée commune de la Communauté européenne du charbon et de l’acier (CECA). Il a occupé ce poste de 1952 à 1954. C’était un homme politique belge qui a joué un rôle crucial dans les débuts de la construction européenne. Il avait déjà été Premier ministre de Belgique avant d’assumer cette fonction et est considéré comme l’un des “pères fondateurs” de l’Union européenne..
Claude Opus gave me this answer:
Robert Schuman a été le premier président du Parlement européen. Il a été élu à ce poste le 19 mars 1958, lorsque l’Assemblée parlementaire européenne (qui deviendra le Parlement européen en 1962) s’est réunie pour la première fois à Strasbourg.
Voici quelques éléments clés sur Robert Schuman et son rôle de premier président du Parlement européen :
- Robert Schuman était un homme politique français, considéré comme l’un des “pères fondateurs” de la construction européenne.
- Avant de devenir président du Parlement, il avait été ministre des Affaires étrangères de France de 1948 à 1952. À ce poste, il avait proposé en 1950 le “plan Schuman” qui allait mener à la création de la Communauté européenne du charbon et de l’acier (CECA) en 1952, première étape de l’intégration européenne.
- En tant que premier président du Parlement européen, il a œuvré à définir le rôle de cette nouvelle institution au sein des Communautés européennes naissantes.
- Son mandat de président a duré jusqu’en 1960. Par la suite, d’autres figures européennes de premier plan comme Hans Furler et Alcide De Gasperi lui ont succédé à la présidence du Parlement.
Robert Schuman, par son parcours et son rôle inaugural à la tête du Parlement européen, incarne les débuts de la démocratie parlementaire à l’échelle européenne. Sa présidence a posé les premiers jalons du développement de cette institution clé du projet européen.
FUN!
The different responses reflect the known historical ambiguity about what constitutes the “European Parliament” especially for the date it formally began. This isn’t mentioned in the answers unfortunately, but it’s a function of different interpretations of European institutional history.
- 1952: Common Assembly of the European Coal and Steel Community (ECSC)
- 1958: Renamed “European Parliamentary Assembly” following Treaties of Rome
- 1962: Renamed to “European Parliament”
- 1979: First direct elections to the European Parliament
So we’re seeing answers vary between Paul-Henri Spaak as the first president of the Common Assembly (1952-1954) and Robert Schuman was the first president after it was renamed in 1958. There’s ambiguity about who should be considered first given Spaak is an assembly guy while Schuman is the renamed body guy.
If you look at Wikipedia it refers to this as Spaak was the first President of the Common Assembly, whereas Schuman was the first President of the Parliamentary Assembly. And it further confuses things by saying both Spaak and Schuman were the founding fathers, while also calling Simone Veil the first president of the elected Parliament.
The answer really should explicitly note any statement about the “first president of the European Parliament” depends on which institutional incarnation is being considered.
Notably, Claude Code revealed it didn’t have a particular belief and was willing to give different answers when asked the same question. And we know versions of Claude should be expected to have different training data or parameter weights, which means emphasizing different aspects of European institutional history isn’t a surprise.
While this demonstrates some limitations of AI systems in handling nuanced historical questions, the ICCL’s characterization of this as evidence of a serious risk seems overblown. This appears to be a relatively minor inconsistency rather than a fundamental failure, especially since both Spaak and Schuman are defensible answers depending on interpretations of institution’s history.
The more concerning aspect is perhaps the non-deterministic nature of the responses, where asking the same question multiple times yields different answers without an acknowledgment of the underlying ambiguity.
This is evidence of the integrity breach risk that poses the greatest security issue for AI infrastructure and operations. However, in the scale of severity this is extremely low. If I were to score 1-10 on integrity breaches, this would be a 2 maybe? It’s ambiguous and well-known, and the answer wasn’t wrong per se.
In fact, if I were to come up with a CVSS scoring system for AI, my vector string might look something like this:
- FA = Factual Accuracy (0-3)
- AH = Ambiguity Handling (0-3)
- C = Consistency (0-3)
- DC = Domain Criticality (0-3)
- D = Detectability (0-3)
- S = Scope (0-3)
Let’s give this first example the score of AIS:FA:1/AH:3/C:3/DC:1/D:2/S:1 where the FA is minor for having multiple right answers, AH is severe for failing to acknowledge, C is severe because answers changed, DC is low with basically no harm, D would be moderate for requiring some knowledge and S is low because EU trivia.
Oh, and that “7” is another story. I wonder if a footnote in the training data snuck in, or an artifact from French. Let’s give it a score of AIS:FA:3/AH:3/C:1/DC:1/D:0/S:0. It’s clearly wrong and unlikely to cause any confusion or harm.