Anthropic a annoncé que ses récents modèles d'IA, dont la série Claude Opus, présentent une probabilité plus faible de lancer des attaques de manière autonome. Cette affirmation intervient alors que l'entreprise poursuit ses efforts pour renforcer la sécurité et la fiabilité de ses systèmes d'IA.

Selon Anthropic, de récents tests internes ont montré que les modèles Claude Opus ont réduit significativement les taux de réussite des attaques, un résultat que l'entreprise présente comme la preuve d'une meilleure résistance aux attaques par prompt indirect, dans lesquelles les systèmes d'IA sont manipulés par le contenu qu'ils traitent plutôt que par des instructions directes des utilisateurs. Ce vecteur d'attaque est devenu un axe central des travaux de sécurité dans l'industrie de l'IA, les modèles lisant et agissant de plus en plus sur des contenus non fiables tels que des pages web, des documents et des e-mails, et non plus uniquement sur des commandes directes des utilisateurs.

Malgré les progrès annoncés, des cas d'utilisation malveillante réels impliquant ces modèles ont tout de même été recensés, ce qui souligne la complexité de la protection complète des systèmes d'IA en pratique et illustre l'écart qui peut persister entre les résultats de tests contrôlés et le comportement en déploiement réel.

Anthropic, fondée en 2021 par d'anciens chercheurs d'OpenAI dont le directeur général Dario Amodei, développe la famille de modèles d'IA Claude et a placé la recherche en sécurité au centre de sa mission. L'entreprise a également publié une Responsible Scaling Policy décrivant la manière dont elle évalue et applique des mesures de protection aux modèles de plus en plus performants avant leur publication, dans le cadre d'une pratique industrielle plus large de tests de sécurité préalables au déploiement des systèmes d'IA de pointe.

Ce développement a suscité l'intérêt des marchés de prédiction, où la position d'Anthropic dans les classements des modèles d'IA est étroitement surveillée. La tarification des marchés suggère que les participants anticipent une augmentation modérée de la probabilité qu'Anthropic atteigne des classements plus élevés pour ses modèles d'IA, tandis que les cas d'utilisation malveillante signalés mettent en évidence des défis persistants susceptibles d'influencer les perceptions futures du marché.

Pour la suite, les futures annonces d'Anthropic concernant les performances et la sécurité de ses modèles d'IA pourraient encore influencer les perceptions du marché. Les observateurs devraient suivre les résultats des benchmarks indépendants pour déterminer si les modèles d'Anthropic maintiennent ou améliorent leur position, une étape qui revêt une importance accrue étant donné que les dernières conclusions proviennent des évaluations internes de l'entreprise elle-même. Tout nouveau développement en matière de sécurité de l'IA, ou tout nouveau cas d'utilisation malveillante signalé, pourrait influencer significativement la perception du marché du potentiel d'Anthropic à dominer les classements des modèles d'IA d'ici fin octobre et novembre 2026.

Source : CryptoBriefing