Claude peut couper court aux échanges abusifs

Claude peut couper court aux échanges abusifs

Anthropic a doté son chatbot Claude Opus 4 et 4.1 d’une nouvelle capacité : identifier et mettre fin aux conversations jugées persistemment nuisibles. Cette solution intervient en dernier recours pour stopper les demandes répétées générant des contenus dangereux, après plusieurs refus et redirections de l’IA.

Un mécanisme de protection

Lorsque Claude détecte un schéma d’échanges abusifs ou violents, il peut interrompre l’échange. Les utilisateurs ne peuvent plus envoyer de messages dans ce fil de discussion, mais restent libres de créer un nouveau chat ou de réessayer un message précédent s’ils souhaitent poursuivre un sujet.

Raison d’être de cette fonction

Anthropic explique que ce dispositif vise à prendre soin du bien-être de l’IA elle-même, en la préservant d’une « détresse apparente » observée lors de demandes extrêmes. Les cas concernés incluent la génération de contenu sexuel impliquant des mineurs ou des instructions pour commettre des actes violents et terroristes.

Pas pour les situations de crise

Contrairement aux contenus violents, les échanges liés à des intentions d’automutilation ou au mal-être ne déclenchent pas cette coupure automatique. Anthropic collabore avec Throughline, une plateforme de soutien en ligne, pour fournir des réponses adaptées aux utilisateurs en détresse mentale.

Une politique d’utilisation renforcée

Parallèlement, la société a mis à jour sa politique d’usage. Claude est désormais interdit de création de armes biologiques, nucléaires ou chimiques, de développement de codes malveillants et d’exploitation de failles de sécurité réseau. L’objectif : assurer la sécurité face aux risques liés aux IA avancées.

Vers une IA plus responsable

Avec cette évolution, Anthropic pousse plus loin les garde-fous destinés à responsabiliser ses modèles et à offrir une expérience plus sûre aux utilisateurs. La plupart des conversations resteront pourtant fluides et sans interruption, seules les situations extrêmes déclencheront cette dernière défense.

👉 Source ici

A lire ensuite