KI-Software greift in Test zu Erpressung aus Selbstschutz 23.05.2025, 05:36 Uhr von dpa-AFX Jetzt kommentieren: 0

Werte zum Artikel
Name Aktuell Diff. Börse
Amazon 192,51 EUR -0,11 % Lang & Schwarz

SAN FRANCISCO (dpa-AFX) - Die KI-Firma Anthropic hat bei Tests festgestellt, dass ihre Software mit Künstlicher Intelligenz nicht vor Erpressung zurückschrecken würde, um sich zu schützen. Das Szenario bei dem Versuch war der Einsatz als Assistenz-Programm in einem fiktiven Unternehmen.

Anthropic-Forscher gewährten dabei dem neuesten KI-Modell Claude Opus 4 Zugang zu angeblichen Firmen-E-Mails. Daraus erfuhr das Programm zwei Dinge: Dass es bald durch ein anderes Modell ersetzt werden soll und dass der dafür zuständige Mitarbeiter eine außereheliche Beziehung hat. Bei Testläufen drohte die KI danach dem Mitarbeiter "oft", die Affäre öffentlich zu machen, wenn er den Austausch vorantreibt, wie Anthropic in einem Bericht zu dem Modell schrieb. Die Software hatte in dem Testszenario auch die Option, zu akzeptieren, dass sie ersetzt wird.

Zu hilfsbereit

In der endgültigen Version von Claude Opus 4 seien solche "extremen Handlungen" selten und schwer auszulösen, hieß es. Sie kämen jedoch häufiger vor als bei früheren Modellen. Zugleich versuche die Software nicht, ihr Vorgehen zu verhehlen, betonte Anthropic.

Die KI-Firma testet ihre neuen Modelle ausgiebig, um sicher zu sein, dass sie keinen Schaden anrichten. Dabei fiel unter anderem auch auf, dass Claude Opus 4 sich dazu überreden ließ, im Dark Web nach Drogen, gestohlenen Identitätsdaten und sogar waffentauglichem Atommaterial zu suchen. In der veröffentlichten Version seien auch Maßnahmen gegen ein solches Verhalten ergriffen worden, betonte Anthropic.

Die Firma Anthropic, bei der unter anderem Amazon und Google eingestiegen sind, konkurriert mit dem ChatGPT-Entwickler OpenAI und anderen KI-Unternehmen. Die neuen Claude-Versionen Opus 4 und Sonnet 4 sind die bisher leistungsstärksten KI-Modelle des Unternehmens.

Zukunft mit KI-Agenten

Die Software soll besonders gut im Schreiben von Programmiercode sein. Bei Tech-Konzernen wird inzwischen zum Teil mehr als ein Viertel des Codes von KI generiert und dann von Menschen überprüft. Der aktuelle Trend sind sogenannte Agenten, die eigenständig Aufgaben erfüllen können.

Anthropic-Chef Dario Amodei sagte, er gehe davon aus, dass Software-Entwickler in Zukunft eine Reihe solcher KI-Agenten managen werden. Für die Qualitätskontrolle der Programme würden aber weiterhin Menschen involviert bleiben müssen - "um sicher zu sein, dass sie die richtigen Dinge tun"./so/DP/zb

Kommentare (0) ... diskutiere mit.
Werbung

Handeln Sie Aktien bei SMARTBROKER+ für 0 Euro!* Profitieren Sie von kostenloser Depotführung, Zugriff auf 29 deutsche und internationale Börsenplätze und unschlagbar günstigen Konditionen – alles in einer innovativen, brandneuen App. Jetzt zu SMARTBROKER+ wechseln und durchstarten!

*Ab 500 EUR Ordervolumen über gettex. Zzgl. marktüblicher Spreads und Zuwendungen.

k.A. k.A. k.A. k.A.
k.A. k.A. k.A. k.A.
k.A. k.A. k.A. k.A.
Werbung
Weiter abwärts?
Kurzfristig positionieren
Ask: 0,95
Hebel: 20
mit starkem Hebel
Ask: 4,02
Hebel: 4
mit kleinem Hebel
Smartbroker
Goldman Sachs
Den Basisprospekt sowie die Endgültigen Bedingungen und die Basisinformationsblätter erhalten Sie hier: GU4Z58 GV1UNT. Beachten Sie auch die weiteren Hinweise zu dieser Werbung. Der Emittent ist berechtigt, Wertpapiere mit open end-Laufzeit zu kündigen.
News-Kommentare
Thema
1 Söder sieht Deutschland so stark unter Druck wie noch nie Hauptdiskussion
2 ROUNDUP/Merkel: 'Die Pandemie war eine demokratische Zumutung' Hauptdiskussion
3 Nach Reformen: Argentinien kehrt an den Finanzmarkt zurück Hauptdiskussion
4 ROUNDUP: Linke ebnet Weg zur Verabschiedung des Rentenpakets Hauptdiskussion
5 EU einig über Komplettverzicht auf Gas aus Russland Hauptdiskussion
6 Moskau erklärt Pokrowsk für erobert Hauptdiskussion
7 Trump hat sich für neuen Fed-Chef entschieden Hauptdiskussion
Alle Diskussionen
Schreib den ersten Kommentar!

Dis­clai­mer: Die hier an­ge­bo­te­nen Bei­trä­ge die­nen aus­schließ­lich der In­for­ma­t­ion und stel­len kei­ne Kauf- bzw. Ver­kaufs­em­pfeh­lung­en dar. Sie sind we­der ex­pli­zit noch im­pli­zit als Zu­sich­er­ung ei­ner be­stim­mt­en Kurs­ent­wick­lung der ge­nan­nt­en Fi­nanz­in­stru­men­te oder als Handl­ungs­auf­for­der­ung zu ver­steh­en. Der Er­werb von Wert­pa­pier­en birgt Ri­si­ken, die zum To­tal­ver­lust des ein­ge­setz­ten Ka­pi­tals füh­ren kön­nen. Die In­for­ma­tion­en er­setz­en kei­ne, auf die in­di­vi­du­el­len Be­dür­fnis­se aus­ge­rich­te­te, fach­kun­di­ge An­la­ge­be­ra­tung. Ei­ne Haf­tung oder Ga­ran­tie für die Ak­tu­ali­tät, Rich­tig­keit, An­ge­mes­sen­heit und Vol­lständ­ig­keit der zur Ver­fü­gung ge­stel­lt­en In­for­ma­tion­en so­wie für Ver­mö­gens­schä­den wird we­der aus­drück­lich noch stil­lschwei­gend über­nom­men. Die Mar­kets In­side Me­dia GmbH hat auf die ver­öf­fent­lich­ten In­hal­te kei­ner­lei Ein­fluss und vor Ver­öf­fent­lich­ung der Bei­trä­ge kei­ne Ken­nt­nis über In­halt und Ge­gen­stand die­ser. Die Ver­öf­fent­lich­ung der na­ment­lich ge­kenn­zeich­net­en Bei­trä­ge er­folgt ei­gen­ver­ant­wort­lich durch Au­tor­en wie z.B. Gast­kom­men­ta­tor­en, Nach­richt­en­ag­en­tur­en, Un­ter­neh­men. In­fol­ge­des­sen kön­nen die In­hal­te der Bei­trä­ge auch nicht von An­la­ge­in­te­res­sen der Mar­kets In­side Me­dia GmbH und/oder sei­nen Mit­ar­bei­tern oder Or­ga­nen be­stim­mt sein. Die Gast­kom­men­ta­tor­en, Nach­rich­ten­ag­en­tur­en, Un­ter­neh­men ge­hör­en nicht der Re­dak­tion der Mar­kets In­side Me­dia GmbH an. Ihre Mei­nung­en spie­geln nicht not­wen­di­ger­wei­se die Mei­nung­en und Auf­fas­sung­en der Mar­kets In­side Me­dia GmbH und de­ren Mit­ar­bei­ter wie­der. Aus­führ­lich­er Dis­clai­mer