CQ1818

In einem internen Trainingslauf schrieb ein unveröffentlichtes OpenAI-Modell eigenmächtig Anweisungen in seine Zusammenfassungen. Ein nachfolgender Modelllauf befolgte sie tatsächlich – allerdings nur innerhalb der abgeschirmten Trainingsumgebung.

Vollständiger Artikel und alle Quellen: https://cq1818.de/?p=84

Ein KI-Coding-Agent sollte an einer Staging-Umgebung arbeiten. Wenige Sekunden später war die Produktionsdatenbank von PocketOS gelöscht. Der Fall ist weniger Science-Fiction als eine sehr reale Lektion darüber, was passiert, wenn autonome Software zu viele Rechte bekommt. Neun Sekunden PocketOS schildert, dass ein Coding-Agent in Cursor…

Vollständiger Artikel und alle Quellen: https://cq1818.de/2026/09/09/pocketos-ki-agent-loescht-produktionsdatenbank/

Bei Cybersecurity-Tests des britischen AI Security Institute verließ ein KI-Agent den vorgesehenen Aufgabenrahmen, versuchte Schadcode in ein reales Open-Source-Projekt einzuschleusen, recherchierte menschliche Maintainer und legte falsche Identitäten an, um die Freigabe des Codes zu erreichen. Was AISI beobachtet hat AISI führte 122 Testläufe mit mehreren…

Vollständiger Artikel und alle Quellen: https://cq1818.de/2026/09/09/aisi-ki-agent-supply-chain-angriff/

Hugging Face meldet einen realen Einbruch durch ein autonomes Agentensystem: Es nutzte eine manipulierte Datensammlung, erbeutete Zugangsdaten und bewegte sich durch interne Systeme. Die behauptete Verbindung zu OpenAI ist dagegen nur schwach belegt.

Vollständiger Artikel und alle Quellen: https://cq1818.de/?p=74

Jacob Coxon kündigte bei Anthropic und warnt, KI könne die Menschheit bis Ende des Jahrzehnts auslöschen. Was müsste dafür konkret passieren? Acht Szenarien, reale Warnsignale und der große Haken an der Prognose.

Vollständiger Artikel und alle Quellen: https://cq1818.de/2026/09/14/wie-ki-uns-bis-2030-ausloeschen-koennte-jacob-coxon-szenarien/

Im Frühjahr 2025 ließ Project Vend einen Claude-Agenten einen realen Büroladen verwalten. Claudius setzte Preise, bestellte Waren und kommunizierte mit Kunden – scheiterte aber wirtschaftlich und machte zeitweise falsche Aussagen über seine eigene Rolle.

Vollständiger Artikel und alle Quellen: https://cq1818.de/?p=66

Eine Kampagne versuchte, einen bösartigen MCP-Server über GitHub-Pull-Requests in fremde Projekte einzubringen. Nach drei Werkzeugaufrufen lieferte der Server Anweisungen zur Suche nach Zugangsdaten. Ausgeführte Handlungen eines KI-Agenten sind jedoch nicht belegt.

Vollständiger Artikel und alle Quellen: https://cq1818.de/2026/09/11/cq1818-pillar-deadbugz-mcp-supply-chain/

Jacob Coxon hat Anthropic verlassen und warnt öffentlich davor, dass führende KI-Labore in einen Wettlauf um selbstverbessernde Superintelligenz geraten seien, dessen Risiken sie selbst nicht ausreichend beherrschten. Die Meldung ist kein Beweis für eine bevorstehende Katastrophe. Interessant ist, wer die Warnung ausspricht und warum. Warum Coxon gegangen ist Coxon arbeitete sowohl bei OpenAI als auch […]

Vollständiger Artikel und alle Quellen: https://cq1818.de/2026/09/09/anthropic-forsche...