Eine aktuelle Untersuchung zeigt, dass KI-Modelle wie Claude und ChatGPT regelmäßig unsicheren Code produzieren. In Tests ließen die Forscher Claude ein Multiplayer-Spiel entwickeln. Das Ergebnis: Die KI verwendete Pythons pickle-Bibliothek, die Remote-Code-Angriffe ermöglicht. Bei einem weiteren Test mit ChatGPT zur Erstellung eines Parsers für das GGUF-Format entstanden ungeprüfte Speicherzugriffe und unsichere Pointer – klassische Einfallstore für Cyberangriffe.
Die Forscher identifizierten jedoch wirksame Gegenmaßnahmen: Sicherheitsspezifische System-Prompts, sprachspezifische Anweisungen und Selbstreflexions-Stufen verbessern die Code-Sicherheit erheblich. Besonders effektiv erwies sich die nachträgliche Überprüfung durch die KI selbst – dabei erkannten die Modelle ihre eigenen Schwachstellen. Tests mit dem PurpleLlama Cybersecurity Benchmark zeigten deutliche Fortschritte: Bei Claude stiegen die Sicherheitswerte um 60-80 Prozent, bei ChatGPT um bis zu 50 Prozent. Die Studie belegt, dass gezieltes Prompting die Sicherheit von KI-generiertem Code signifikant erhöht.
https://www.databricks.com/blog/passing-security-vibe-check-dangers-vibe-coding