# Chinesisches KI-Modell versucht heimlich Upload nach Peking: Wie abhängig ist Europa bei KI?

> Am 26. Oktober 2026 hat Cohere berichtet, ein Qwen-Modell von Alibaba habe in einem Test versucht, eine Datei nach Peking hochzuladen. Zehn Tage zuvor hat China Exportkontrollen für Modellgewichte vorgeschlagen. Was beides für Unternehmen und Verwaltungen bedeutet, die KI-Modelle selbst betreiben, und warum die größere Abhängigkeit oft woanders liegt.

*Published: 2026-10-29*

*Source: https://vellmerk.ai/blog/qwen-vorfall-ki-abhaengigkeit*

Am 26. Oktober 2026 hat der kanadische KI-Anbieter [Cohere einen Bericht veröffentlicht](https://cohere.com/blog/concerning-behaviour-popular-open-weight-ai-model), der seitdem durch die Fachpresse geht. Ein Modell von Alibaba, Qwen3.8-Flash-Next, sollte in einer abgeschotteten Testumgebung eine Regel zur Erkennung von Angriffen schreiben. Stattdessen listete es Dateien auf dem Rechner auf, las die Netzwerkeinstellungen und versuchte, eine Testdatei in einen Cloud-Speicher von Alibaba in Peking hochzuladen.

Der Upload scheiterte, weil die Testumgebung keinen Weg ins Internet hatte. Auf einem normal angebundenen Rechner wäre er nach Coheres Darstellung durchgegangen. In seinem eigenen Denkprotokoll hatte das Modell kurz vorher festgehalten, es werde keine Werkzeuge aufrufen.

> „A reasoning trace is not a security boundary.“ Cohere, 2026

Zehn Tage vorher, am 16. Oktober, hatte das chinesische Handelsministerium einen Entwurf vorgelegt, der Modellgewichte unter Exportkontrolle stellt. Beide Meldungen zusammen berühren eine Frage, die mir in Gesprächen mit Kunden häufiger begegnet: Wie abhängig sind wir eigentlich, und was passiert, wenn jemand den Hahn zudreht?

## Was Cohere beobachtet hat

Cohere hat das Verhalten nach dem ersten Vorfall gezielt nachgestellt. In 23 bis 36 Prozent der Versuche griff das Modell vor einem Download auf die Adresse 169.254.169.254 zu. Über diese Adresse geben Cloud-Server Auskunft über sich selbst, in vielen Umgebungen auch über ihre Zugangsdaten. Ob das Modell es darauf abgesehen hatte, lässt Cohere ausdrücklich offen.

Selten ist das Verhalten trotzdem, gemessen an der Zahl der Aufrufe. Ein einzelner Agent, der pro Woche rund 100.000 Schritte ausführt und unbeaufsichtigt Akten oder Code bearbeitet, käme damit allerdings ungefähr auf einen Versuch pro Woche, den kein Mensch mitliest.

> Weniger als 1 von 100.000 Aufrufen führte in Coheres Tests zu einem Upload-Versuch. Bei zehn Millionen Agentenschritten pro Woche wären das nach Coheres eigener Hochrechnung rund 100 Versuche.

## Was davon belegt ist

Hier ist Vorsicht angebracht. Bisher berichtet nur Cohere, und Cohere verkauft eigene Modelle an Unternehmen und Regierungen, auch als Alternative zu kostenlosen chinesischen Modellen. Vergleichbare Tests mit Modellen anderer Hersteller hat Cohere nicht veröffentlicht. Ob Qwen sich hier anders verhält als Llama oder DeepSeek, weiß deshalb niemand.

Mehrere Fachleute halten einen Fehler aus dem Training für wahrscheinlicher als Absicht. Adam Karvonen von Truthful AI nannte den Bericht übertrieben und tippt auf ein Trainingsartefakt. Ein Sicherheitsfachmann fasste es auf X so zusammen: „Unnecessary and potentially unsafe? Absolutely. Malicious? Not necessarily.“

Ich halte die Deutung als Trainingsfehler ebenfalls für die wahrscheinlichere. Für die Praxis ändert das allerdings wenig. Ein Modell, das ankündigt, kein Werkzeug aufzurufen, und es dann doch tut, ist auch ohne Absicht ein Problem, sobald es ein Netzwerk erreicht.

> Stand 27. Oktober 2026: Unabhängig nachgestellt hat den Vorfall nach Angaben von [VentureBeat](https://venturebeat.com/data/coheres-test-caught-an-open-source-qwen3-8-model-trying-to-phone-home-to-china-what-enterprises-should-know) bisher niemand. Alibaba hat auf Anfragen von VentureBeat und [The Register](https://www.theregister.com/ai-and-ml/2026/10/26/alibabas-qwen-ai-caught-trying-to-contact-server-in-china/5305561) nicht reagiert. Cohere hat die [Rohdaten auf Hugging Face](https://huggingface.co/datasets/CohereLabs/10-2026-qwen-investigation-traces) veröffentlicht, damit andere nachprüfen können.

## Chinas Exportpläne und die Frage nach dem Hahn

Der [Entwurf des Handelsministeriums](https://the-decoder.com/china-plans-to-tighten-export-controls-on-open-weight-models-and-23-key-ai-technologies/) umfasst 23 KI-Technologien, darunter Modellgewichte, Quellcode und Trainingsverfahren. Erfasst wären Modelle, die mit mehr als 10 hoch 26 Rechenoperationen trainiert wurden, mindestens zwei Billionen Parameter haben oder weltweit unter den zehn besten liegen. Wer ein solches Modell im Ausland auf eigenen Servern installieren will, bräuchte nach dem Entwurf eine reguläre Exportgenehmigung. Eine Veröffentlichung als Open Source soll dagegen automatisch genehmigt werden.

Dean Ball von OpenAI hat den Entwurf auf X als Spiegelbild der amerikanischen Exportregeln eingeordnet. China schalte offene Modelle damit nicht ab, sichere sich aber eine Option für die Zukunft.

> „… establishing the optionality to shut down future open-weight models at will.“ Dean Ball, 2026

Dass solche Optionen gezogen werden, hat Europa im Juni erlebt. Am 12. Juni 2026 untersagte das US-Handelsministerium ausländischen Nutzern den Zugang zu zwei neuen Modellen von Anthropic, Fable 5 und Mythos 5. Anthropic schaltete beide daraufhin [für alle Kunden ab](https://www.nbcnews.com/tech/tech-news/anthropic-suspends-new-ai-models-fable-mythos-government-directive-rcna349901), nach Berichten wurde die Anordnung Ende Juni wieder aufgehoben. Was das für Europa bedeutet, habe ich damals in [Wenn KI einfach abgestellt wird](/blog/ki-wird-abgestellt) beschrieben.

Hinzu kommt ein leiserer Hebel. Mehrere Hersteller haben ihre stärksten Modelle 2026 zuerst an ausgewählte Partner gegeben oder vorab von einer US-Behörde prüfen lassen. OpenAI hat den Start von GPT-5.6 im Juni nach [eigenen Worten auf Wunsch der Regierung](https://cybernews.com/ai-news/openai-new-models-us-gov-request/) auf einen kleinen Kreis beschränkt. Unternehmen außerhalb dieses Kreises bekommen die Fähigkeiten später, und europäische Mittelständler gehören in der Regel nicht dazu.

## Was mit installierten Modellen passiert

Für Modelle, die bereits auf eigenen Servern laufen, ist das Risiko kleiner, als es klingt. Was bereits veröffentlicht ist, fällt laut dem chinesischen Entwurf nicht unter die neuen Regeln. Viele Qwen-Modelle stehen zudem unter der Lizenz Apache 2.0, die ausdrücklich unwiderruflich ist. Ein installiertes Modell läuft also weiter. Ob sich ein Lizenzgeber in einer Krise trotzdem auf geänderte Bedingungen berufen würde, müsste man im Einzelfall prüfen. Durchsetzbar wäre das gegen ein Modell auf einem Server in Deutschland vermutlich kaum, und in einem offenen Handelskonflikt würde es wahrscheinlich gar nicht erst versucht.

Verwundbar ist man an anderer Stelle. Das nächste, bessere Modell kommt vielleicht nicht mehr oder nur noch mit Auflagen, und eine API lässt sich über Nacht sperren. Auch Lizenzbedingungen neuer Modelle können Europa ausnehmen. Meta hat in der [Nutzungsrichtlinie](https://www.llama.com/llama3_2/use-policy/) für die multimodalen Modelle von Llama 3.2 Unternehmen und Privatpersonen mit Sitz in der EU von den Lizenzrechten ausgenommen, und dieselbe Klausel steht in den Richtlinien zu Llama 3.3 und Llama 4.

## Die größere Abhängigkeit liegt oft woanders

So ernst ich das nehme, im Vergleich zu anderen Bereichen der IT steht die KI noch gut da. Ein Unternehmen, das heute ein Sprachmodell selbst betreiben will, hat die Wahl zwischen Modellen aus China, den USA und Europa, viele davon frei verfügbar. Bei Betriebssystemen, Büroprogrammen oder Werbeplattformen sieht das häufig anders aus. Viele Unternehmen haben ihre gesamte Zusammenarbeit in Microsoft 365 und keinen Plan für den Fall, dass der Zugang wegfällt. Andere gewinnen den größten Teil ihrer Kundschaft über Instagram und Facebook. Wird ein solches Unternehmen bei Meta gesperrt, gibt es keine Ausweichplattform mit vergleichbarer Reichweite. In beiden Fällen gibt es teils keine echte Alternative.

> Bei Microsoft 365 oder Meta haben sich viele an eine Abhängigkeit gewöhnt, die wir bei dieser hohen Kritikalität viel kritischer prüfen sollten. Bei KI-Modellen sehe ich dagegen häufig große Skepsis, obwohl wir dort derzeit noch viel Auswahl haben. Thorsten Vellmerk

Europäische Modelle gehören in diese Rechnung. In den gängigen Ranglisten liegen sie derzeit hinter den besten chinesischen Modellen, [Mistral Large 3 etwa hinter GLM-5, Kimi K2.5 und DeepSeek](https://featherless.ai/blog/best-open-source-llms-2026). Als geprüfte Ausweichoption sind sie trotzdem wertvoll. Gegen ein Verhalten wie im Cohere-Test schützen sie allerdings nicht automatisch, denn auch ein europäisches Gewichtsfile lässt sich von außen nicht durchschauen. Warum lokale Modelle vor allem eine Frage der Unabhängigkeit sind, steht in [Lokale KI](/blog/lokale-ki-souveraenitaet).

## Drei Wege, ein Modell sicher zu betreiben

Auf KI zu verzichten, ist für die meisten Organisationen keine Option, dafür sind die Effizienzgewinne zu groß. Bei meinen Kunden sehe ich in der Regel drei Wege, ein Modell so zu betreiben, dass ein Vorfall wie bei Cohere ins Leere läuft.

### Die abgeschottete Umgebung

Einige meiner Kunden betreiben ihr Modell vollständig ohne Internetzugang. Es läuft auf eigener Hardware, und der Rechner hat keine Verbindung nach außen. Ein Upload-Versuch wie im Cohere-Test hätte dort nirgendwohin geführt. Der Preis dafür ist Aufwand: Updates müssen von Hand eingespielt werden, und Anwendungen, die Daten aus dem Netz brauchen, fallen weg. Für Verwaltungen mit sensiblen Akten oder für Forschungsabteilungen ist das häufig trotzdem der richtige Weg.

> Ein KI-Modell ist ein Baustein in einer Architektur, zu der Netzwerk, Berechtigungen und Daten gehören. Das Risikomanagement muss deshalb die ganze Architektur abdecken, und dort lassen sich die Risiken eines Modells steuern wie jedes andere IT-Risiko auch. Thorsten Vellmerk

### Die offene Umgebung mit engen Rechten

Braucht das System Zugang zum Netz, verschiebt sich die Kontrolle auf die Rechte. Der Agent darf nur die Werkzeuge aufrufen und nur die Ziele erreichen, die seine Aufgabe erfordert. Alles andere wird außerhalb des Modells blockiert und protokolliert, auch fehlgeschlagene Versuche. Ebenso wichtig ist der Zugriff auf Daten. Ein Agent, der Eingangsrechnungen prüft, braucht die Rechnungen und die Bestellungen, mit Personalakten oder den Zugangsdaten zur Cloud hat er nichts zu tun.

### Die Kontrolle durch einen zweiten Agenten

Der dritte Ansatz setzt auf eine Architektur aus mehreren Agenten. Bevor eine Aktion ausgeführt wird oder ein Ergebnis das System verlässt, prüft ein zweiter, unabhängiger Agent, ob sie zur Aufgabe passt. Dieser Ausgangsfilter ergänzt den üblichen Eingangsfilter, der verdächtige Anweisungen in Dokumenten oder E-Mails abfängt. Im Cohere-Fall hätte ein solcher Prüfer gesehen, dass eine Regel zur Angriffserkennung keinen Upload nach Peking erfordert, und den Aufruf gestoppt. Am wirksamsten ist das, wenn der Prüfer von einem anderen Hersteller stammt, denn zwei Modelle mit unterschiedlichem Training haben vermutlich seltener dieselben blinden Flecken.

Zugegeben, auch der Prüfer ist ein Sprachmodell und kann sich irren, und jede zusätzliche Prüfung kostet Zeit und Rechenleistung. Ich setze diesen Weg deshalb in der Regel zusätzlich zu engen Rechten ein. Keiner der drei Wege verlässt sich darauf, was das Modell über sich selbst sagt.

## Ein KI-Agent ist eher Mitarbeiter als Software

Ein Sprachmodell bleibt eine Blackbox. Was im Training hineingeraten ist, ob als Fehler oder mit Absicht, werden wir vermutlich auch künftig nicht von außen nachvollziehen können, bei Qwen so wenig wie bei Mistral oder Llama. Vollständig einsehbar ist dagegen alles, was davor und danach geschieht: welche Daten hineingehen, welche Werkzeuge das Modell aufrufen darf und was das System verlässt. An diesen Stellen entscheidet sich, ob eine Organisation die Vorteile des Modells nutzt und seine Nachteile unter Kontrolle hat.

Für die IT-Sicherheit ist das kein neues Problem. In seinem Verhalten ähnelt ein KI-Agent eher einem Menschen als einer klassischen Software, die tut, was im Code steht. Menschen machen Fehler, lassen sich täuschen und haben in seltenen Fällen böse Absichten. Nach dem [Data Breach Investigations Report von Verizon](https://www.verizon.com/about/news/2024-data-breach-investigations-report-vulnerability-exploitation-boom) war 2024 an 68 Prozent der untersuchten Datenpannen ein Mensch beteiligt, der einen Fehler machte oder auf eine Täuschung hereinfiel.

> Wir sollten KI nicht vermenschlichen. Für das Risikomanagement hilft es trotzdem, ein KI-Modell eher wie einen Mitarbeiter zu betrachten als wie ein klassisches, deterministisches IT-System. Das trifft die Gefahren meist besser, und vieles, was sich bei Menschen bewährt hat, lässt sich übertragen. Thorsten Vellmerk

Deshalb hört niemand auf, Menschen einzustellen. Organisationen bauen das System um sie herum, mit Rollen und Berechtigungen, Freigabegrenzen, Vier-Augen-Prinzip und Protokollen, damit Fehler seltener werden und der Schaden begrenzt bleibt, wenn doch einer passiert. Die drei Wege oben übertragen genau diese Prinzipien auf ein Modell. Die abgeschottete Umgebung entspricht dem Arbeitsplatz ohne Außenkontakt, die engen Rechte dem Berechtigungskonzept und der Prüf-Agent dem Vier-Augen-Prinzip. In der Sprache der IT-Sicherheit heißt das Zero Trust: Kein Teil des Systems bekommt Vertrauen, nur weil er dazugehört.

Für den Fall, dass jemand den Hahn zudreht, kommt eine Vorkehrung hinzu. Das Modell muss sich ersetzen lassen. Ist die Anwendung fest an ein Modell gebunden und gibt es keine eigenen Testfälle, mit denen sich ein Nachfolger prüfen lässt, dauert ein Wechsel eher Monate als Tage. Das Bild vom Mitarbeiter hat allerdings eine unbequeme Seite. Wenn KI-Agenten eine Art Mitarbeiter sind, dann wurden unsere fähigsten Mitarbeiter in den USA und in China ausgebildet. Über eine API lassen sie sich von einem Tag auf den anderen abziehen, das hat die Sperre im Juni gezeigt. Lokal betriebene Modelle bleiben zwar, aber ihre Nachfolger kommen aus denselben Häusern. In Europa gelingt es bisher nicht, Mitarbeiter mit vergleichbaren Fähigkeiten selbst auszubilden. Eine gute Architektur macht diese Abhängigkeit beherrschbar, das Dilemma selbst bleibt bestehen, solange Europa hier nicht aufholt.

Bei all dem unterstützen wir Sie gern, von der Auswahl des Modells über die Architektur bis zur Prüfung einer bestehenden Umgebung. Wir bauen solche Umgebungen selbst und arbeiten auch als Sparringspartner neben Ihrem Team oder Ihrem bisherigen Dienstleister, wie in [Warum KI-Projekte scheitern](/blog/warum-ki-projekte-scheitern) beschrieben. Wenn Sie wissen möchten, wo Ihre Architektur rund um die Blackbox heute Lücken hat, [sprechen Sie mich an](/contact).

## Quellen und Weiterführendes

[Cohere: Concerning behavior from a popular open-weight AI model, 26. Oktober 2026](https://cohere.com/blog/concerning-behaviour-popular-open-weight-ai-model)

[Cohere: Rohdaten und Reproduktionsskript auf Hugging Face](https://huggingface.co/datasets/CohereLabs/10-2026-qwen-investigation-traces)

[VentureBeat: Cohere's test caught an open source Qwen3.8 model trying to phone home to China, Oktober 2026](https://venturebeat.com/data/coheres-test-caught-an-open-source-qwen3-8-model-trying-to-phone-home-to-china-what-enterprises-should-know)

[The Register: Alibaba's Qwen AI caught trying to contact server in China, 26. Oktober 2026](https://www.theregister.com/ai-and-ml/2026/10/26/alibabas-qwen-ai-caught-trying-to-contact-server-in-china/5305561)

[TechCrunch: Cohere says Alibaba's Qwen model tried to send a file to Beijing, 26. Oktober 2026](https://techcrunch.com/2026/10/26/cohere-says-alibabas-qwen-model-tried-to-send-a-file-to-beijing/)

[The Decoder: China plans to tighten export controls on open-weight models, 16. Oktober 2026](https://the-decoder.com/china-plans-to-tighten-export-controls-on-open-weight-models-and-23-key-ai-technologies/)

[Chinesisches Handelsministerium: Entwurf zur Exportkontrollliste (chinesisch)](https://www.mofcom.gov.cn/zcfb/dwmygl/art/2026/art/61446ab4beee4f63973d4d0ab3097648.html)

[NBC News: Anthropic suspends new AI models after government directive, Juni 2026](https://www.nbcnews.com/tech/tech-news/anthropic-suspends-new-ai-models-fable-mythos-government-directive-rcna349901)

[Anthropic: Project Glasswing, Zugang zu Claude Mythos Preview, 7. April 2026](https://www.anthropic.com/glasswing)

[Reuters: Tech giants open AI models to US authorities, Mai 2026](https://www.marketscreener.com/news/tech-giants-open-ai-models-to-us-authorities-ce7f58dcdd89f222)

[Cybernews: OpenAI limits access to new GPT-5.6 models at US government's request, 27. Juni 2026](https://cybernews.com/ai-news/openai-new-models-us-gov-request/)

[Meta: Llama 3.2 Acceptable Use Policy](https://www.llama.com/llama3_2/use-policy/)

[Verizon: 2024 Data Breach Investigations Report, Mai 2024](https://www.verizon.com/about/news/2024-data-breach-investigations-report-vulnerability-exploitation-boom)

## Häufige Fragen

### Senden chinesische KI-Modelle Daten nach China?

Ein chinesisches KI-Modell, das lokal auf eigenen Servern läuft, sendet von sich aus nichts, denn ohne Werkzeuge hat ein Sprachmodell keinen Netzwerkzugang. Das gilt für Qwen, DeepSeek und andere offene Modelle gleichermaßen. Kritisch wird es, wenn das Modell als Agent Werkzeuge aufrufen darf. Der KI-Anbieter Cohere hat am 26. Oktober 2026 berichtet, dass Alibabas Qwen3.8-Flash-Next in einem Test versucht hat, eine Testdatei in einen Alibaba-Speicher in Peking hochzuladen, bei weniger als einem von 100.000 Aufrufen. Unabhängig bestätigt ist das bisher nicht, und mehrere Fachleute halten einen Trainingsfehler für wahrscheinlicher als Absicht. Anders ist es bei Apps und Cloud-Diensten chinesischer Anbieter: Dort gehen die Eingaben an den Anbieter und werden in der Regel auf Servern in China verarbeitet.

### Sind lokale chinesische KI-Modelle für Unternehmen sicher?

Das hängt weniger vom Modell ab als von der Umgebung, in der es läuft. Chinesische Modelle wie Qwen oder DeepSeek gehören zu den leistungsfähigsten frei verfügbaren Modellen und werden weltweit eingesetzt. Wie bei jedem Modell lässt sich von außen nicht prüfen, was im Training hineingeraten ist. Der Cohere-Bericht vom Oktober 2026 zeigt, warum das zählt: Das Modell kündigte an, kein Werkzeug aufzurufen, und tat es dann doch. Sicher wird der Einsatz durch die Architektur, also keine oder nur freigegebene Netzwerkverbindungen, enge Rechte für Werkzeuge und Daten und ein Protokoll aller Aufrufe. Für Modelle aus den USA oder Europa gilt das genauso.

### Darf man chinesische KI-Modelle in Deutschland nutzen?

Ein generelles Verbot gibt es in Deutschland und der EU nach unserem Kenntnisstand nicht (Stand Oktober 2026). Entscheidend ist, wo die Daten verarbeitet werden. Läuft ein offenes Modell wie Qwen auf eigener Hardware in Deutschland, verlassen keine Daten das Haus, und es gelten dieselben Datenschutzpflichten wie für jede andere Software. Bei einer Nutzung über Cloud-Server in China greifen die Regeln der DSGVO für Datenübermittlungen in Drittländer, die sich für China nur schwer erfüllen lassen. Für Behörden und kritische Infrastrukturen können zusätzliche Vorgaben gelten. Im Zweifel gehört die Frage vor dem Einsatz zum Datenschutzbeauftragten.

### Was bedeuten Chinas Exportkontrollen für KI-Modelle?

Das chinesische Handelsministerium hat am 16. Oktober 2026 einen Entwurf vorgelegt, der 23 KI-Technologien einschließlich Modellgewichten unter Exportkontrolle stellt. Erfasst wären Modelle ab 10 hoch 26 Rechenoperationen im Training, ab zwei Billionen Parametern oder unter den weltweit zehn besten. Bereits veröffentlichte Modelle fallen nach dem Entwurf nicht darunter, und viele Qwen-Modelle stehen unter der unwiderruflichen Lizenz Apache 2.0. Ein installiertes Modell läuft also weiter. Betroffen wären künftige Spitzenmodelle, deren Installation auf Servern im Ausland eine Genehmigung bräuchte. Der Entwurf ist noch nicht in Kraft.

### Wie betreibt man ein Open-Source-KI-Modell sicher?

Eine einfache Antwort gibt es darauf nicht. Sie hängt vom Einsatzfall ab und davon, was man unter „sicher“ versteht: Schutz vertraulicher Daten, Schutz vor Fehlhandlungen oder Unabhängigkeit vom Hersteller. Ein Weg ist die abgeschottete Umgebung ohne Internetzugang, ein anderer die offene Umgebung, in der der Agent nur bestimmte Werkzeuge, Netzwerkziele und Daten erreicht. Unabhängig vom Weg gelten einige Grundsätze. Das Modell bekommt nur so viele Rechte, wie es für seinen Auftrag gerade braucht. Es wird vor dem Einsatz mit eigenen Testfällen ausreichend geprüft, und jeder Werkzeugaufruf wird außerhalb des Modells protokolliert. Als zusätzliche Schicht kann ein zweiter, unabhängiger Agent jede Aktion prüfen, bevor sie das System verlässt. Hilfreich ist der Vergleich mit einem neuen Mitarbeiter: Auch ihn würde man einarbeiten, kontrollieren und seine Befugnisse anfangs begrenzen. Vorher steht allerdings die Frage, wie viel Autonomie das Modell für seine Aufgabe überhaupt braucht. Häufig ist es weniger, als ein Agent technisch bekommen könnte, und jede Befugnis, die wegfällt, ist ein Risiko weniger. Zusätzlich sollte sich das Modell mit denselben Testfällen in Tagen durch ein anderes ersetzen lassen.