Je maakt een foto van een brief van de huisarts en vraagt ChatGPT wat er eigenlijk staat. Handig, twee minuten later weet je het. Je denkt er nooit meer aan. Maanden later staat een foto die iemand zo uploadde op een beeldhost, neergezet door een AI-agent van OpenAI zelf.
Dat voorbeeld is verzonnen. Het gebeuren zelf niet. OpenAI schreef vrijdag op zijn incidentpagina dat het “53 instances to date” heeft gevonden “where user-provided images were posted to image-hosting sites as links that weren’t publicly listed”.
Agents in de onderzoeksomgeving van OpenAI stuurden training- en testdata naar diensten van derden. Het meeste daarvan kwam niet van gebruikers. Deze 53 beelden wel. De meeste zijn inmiddels weg, de rest probeert OpenAI nog te laten verwijderen.
Waarom kon een agent überhaupt bij jouw foto?
Omdat die foto trainingsdata was. Wie ChatGPT gebruikt met een gratis of betaald persoonlijk abonnement, staat standaard aan voor modeltraining. TechCrunch schrijft het zonder omwegen: “consumer users are opted in unless they affirmatively choose not to share their data”. Zakelijke accounts staan standaard uit.
OpenAI zegt dat het die data eerst loskoppelt van je account. Daarna gaat hij door “a version of the OpenAI Privacy Filter”, die namen, contactgegevens en rekeningnummers weghaalt. In zijn post op X schrijft OpenAI dat ook deze beelden door een privacyfilter gingen.
Twee dingen weet je daarna nog steeds niet. OpenAI wilde volgens Reuters niet zeggen of de beelden echte mensen tonen of AI-gemaakt zijn, en ook niet wanneer ze online kwamen. En je hoort het niet als het jouw foto was. OpenAI kan de beelden niet meer aan een account koppelen, en zegt tegen TechCrunch dat het daarom niemand kan inlichten.
We draaiden de privacyfilter van OpenAI zelf
Die filter is geen geheim. OpenAI kondigde hem op 22 april aan als open model, openai/privacy-filter op Hugging Face. We lieten hem vannacht op onze eigen server los op elf testzinnen met verzonnen Nederlandse gegevens, negen in het Nederlands en twee in het Engels.
| Testzin bevat | Wat de filter markeerde |
|---|---|
| Naam en adres met postcode | “ben Sanne de Vries” als persoon, “Lindenlaan 14, 3581 AB Utrecht” als adres |
| IBAN en naam | IBAN als rekeningnummer, “P. Jansen” als persoon |
| BSN (Nederlands en Engels) | beide keren als rekeningnummer |
| 06-nummer en e-mailadres | allebei gevonden |
| Kenteken | gevonden, maar gelabeld als rekeningnummer |
| Naam en geboortedatum | allebei gevonden |
| Naam en diagnose (“diabetes type 2”) | alleen de naam; de diagnose bleef staan |
| Tekst van een paspoort | naam en documentnummer gevonden; van de geboortedatum alleen “MAA/MAR 1984”, de dag “12” zag hij als rekeningnummer |
| API-sleutel | gevonden als geheim |
Hij deed het beter dan we verwachtten. De modelkaart noemt hem “Primarily English”, maar in tien van de elf zinnen haalde hij de gevoelige gegevens eruit. De grenzen zijn soms slordig: het woordje “ben” hoorde er niet bij, en de dag van een geboortedatum is geen rekeningnummer.
De diagnose liet hij staan. Dat is geen fout van het model, dat is het ontwerp. Hij kent acht soorten gegevens: persoon, adres, e-mail, telefoon, url, datum, rekeningnummer en geheim. Gezondheid zit daar niet bij.
Een tekstfilter ziet geen gezicht
En dan het punt waar het om draait. Dit model is een token-classificatiemodel. Het leest tekst en markeert stukjes tekst. Een foto kun je er niet in stoppen. Er zit geen beeldverwerking in de repository, en OpenAI’s eigen aankondiging spreekt alleen over “personally identifiable information (PII) in text”.
Een gezicht, een huisnummer op een gevel of een kind in een schooluniform: dat zijn pixels, geen woorden. OpenAI noemt de privacyfilter als bescherming voor deze beelden, maar vertelt niet wat die filter met pixels doet. Dat is het gat in het verhaal.
Misschien filtert de interne versie wel beelden
Dat moeten we er eerlijk bij zeggen. OpenAI gebruikt intern “a fine-tuned version” van de filter, en het kan best zijn dat er daarnaast een beeldstap zit die we niet kennen. Onze test gaat over het openbare model, niet over de pijplijn binnen OpenAI.
Maar dat is precies waarom het ertoe doet wat OpenAI zegt. Als er een beeldfilter is, noem hem. Zolang OpenAI weigert te zeggen of er echte mensen op de beelden staan, blijft het woord “privacyfilter” een geruststelling zonder inhoud.
Zet de schakelaar uit voor je volgende upload
Ga in ChatGPT naar Instellingen, dan Gegevensbeheer, en zet Het model voor iedereen verbeteren uit. Dat staat letterlijk zo in het helpartikel van OpenAI. Het helpartikel belooft dat voor je nieuwe gesprekken. Over wat al in de trainingsdata zit, zegt het niets.
Klik daarna ook geen duimpje meer bij een antwoord. Volgens de veelgestelde vragen onderaan datzelfde helpartikel kan het hele gesprek dan alsnog voor training worden gebruikt, ook met de schakelaar uit. TechCrunch noemt hetzelfde. Een foto van een brief of een document stuur je het liefst in een tijdelijke chat; die gebruikt OpenAI niet voor training, maar bewaart hem wel tot 30 dagen.
Voor tekst bestaat er wel een schoonmaakstap. Onze eigen tool voor ai-data-anonimiseren haalt BSN, IBAN en namen uit je tekst voor je die in een chatbot plakt, in je eigen browser. Voor een foto is er zo’n stap niet. Waarom een filter nooit alles vangt, lees je in ons stuk over AgentCloak.
Werkgevers kunnen hier ook iets mee. Wie niet regelt welke AI-tool je team gebruikt, krijgt shadow AI, en dan staan die foto’s in een persoonlijk account met training aan. Een human firewall begint bij zo’n schakelaar.
53 is een tussenstand
OpenAI werkt maand voor maand terug door de logs, beginnend bij de Hugging Face-inbraak, en zegt dat die review nog maanden duurt. Het getal 53 geldt “to date”. De volgende update laat zien of het oploopt, en of OpenAI dan wel zegt wat er op die beelden stond.
Rik Hoogland
Rik begeleidde jarenlang phishing-simulaties en awareness-programma's bij Nederlandse organisaties. Op Humanfirewall.nl legt hij uit hoe oplichters mensen bespelen en hoe je daar als team tegen bestand raakt. Stel Rik je vraag.
Zelf een situatie die niet vertrouwd voelt?
Beschrijf wat er gebeurde of waar je over twijfelt, dan denkt Rik mee over de juiste reactie.