Nieuw wapen CBS: hulp meestervervalser ingeroepen bij herkennen van zonnepanelen

Omdat zonnepanelen een belangrijke hernieuwbare energiebron zijn, onderzoekt het CBS in verschillende projecten hoe de totale opgewekte zonnestroom in Nederland beter geschat kan worden. Recentelijk schakelde het CBS daarvoor hulp in uit onverwachte hoek: een meestervervalser helpt bij het beter herkennen van zonnepanelen op luchtfoto’s.

Trainen met data
Het CBS gebruikt zogenaamde deep neural networks. Het herkennen van zonnepanelen op luchtfoto’s lukt goed binnen specifieke afgebakende gebieden waar het neurale netwerk ook is getraind. Een netwerk generaliseren lukt minder goed; het netwerk is niet breed inzetbaar zodat het ook in andere gebieden zonnepanelen goed herkent. Door het netwerk te trainen met een grotere hoeveelheid data is het mogelijk om beter presterende netwerken te maken. Hier zijn grote hoeveelheden plaatjes voor nodig. Deze plaatjes worden handmatig – vaak door meerdere mensen – beoordeeld; of ze wel of geen zonnepanelen bevatten. Dit is een arbeidsintensief traject.

De vraag is daarom: is het ook mogelijk om plaatjes toe te voegen zonder dat mensen deze hebben beoordeeld? Het CBS heeft onderzoek gedaan naar zogenaamde Generative Adversarial Networks (GAN’s); neurale netwerken die automatisch nieuwe plaatjes kunnen maken.

Patronen
Om automatisch nieuwe plaatjes aan te maken, is het eerst nodig om plaatjes te kunnen herkennen die veel op elkaar lijken. Hiervoor wordt gezocht naar patronen of clusters in de achterliggende data. Het ontdekken van patronen in data kan met verschillende technieken. Dit onderzoek richtte zich op 2 typen clusteringmethoden: k-means en agglomerative clustering. 

Het blijkt volgens het CBS dat k-means betere resultaten oplevert dan agglomerative clustering. K-means deelde de data op in 5 clusters: 4 clusters met overwegend plaatjes met zonnepanelen en 1 cluster met overwegend plaatjes zonder zonnepanelen. De clusters bevatten een grote diversiteit aan plaatjes en vormen een goede basis voor het genereren van verschillende soorten kunstmatige plaatjes.

De clusters kunnen in meer detail worden bekeken met T-distributed Stochastic Neighbor Embedding (t-SNE), een methode die hoog dimensionale ruimten kan visualiseren. Een dergelijke visualisatie kan een beter idee geven van de plaatjes in het cluster en hoe deze zich ten op zichtte van elkaar verhouden.

Generative Adversarial Networks
Een Generative Adversarial Network (GAN) is een specifiek deep neural network dat uit 2 componenten bestaat. De eerste component is de ‘generator’ of vervalser die probeert plaatjes (vervalsingen) te genereren die moeilijk van echt zijn te onderscheiden. De tweede component is de ‘discriminator’ die de vervalste plaatjes juist van de echte moet onderscheiden. Beide delen worden samen getraind met als einddoel een GAN die vervalsingen oplevert die moeilijk van echt te onderscheiden zijn.

Het trainen van GAN’s duurt vaak meerdere dagen. Het instellen van de parameters is grotendeels handmatig werk en luistert nauw. Toch is het het CBS gelukt om voldoende bruikbare GAN’s op te leveren die elk goede vervalsingen konden genereren. De afgebeelde figuur toont de resultaten van zo’n GAN met voor elke rij genereerde plaatjes voor een van de clusters die als invoer diende.

Wasserstein-model
Het onderzoek evalueerde verschillende GAN’s, zowel kwalitatief als kwantitatief. De kwalitatieve evaluatie omvat een visuele inspectie en is daardoor subjectief. De kwantitatieve evaluatie gebruikt 2 maatstaven: (1) de Fréchet Inception Distance, een afstandsmaat die de overeenkomst van 2 plaatjes evalueert en (2) de verbetering van de classificatiemetrieken als er gegenereerde plaatjes worden toegevoegd bij het trainen van het model.

Er zijn 4 typen GAN’s getraind en geëvalueerd. Elk type GAN leverde bruikbare plaatjes op. De beste plaatjes werden gegeneerd door de zogenoemde Wasserstein GAN. Voor dit type model was de Fréchet Inception Distance het kleinst en de plaatjes dus van de hoogste kwaliteit. Daarnaast verbeterde de prestatie van het classificatiemodel het meest na het toevoegen van de door het Wasserstein-model gegenereerde plaatjes. 

Om dit te evalueren, werd eerst een model getraind op de originele trainingsset. Daarna werd hetzelfde model met dezelfde parameters getraind op een trainingsset met extra door de GAN gegenereerde plaatjes. Vervolgens werden beide modellen geëvalueerd op een testset. Voor het evalueren werden de accuracy, recall en precision gebruikt. Bij alle succesvolle GAN’s namen de accuracy en recall 2 tot 3 procent toe. In het beste geval, de Wasserstein GAN, was de toename 6 procent. In alle gevallen ging deze verbetering ten koste van de precision, maar die bleef hoog met waarden boven de 92 procent.

Conclusie
Het CBS concludeert dat Generative Adversarial Networks (GAN’s) succesvol ingezet kunnen worden bij het genereren van extra trainingsdata en de verbetering van classificatiemodellen. Ze zijn een goed extra hulpmiddel wanneer gelabelde data moeilijk te verkrijgen of kostbaar zijn. Ook kunnen ze gebruikt worden om data uit een bepaalde klasse of van een bepaald type te genereren. GAN’s kunnen plaatjes uit een andere regio of domein genereren, zonder dat daarbij veel plaatjes handmatig bekeken moeten worden.