In twee blogs bespreek ik twee voorbeelden van publieke organisaties die data science inzetten. Op welke manier zetten ze data science in en waar lopen ze tegenaan? Door deze vragen te beantwoorden verschaf ik inzicht in wat de beperkingen en randvoorwaarden zijn van het succesvol inzetten van data science. In de vorige blog besprak ik het voorbeeld van Orionis, een gemeenschappelijke organisatie van de gemeenten Middelburg, Veere en Vlissingen. Zij zet software in om bijstandsfraude te voorspellen en op te sporen.
In deze blog zijn enkele politiekorpsen aan de beurt die werken met het signaleringsinstrument ProKid. Dit instrument wordt ingezet om kinderen onder de twaalf die zich in een situatie bevinden waarin ze onvoldoende ontwikkelingskansen hebben eerder te herkennen. Het gaat naast het signaleren van criminele carrières, ook om het signaleren van risicovolle omstandigheden waarin kinderen opgroeien. Door vroegtijdig te signaleren kan tijdig de juiste hulp worden georganiseerd.
Hoe werkt het voorspelmodel van ProKid?
In het voorspelmodel van ProKid zijn risicofactoren opgenomen waarvan wetenschappelijk is vastgesteld dat ze samenhangen met de ontwikkeling van een criminele carrière. De risicofactoren zijn omgezet in meetbare indicatoren. Er zijn indicatoren opgenomen die verbonden zijn aan het gedrag van een kind, zoals spijbelen, pesten en dierenmishandeling. Daarnaast zijn indicatoren opgenomen die verbonden zijn aan het gedrag van gezinsleden en het woonadres. Er wordt in de gegevens van de politie geautomatiseerd gezocht naar deze indicatoren. Aan de indicatoren zijn gewichten verbonden, op basis waarvan een kind wordt ingedeeld in een risicocategorie. De laagste risicocategorie is getypeerd als “vermoedelijk veilige zone”, de hoogste risicocategorie is getypeerd als “alarmfase”. Een kwaliteitscontroleur beoordeelt de categorisatie en besluit welke kinderen worden doorgezet naar Bureau Jeugdzorg.
Hoe is ProKid ontstaan?
ProKid werd als proef ontwikkeld door het politiekorps Gelderland-Midden. Dit korps werkt vanaf 2007 met deze tool. In 2009 is in een krantenartikel van het Parool te lezen dat het korps erg tevreden is met ProKid. De toenmalige minister van Binnenlandse Zaken zag een landelijke uitrol wel zitten. Ter evaluatie van de implementatie en evaluatie, zijn in 2010 vier andere politieregio’s gaan werken met ProKid. Er werd onderzocht wat nodig was voor een succesvolle landelijke uitrol. Een grappig detail aan dit wat oudere voorbeeld is overigens dat in de mediaberichten en het evaluatierapport geen enkele keer de term “data science” voorkomt. Ook voor de grote hype van “data science” zagen publieke organisaties de toegevoegde waarde in van voorspellingsmodellen. Dit gebeurde een paar jaar geleden alleen nog niet onder de vlag van “data science”.
Wat komt in het evaluatierapport naar voren?
In het evaluatieonderzoek werd een antwoord gezocht op twee vragen. De eerste vraag is of Prokid in de vier regio’s werd gebruikt zoals bedoeld (1). De tweede vraag is of kinderen werden doorverwezen naar Bureau Jeugdzorg die nog niet eerder in beeld waren gekomen (2). De belangrijkste bevindingen uit het evaluatieonderzoek waren de volgende:
1. In geen van de vier pilotregio’s was sprake van een goed werkend ProKid-instrument. De regio’s werden geconfronteerd met systeemfouten en technische problemen. Het verschilt bijvoorbeeld per regio welke gegevens beschikbaar zijn. Hierdoor kunnen niet in elke regio dezelfde indicatoren en bijbehorende gewichten gehanteerd worden. Door de problemen ontbreekt bij de kwaliteitscontroleurs het vertrouwen dat de categorisatie correct verloopt. (Mede) hierdoor werden bijvoorbeeld geen verschillen vastgesteld in de wijze waarop opvolging werd gegeven aan de meldingen in de verschillende risicocategorieën.
2. De inschatting is dat in de vier regio’s door ProKid tussen de 460 en 808 kinderen per jaar in beeld komen die nog niet bekend zijn bij Bureau Jeugdzorg, maar wel hulp nodig hebben.
Is ProKid als een succes te bestempelen?
Op basis van het antwoord op de tweede vraag werd geconcludeerd dat ProKid van toegevoegde waarde is. Er komen immers kinderen in beeld die nog niet bekend waren bij Bureau Jeugdzorg, maar wel hulp nodig hebben. Aan de andere kant wordt aangegeven dat er nogal wat werk aan de winkel is voordat er sprake kan zijn van een succesvolle landelijke uitrol. Zo wordt aangeraden om opnieuw te kijken naar (het nut van) de indeling van de verschillende risicocategorieën. In de praktijk worden alle meldingen namelijk op dezelfde manier behandeld, ongeacht in welke risicocategorie deze vallen. Daarnaast moeten de systeemfouten en technische problemen worden opgelost, omdat er nu relatief veel tijd besteed wordt aan (het uitzoeken van) foute meldingen.
Wat is belangrijk om te onthouden?
Van dit voorbeeld leer ik dat data science van toegevoegde waarde kan zijn voor publieke organisaties. Met ProKid komen kinderen die hulp nodig hebben inderdaad eerder in beeld. Het is geweldig dat het politiekorps Gelderland-Midden de middelen heeft geïnvesteerd om deze tool te ontwikkelen, zelfs voordat de “data science hype” van start was gegaan. Ook mooi dat het succes gedeeld wordt met andere regio’s en er aangestuurd werd op een landelijke uitrol. En al helemaal slim: tijdens de implementatie in vier pilotregio’s werd eerst onderzocht wat de randvoorwaarden zijn voor een landelijke uitrol. Wat mij betreft een gezonde combinatie van durven (we gaan aan de slag met data science!) en doordachtzaamheid (hoe brengen we het tot een succes?).
Meer lezen over ProKid? Lees hier het artikel in Het Parool en hier het evaluatierapport.
