Inzicht in vijf levels van MLOps volwassenheid en hun specifieke prioriteiten

De tijd dat kunstmatige intelligentie (AI) een abstract vergezicht was ligt achter ons. Steeds meer organisaties slagen er daadwerkelijk in om met machine learning (ML) slimmer en flexibeler te opereren. Daarmee groeit het besef dat traditionele software-ontwikkeling niet meer volstaat en het succesvol toepassen van ML een must is. Maar dit is makkelijker gezegd dan gedaan. Zo loopt elke organisatie die hiermee aan de slag gaat, tegen de volgende twee uitdagingen aan:

• Hoe zorg ik ervoor dat directie en management overtuigd worden/blijven?
• Hoe zorg ik ervoor dat de IT infrastructuur er klaar voor is?

Hierbij is het kiezen van de juiste manier van werken essentieel. De afgelopen jaren is MLOps uitgegroeid tot dé werkwijze om met ML slimmer en flexibeler te kunnen opereren.

MLOps volwassenheidsmodel

In deze blog introduceer ik een MLOps volwassenheidsmodel, waarmee ik u inzicht bied in vijf levels van MLOps volwassenheid en hun specifieke prioriteiten. Hiermee kunt u eenvoudig nagaan op welk niveau van MLOps volwassenheid uw organisatie zich bevindt, en weet u welke prioriteiten u moet stellen om een hogere mate van MLOps volwassenheid te bereiken. Zo is ook uw organisatie in staat om met ML slimmer en flexibeler opereren.

In het model wordt de MLOps volwassenheid van een organisatie op vijf niveaus in kaart gebracht: Level 0, Level 1, Level 2, Level 3 en Level 4. De mate van volwassenheid wordt gemeten volgens vijf criteria: strategie, architectuur, modellering, processen en bestuur. Als referentie voor het model kunt u dit rapport van GigaOm raadplegen.

Level 0

Op niveau 0 wordt ML nog niet toegepast binnen een organisatie en zijn directie en management sceptisch over de toegevoegde waarde ervan. Weliswaar kunnen er PoC’s worden opgestart, maar zonder de beschikbaarheid van ML data. Ook worden er geen DevOps uitgevoerd en ontbreekt het bewustzijn van governance.

Als directie en management zich ontwikkelen tot sponsors, is het fundament voor succesvolle implementatie van ML gelegd. Hun adoptiebereidheid is essentieel om het te kunnen inbedden in een bedrijfs- en technologiestrategie en investeringen in een geavanceerde data-omgeving, geschikt voor analyses van hoge kwaliteit, mogelijk te maken.

Level 1

Op niveau 1 wordt binnen een organisatie geprobeerd om een model te ontwikkelen om de waarde van ML aan te tonen. De hoeveelheid sponsors is nog gering, de teams voor data science en data engineering werken onafhankelijk van elkaar en de enterprise data-architectuur is ontoereikend. Ook is er geen gestructureerd proces voor het beheer van ML modellen. Modelontwikkeling gebeurt meestal lokaal, waarbij ontwikkelaars werken volgens de meest basale modelprestaties. DevOps als CI/CD worden toegepast, maar niet voor ML systemen. Ten slotte zijn er geen vooraf gestelde doelen om vast te stellen of het model goed genoeg is.

Wel zijn organisaties hier volwassener geworden in het werken met data en hebben ze enige ervaring met business intelligence (BI), maar maakt ML nog geen deel uit van de bredere bedrijfs- en technologiestrategie. Voor het bereiken van een hoger niveau van MLOps volwassenheid is een gestructureerdere aanpak van de ML activiteiten essentieel. Daarbij hebben hergebruik van software, datasets en ML modellen, en release-automatisering, trainingspijplijnen en reproduceerbaarheid van modelresultaten, prioriteit. 

Level 2

Op niveau 2 hebben organisaties vooruitgang geboekt bij het structureren van hun ML workflow, maar wordt door de projectgroep nog inefficiënt gewerkt en heeft zij moeite om de toegevoegde waarde van ML meetbaar te maken. Een belangrijk knelpunt is de schaalbaarheid van de ML infrastructuur. Doorgroei naar hogere niveaus vereist een intensieve focus op het bouwen van een framework dat knelpunten minimaliseert, naarmate het beroep op de infrastructuur toeneemt. Het framework wordt namelijk niet alleen gebruikt om modellen in productie te brengen, maar ook om operationele aspecten van het model te monitoren.

Daarnaast is de bedrevenheid in experimenteren met modelbeheer gegroeid en wordt de strategische waarde van ML door directie en management onderkend. Wel vertonen ML modellen nog ongewenste voorspellingsvooroordelen en wordt geen aandacht besteed aan de uitlegbaarheid ervan. In dit artikel wordt dieper ingegaan op hoe de uitlegbaarheid van modellen bijdraagt aan het vertrouwen in ML systemen.

Level 3

Op dit niveau hebben organisaties MLOps omarmd en zijn er verschillende succesvolle ML initiatieven opgeleverd. Ook wordt ML door directie en management gesponsord en integratie van ML voor grote projecten overwogen. Kenmerkend is dat DevOps en ML pipelines samenkomen en dezelfde releasepijplijn delen. Bij het monitoren van het ML systeem worden hygiënische factoren (data drift) gemeten en gerapporteerd. Het bewustzijn van governance is volop aanwezig en omvat het implementeren van beveiligingsbeleid. Daarbij gelden ethiek en uitlegbaarheid als rode draad en heeft het voorkomen van kwaadaardig gebruik topprioriteit.

Hoewel organisaties op niveau 3 met succes toegevoegde waarde leveren met ML, is er nog ruimte voor vooruitgang. Voor de doorgroei van niveau 3 naar niveau 4 moet de ‘kringloop van de ML life cycle’ worden gesloten. Dit betekent dat modelontwikkeling, implementatie, monitoring en modeltraining nauwkeurig in kaart moeten worden gebracht. Bovendien moeten heldere KPI’s worden opgesteld waarmee de strategische waarde van ML kan worden gemeten.

Level 4

Organisaties die niveau 4 bereiken, hebben een ‘fundamenteel andere business’ in vergelijking met het begin van hun MLOps reis. ML wordt beschouwd als een strategische waarde en het projectteam beschikt over een goed bestuurd proces voor ML levering. De impact van kleine wijzigingen in ML modellen kan worden gemeten en nieuwe algoritmes kunnen op schaal worden getest. Verder beschikt de organisatie over een audit trail voor ML. In dit artikel wordt nader ingegaan op het belang van het controleren van ML systemen.

Zodra organisaties het hoogste niveau hebben bereikt, mogen zij zich met recht ML leider noemen. Maar aan de top komen is makkelijker dan aan de top blijven. Om terugval te voorkomen is het voor ML leiders essentieel om een MLOps expertgroep in te stellen die nauwgezet de voortgang beoordeelt en het beleid opstelt.

“As data scientists iterate more quickly through test-and-learn cycles enabled by MLOps, they can arrive at genuine insights more quickly, however, this cannot be at the expense of compromising quality or governance. Therefore, to deliver ML in a way that delivers on the goals of MLOps, enterprises need a way to measure their progress. Maturity models help organizations understand where they are on the journey and what steps they can undertake to ‘level up’.” — William McKnight