Elke echt datagedreven organisatie werkt met een betrouwbaar dataplatform dat voor alle gebruikers vlot toegankelijk is. Aan zo’n platform gaat altijd sterke, strategisch onderbouwde data engineering vooraf.
Data management, governance, analytics, data science, machine learning, Microsoft Fabric, data engineering… Steeds meer bedrijven beseffen dat ze hun organisatie data-driven moeten maken en dat datagedreven finance daarbij essentieel is, maar raken bij het concretiseren van die ambitie verstrikt in een wirwar van termen en concepten die ze geacht worden te beheersen, van dataintegratie tot datawarehouse‑architectuur van dataintegratie en datawarehouse‑architectuur tot manieren om een uniform dataplatform te ontwerpen en implementeren.
Bij TriFinance brengen we daar graag helderheid in. In dit artikel focussen we specifiek op data engineering. We leggen uit wat het precies is, hoe je het toepast in de praktijk en hoe het zich verhoudt tot de andere essentiële onderdelen van een goed ontworpen datastrategie en data‑analytics‑architectuur.
Eén keer experimenteren in Excel is nog geen data engineering.
Data engineering in een notendop
Je haalt pas waardevolle inzichten uit data wanneer die data correct en overzichtelijk zijn samengebracht op één centraal platform. Dat is precies wat data engineering doet: gegevens uit diverse bronsystemen systematisch capteren, verwerken, bundelen en klaarzetten voor de analisten binnen een betrouwbaar rapportagemodel.
“Een keer experimenteren in Excel is nog geen data engineering,” merkt Ivo Merchiers, Data Engineering Manager bij TriFinance, op. “Het moet professioneel, schaalbaar en duurzaam gebeuren, zodat alle processen goed draaien én goed blijven draaien.”
Data engineering komt zeker niet alleen bij grote organisaties voor. “Elk bedrijf dat de stap wil zetten naar datagedreven finance, moet er op een professionele manier mee aan de slag,” zegt Maarten Lauwaert, Expert Practice Leader Data & Analytics bij TriFinance. “Wel gaat het om een spectrum, van geavanceerde platformen tot low-code-oplossingen binnen een uniforme data‑architectuur.”
Data engineering als instrument voor data analytics en data science
Data engineering vormt het fundament van data analytics en data science. Alleen met een solide data warehouse of een recenter alternatief kunnen data-analisten en data scientists hun werk goed uitvoeren en echte waarde creëren voor de business.
- Data analytics: vooral backward-looking en gericht op rapportering, met descriptieve inzichten.
- Data science: vooral forward-looking, met geavanceerde statistische analyses en tools zoals machine learning, die ook predictieve en prescriptieve inzichten opleveren.
Eerst de businessnoden vertalen naar technische vereisten, dan kunnen data engineers in een uniforme architectuur aan de slag.
Van data warehouse en data lake naar het data lakehouse
Wat bedoelen we precies met een dataplatform? In 2025 gaat het vaak om een data lakehouse: een systeem dat de sterktes van de klassieke database (het data warehouse) en haar opvolger (het data lake) combineert.
Een kort geschiedenisoverzicht, toegelicht door specialist Ivo Merchiers:
- Bedrijven verzamelden hun rapporteringsdata aanvankelijk in een data warehouse. Dat werkte goed: de data waren netjes gestructureerd en overzichtelijk. Maar zodra de datavolumes snel groeiden, doken twee problemen op: de kosten stegen mee met het volume en de performantie botste al snel op haar grenzen.
- De volgende stap was hetdata lake. Zo’n systeem werkt technisch anders én kostenefficiënter, omdat opslag en rekenkracht van elkaar zijn losgekoppeld. Los van het volume data dat je opslaat, start je de rekenkracht pas op wanneer je de data effectief wilt transformeren of analyseren. Big data werd zo een stuk toegankelijker. Maar er is ook een keerzijde: de betrouwbaarheid is niet altijd gegarandeerd.
- Data lakehouses vormen de nieuwste generatie dataplatformen en combineren het beste van beide werelden. Ze maken het mogelijk om data schaalbaar, betaalbaar, betrouwbaar en toegankelijk te verwerken. Wel is goede IT-expertise onmisbaar bij enkele sleutelprofielen. Omdat zo’n systeem moeiteloos omgaat met uiteenlopende datatypes (gestructureerd, ongestructureerd, en afkomstig uit alle hoeken van de organisatie) zijn lakehouses ideaal voor machine learning en andere AI-toepassingen.
Heel wat grote bedrijven investeren vandaag volop in deze technologie. Drie van de belangrijkste platformen op dit moment zijn Microsoft Fabric, het Databricks Lakehouse Platform en Snowflake.
Maarten Lauwaert ziet bovendien een grote verschuiving aan de horizon:
“Alle data agents en andere tools die draaien op een large language model moeten gevoed worden met data. "Wel, voor deze oplossingen is een data lakehouse uitermate geschikt om die data te verzamelen en te organiseren.”
Wanneer afdelingen zonder overleg hun eigen dataplatformen en tooling ontwikkelen, komt dat de efficiëntie niet ten goede. Het risico dat er datasilo’s en verschillende versies van de waarheid ontstaan, is groot
Datastrategie en datamanagement als kader voor data engineering
Een dataplatform bouw je nooit in het luchtledige. Omdat het een middel is en geen doel op zich, moet je eerst bepalen welke datastrategie bij je organisatie past. Welke richting wil je als bedrijf inslaan, en welke rol moeten data en data-analyses daarin spelen? Die dubbele vraag moet je geregeld opnieuw stellen: een strategie mag nooit in steen gebeiteld zijn.
Data engineering is meer dan een louter technische oefening. Hoewel IT-vaardigheden onmisbaar zijn, zoals software verbinden, automatische processen opzetten, controlemechanismen inbouwen, begint het werk elders. Eerst moeten de noden van de business vertaald worden naar technische vereisten. Pas daarna kunnen data engineers aan de slag in een uniforme data-architectuur.
Een ander essentieel thema binnen zo’n strategische denkoefening is datamanagement. Welke processen, afspraken en rollen heb je nodig om zowel een optimale doorstroming als een eenduidige interpretatie van de data te garanderen? Wie draagt de verantwoordelijkheid voor het onderhoud van systemen en platformen? Hoe bewaak je de veiligheid van gegeven? Het zijn overwegingen die je idealiter al in een vroeg stadium mee op tafel legt.
Finance aan het stuur
Om de brug te slaan tussen strategische en technische profielen (soms zelfs tussen een CEO en een CTO) is de CFO ideaal geplaatst. Finance combineert van nature businessinzicht met cijfers en analyses. “De CFO heeft de sleutel in handen om die broodnodige dialoog op gang te brengen”, aldus Ivo Merchiers. “Dat is belangrijk, want naast verticale diepgang heb je horizontale verbreding nodig, waarbij je silo’s doorbreekt en zowel de datastrategie als data engineering in dienst stelt van de hele organisatie.”
Silo’s doorbreken blijft voor veel ondernemingen een uitdaging, ook op het vlak van data. En dat is problematisch: wanneer afdelingen zonder overleg een eigen dataplatform en tooling ontwikkelen, komt dat de efficiëntie niet ten goede. “Het risico dat er datasilo’s en verschillende versies van de waarheid ontstaan, is groot”, zegt Maarten Lauwaert. “Een verspilling van geld en talent.”
Een constante: hoe groter de complexiteit van naast elkaar bestaande tools, hoe moeilijker en duurder het wordt om nog een technische omslag te realiseren.
“Het is aan finance om mee aan het stuur te zitten”, zegt Maarten, die financiële specialisten daarom adviseert om toch een minimum aan technische expertise in data-engineering skills op te bouwen. “Niet om zelf aan een platform te sleutelen, maar om een leidende kracht te kunnen zijn. Want als je zowel de strategische krijtlijnen mee uitzet als de taal van data spreekt, kun je de organisatie én de data engineers echt sturen.”
Data analysts en scientists werken dankzij de platformarchitectuur vaak zelfstandig binnen het businessteam. Het kan waardevol zijn om data engineering daar ten dele te plaatsen om de businessrelevantie te bewaren.
Het data engineering-team
Hoe een data engineering-team eruitziet, hangt vanzelfsprekend af van de grootte, datamaturiteit en zeker ook de strategie van een organisatie.
Hoe ver je wil gaan met data-analyses en dataplatformen is een cruciale strategische keuze. Belangrijk om te onthouden: data-driven werken is een never-ending story. Elke tool vraagt onderhoud én regelmatige updates. Vanaf een bepaalde schaal is het essentieel om vaste data engineers in huis te hebben: specialisten die zich fulltime toeleggen op het opzetten en onderhouden van het dataplatform.
Ook wat de teams betreft is het devies om niet in hokjes te denken. Maarten: “Data analysten en data scientists, die dankzij de platformarchitectuur in grote mate zelf met de gegevens aan de slag kunnen, maken doorgaans deel uit van het businessteam. Er valt zeker ieets voor te zeggen om daar ook een deel van de data engineering-capaciteit te leggen, net om de businessrelevantie te bewaken.”
Ivo sluit zich daarbij aan en ziet een duidelijke meerwaarde in domeinspecifieke teams. “Voor bijvoorbeeld finance kan je een projectgroep samenstellen met engineers, analisten en andere relevante profielen. Zo’n multidisciplinair team binnen een afgebakend domein vormt een ideale basis voor een grondige dialoog over concrete businessnoden en technische vereisten.”
