Het is tijd voor een open en souverein dataplatform

Steeds meer bedrijven zien het belang in van digitale souvereniteit. Op alle lagen van de stack zien we een initatieven ontstaan om onze digitale infrastructuur minder afhankelijk te maken van een handjevol hyperscalers. In plaats daarvan ontstaat er een meer open, duurzame en gezonde markt.

Een Frans-Duits-Nederlands project heeft inmiddels de eerste versie van Mijn Bureau gereleased. De Fransen noemen het La Suite. @Barry den Hartog laat zien dat dit veilig, betaalbaar en schaalbaar op Europese infrastructuur kan draaien

Ondanks deze hoopvolle ontwikkelingen, zien we nog wel een paar grote witte vlekken waarvoor nog geen souvereine oplossing is. Dit geldt ook voor dataplatformen, zijnde de systemen waar talloze organisaties gebruik van maken om hun interne data te combineren, verrijken en te analyseren. Denk aan data warehouses, business intelligence en data analyse.

En dit, terwijl de open source data stack al heel volwassen is. Nieuwe open standaarden zoals het Apache Arrow project, en nieuwe data processing engines zoals DuckDB en polars, maken het mogelijk om terabytes aan data te processen een enkele virtuele machine. Het grote probleem zit hem vooral in systeem integratie: het vergt veel kennis en ervaring om alle onderdelen van een open source data platform bij elkaar te brengen.

Een modulaire open source stack die overal draait

SRDP, het Single Repo Data Platform is een volledig open, overdraagbare architectuur èn implementatie van een dataplatform die te gebruiken is vanaf één tot duizend gebruikers. Het is ontstaan uit een collectief van onafhankelijke data professionals die hun handen ineen hebben geslagen een serieus alternatief te bieden tegen onnodig complexe en dure dataplatformen. Het implementeren van een BI dashboard voor een middelgrote organisatie zou geen tonnen hoeven te kosten.

In opdracht van het SRDP consortium ontwikkelde Codehive de eerste versie van de implementatie scripts. Dagster verzorgt de orkestratie van alle data-pipelines, zonder binding aan een specifieke cloudprovider. Zitadel regelt de toegang op basis van open standaarden, los van vendor-specifieke filters. Polars en DuckDB zorgen voor razendsnelle verwerking op elke machine, van een lokale laptop tot een zwaar servercluster. De volledige infrastructuur is vastgelegd in code via OpenTofu en Kubernetes, waardoor de omgeving op elk moment volledig te verplaatsen is naar een andere provider of eigen hardware.

Het resultaat is een platform waarbij de regie niet bij een externe partij ligt, maar in de centrale Git-repository van het team zelf. Dat is de kern van SRDP: één overzichtelijke plek, met volledig eigenaarschap over de eigen data-architectuur.

"We hebben in Nederland en Europa heel veel kennis en expertise op het gebied van data platformen, met mensen zoals @Hannes Muhleisen (DuckDB) en @Ritchie Vink (polars). We kunnen deze technologie veel breder inzetten."

Daniel Kapitan, initiatiefnemer en architect SRDP

Vrijheid om te bouwen, met zekerheid over de kosten

Engineers die met SRDP werken, zetten direct een productie-waardige omgeving neer en besteden minder tijd aan configuratie van het platform. Die tijd gaat naar het werk dat er werkelijk toe doet. Omdat de stack volledig portable is, draait de omgeving zonder aanpassingen op elke cloud of op eigen hardware, wat de afhankelijkheid van één provider volledig wegneemt.

Doordat de architectuur volledig open is, schaalt de infrastructuur mee met de groei van de organisatie zonder dat de licentiekosten exponentieel meestijgen. Organisaties weten precies waar ze aan toe zijn, ook bij de volgende contractverlenging.