Data integratie: a piece of cake
Inleiding
De wet van Metcalfe stelt dat de waarde van een netwerk kwadratisch toeneemt met het aantal aangesloten apparaten. Dit geeft goed de kracht weer van het internet met alle aangesloten servers, computers en smartphones. Maar de daadwerkelijke waarde ligt niet in de apparaten, maar in het uitwisselen van data.
Dat alles via internet met elkaar verbonden is en gegevens op de juiste plek zijn, lijkt iets vanzelfsprekends, bijna iets magisch. Toch is het tegengestelde waar. Gegevensuitwisseling vindt plaats door data integratie.
Het vakgebied van data integratie is verrassend breed. Nog verrassender is dat er betrekkelijk weinig informatie over te vinden is. Toch is het overal om ons heen. Als je een app’je stuurt, een pizza bestelt of je salaris krijgt. Zonder data integratie is dit niet meer mogelijk. Tegenwoordig krijgt elke IT’er en in meerdere mate ook de business hiermee te maken.
Om inzicht te geven in de werking van data integratie en welke technologieën en concepten er bij komen kijken, heb ik voor studenten enkele introducties geschreven, evenals blogs voor integratiespecialisten. Het werd hoog tijd deze introducties en blogs te bundelen in een boek. Het idee is iedereen, van student tot specialist, een overzicht te bieden van het vakgebied.
Mijn kennismaking met integratie
Als student heb je vaak een eenvoudig bijbaantje. Vaak ook wel prettig om naast de studie niet te veel na te hoeven denken. Ook ik heb een aantal van die baantjes gehad, zoals werken op een postkamer en als postbode. Het was dan simpelweg het uitvoeren van een eenvoudige taak.
Het allereerste baantje op het postkantoor begon heel eenvoudig met het dichtplakken van enveloppen. Één collega deed de brieven in de enveloppen en ik plakte ze dicht met een sponsje. Af en toe wisselden we elkaar af. Een simpel proces.
Het volgend baantje als postbode was al een stuk serieuzer. Eerst de brieven op straatnaam sorteren, dan op nummer, dan op omgekeerde loopvolgorde de post in de fietstassen proppen en ten slotte de post rond brengen in weer en wind. Leuk als de zon schijnt, minder als het regent…
Na een tijdje in Amsterdam te hebben gestudeerd, verhuisde ik naar Berlijn. Daar ging ik bij de Deutsche Post in een distributiecentrum aan de slag. Zes dagen in de week van 4 tot 7 uur in de ochtend. En dan zeggen ze dat studenten te lang uitslapen…
Telefoneren met een houtblok
Kort na mijn studie begon ik bij TNT post te werken, waar ik verantwoordelijk was voor de Apple-pakketten. Die Apple-zendingen verdwenen namelijk nog weleens op een “mysterieuze” wijze. Door heel Europa moest ik verdwenen pakketten traceren.
Samen met de interne recherche, regionale afdelingen, Apple en de politie gingen we de hele logistieke keten af. Vaak kwam het wel goed, maar soms stonden we ook wel voor een uitdaging. Bijvoorbeeld als klanten opeens houtblokken in hun pakket vonden. Die blokken hadden dan tot op de gram hetzelfde gewicht als een iPod. Pakketten worden namelijk op verschillende punten gewogen en dat wisten criminelen ook heel goed.
Er werd daarom besloten op verschillende punten en overdrachtsmomenten de Apple-pakketten door scanners te halen, net als bij de douane. Zo kon men precies zien waar in het proces nog een telefoon zat en waar plots een houtblok. Wel handig, want met een houtblok is het lastig telefoneren.
Een walvis met zeecontainers op de rug
Bij elk van die baantjes besefte ik meer en meer hoe je onderdeel bent van een hele keten en hoe ingewikkeld die keten eigenlijk is. Dacht ik er bij het vullen van enveloppen nog weinig over na, op een gegeven moment kreeg ik een soort ontzag voor de complexiteit van het logistieke proces.
De logistieke keten is opgedeeld uit allerlei schakels van producent tot consument. Daarvoor zijn simpele, maar zeer doeltreffende oplossingen bedacht. Neem nu zeecontainers, er is één formaat. Dit kan door verschillende transportmiddelen worden vervoerd, denk aan containerschepen, hijskranen in de haven, treinen en vrachtwagens; ieder transportmiddel kan met hetzelfde formaat overweg. Wat in die containers zit maakt niet uit. Dit kunnen iPhones zijn of houten blokken.
Het is dan ook geen wonder dat analogieën met de logistiek zo’n weerklank vinden in de IT. Bij technologie zijn namelijk veel dingen onzichtbaar. Daarom is het handig die abstracte concepten concreet te maken. Denk er bijvoorbeeld aan dat veel software tegenwoordig ingepakt wordt in Docker containers. Het logo van Docker is niet voor niets een walvis met zeecontainers erop.
Van logistiek naar integratie
In 2006 was mijn studie volledig afgerond, mijn rijbewijs behaald en het afstudeerfeestje gegeven. Ik moest nu maar eens ‘echt’ aan de slag. Ik startte in januari 2007 bij het bedrijf DetailResult, een samenwerking van de supermarkten Dirk van den Broek en DekaMarkt. Twee jaar later zouden die supermarkten volledig fuseren tot de DetailResult Groep, een bedrijf met twee supermarktformules (Deka en Dirk), Distributie Centra en een eigen slagerij en bakkerij. Het fusiebedrijf heeft meer dan 20.000 medewerkers. Mijn logistieke kennis kwam daar nog goed van pas.
Vanzelfsprekend zijn logistieke processen voor supermarkten enorm belangrijk. Het belangrijkste proces, de levensader van een supermarkt, is de supply chain. Boeren en verschillende leveranciers van grondstoffen leveren aan fabrikanten. Die fabriceren weer het voedsel. De producten worden getransporteerd naar het distributiecentrum. Die leveren vervolgens weer aan de supermarkten. Daar worden de producten in het schap gelegd, waarna deze uiteindelijk in de koelkast van consument belanden.
Toch had ik nog enigszins een naïef beeld van data integratie die achter zo’n supply chain schuil gaat. Ook ditmaal hield ik me aanvankelijk alleen bezig met een kleine schakel in het geheel. Data moest gewoon van systeem A naar systeem B. Bijvoorbeeld wanneer een magazijnapplicatie een order van het bestelsysteem moest krijgen. In het begin ga je voornamelijk tussen twee specifieke punten kijken (Point-to-Point). Hoe moeilijk kan het zijn wat bestandjes van systeem A naar systeem B te verplaatsen?
Ik stak daarbij wel al een beetje mijn hoofd onder water, maar kon toen nog niet bevroeden tot hoe diep de ijsberg van IT-processen ging.
Gaandeweg besef je dat data integraties achter de supply chain net zo ingewikkeld zijn als diens logistieke keten. In feite is de data integratie zelfs gelijk aan die fysieke processen, maar dan omgekeerd.
De weg van een kassabon
Wat gebeurt er als je als klant bij de supermarkt je boodschappen hebt afgerekend? Alle gescande informatie van elk product (denk aan het artikelnummer, de prijs, de btw, eventuele korting enzovoort) en aanvullende informatie (bijvoorbeeld het kassanummer, de namen of nummers van de caissière en het filiaal) komen op een elektronische kassabon te staan. Deze informatie is internationaal grotendeels gestandaardiseerd in het “Arts Poslog”-format.
Deze zogenoemde Poslog wordt bij elke kassa verzameld en naar het centrale kassasysteem gestuurd. Dit systeem biedt de kassabon vervolgens aan op een queue. Elke kassabon gaat van de queue naar verschillende andere systemen. Denk aan een rapportagesysteem dat rapportages maakt van de omzetten van een filiaal, of een opslagsysteem dat de kassabonnen bewaart voor de belastingdienst.
De belangrijkste ontvanger van de kassabonnen is echter het bestelsysteem. Dit houdt bij hoeveel er van een product is verkocht. Is bijvoorbeeld in een filiaal de helft van het aantal potten pindakaas verkocht, dan moet er een nieuwe voorraad worden besteld. Alle voorbeelden op de IT-afdeling van supermarkten gaan overigens over pindakaas, hoewel bier ook wel populair is.
Het bestelalgoritme maakt per filiaal een order aan. Deze order gaat vervolgens weer naar het ERP-systeem (Enterprise Resource Planning). Dit is het centrale systeem dat gegevens over artikelen, leveranciers en prijzen bevat. Het ERP verdeelt de orders weer verder. Zijn het orders voor de eigen slagerij of bakkerij, dan gaan die daar rechtstreeks naar toe, andere orders zijn voor het distributiecentrum (bijvoorbeeld in het geval van pindakaas) en weer andere worden rechtstreeks geleverd door een leverancier (bijvoorbeeld melk).
Van de order die bij het distributiecentrum wordt geleverd wordt weer een pickorder gemaakt. Uiteindelijk komt er een elektronische vrachtbrief uit die de orders naar het filiaal levert. Daar kunnen de producten weer in de schappen worden gezet, waarna je weer kan afrekenen bij de kassa.
Het cirkeltje is rond.
Dit voorbeeld laat al een beetje zien hoeveel schakels er nodig zijn voor een data integratie. Tegenwoordig hebben grote bedrijven honderden systemen die gegevens uitwisselen. Elk systeem heeft vaak zijn eigen functie en zijn eigen technologie. Voor elke schakel tussen alle deze systemen moeten allerlei wegen en bruggen worden gebouwd.
Gelukkig zijn er, net als bij logistiek, veel goede oplossingen bedacht. Om het hele proces ervan te snappen dien je kennis te hebben van de verschillende typen oplossingen van data integratie. Daarom dit boek, dat de verschillende integratieoplossingen op een rijtje zet.
A piece of cake
Dit boek gaat over data integratie. Het is gebaseerd op meer dan 15 jaar praktijkervaring, veel kennis en discussies met collega’s. Het is samengesteld uit verschillende teksten en blogs die ik voor studenten en collega’s heb geschreven.
Zoals in de meeste IT-specialismen, wordt er ook rond data integratie met allerlei termen gegooid. Soms is het lastig te volgen waar het eigenlijk over gaat. Het doel van het boek is een gevoel voor de integratieterminologie te krijgen en waar je die kan plaatsen.
Om dit verhaal niet te abstract te houden, had ik net als in het geval van de zeecontainers een aantal analogieën nodig. Deze kunnen uit de logistiek komen, maar soms ook uit andere sectoren. Logistieke processen roepen soms namelijk wat verwarring op, omdat ze heel erg op dataprocessen lijkt. Maar vaak werkt het in de digitale wereld toch net even anders.
Ik vertel daarom het verhaal van Aleksandra, een Oekraïense vluchteling, die in Nederland een banketbakkerij begint. Ze begint klein met het bakken van een enkele taart, maar daarna groeit haar bedrijf uit tot een goedlopende onderneming. In deze organisatie vinden allerlei processen plaats die goed met data integratie zijn te vergelijken. Zo’n analogie maakt het hopelijk wat beter behapbaar. En data integratie wat tastbaarder.
Data integratie: a piece of cake!
Inhoudsopgave:
