1. Introductie in data integratie
Een wereld onder water
Maart 2022, halsoverkop pakt Aleksandra haar koffer. De Russen dreigen Oekraïne onder de voet te lopen. In een overvolle trein weet ze Warschau te bereiken. Dan volgen Berlijn en Amsterdam. Via via weet ze een kamer in Zaandam te bemachtigen.
Ze is verdrietig, maar ze is veilig. Wat gaat ze doen? In Oekraïne had ze een goedbetaalde baan bij een telecombedrijf, maar hier is ze alleen. Ze moet helemaal opnieuw beginnen. Ze wil eigenlijk alweer terug, maar dat gaat gewoon niet.
Er zit niets anders op dan te integreren. Ze zal de taal moeten leren, ze zal werk moeten vinden. Maar hoe? Genoeg zorgen…, eerst pakt ze haar telefoon uit haar broekzak en schrijft een appje naar haar vader en moeder.
Blauwe vinkjes
WhatsApp is een technologie waar we allemaal wel mee bekend zijn. Aleksandra stuurt een appje en ziet aan de twee grijze vinkjes dat het ontvangen is. Na een paar minuten worden de grijze vinkjes blauw: haar ouders hebben het gelezen.
WhatsApp, email en andere internettechnologieën gebruiken we vaak zonder over na te denken. Onder water gebruiken die applicaties weer HTTP, API’s en de Cloud. En daarvan hebben de meesten ook wel eens gehoord. Maar hoe ze precies werken? Weinigen weten hoe de wereld echt met elkaar verbonden is. Een wereld van data.
Het internet bevat allerlei technologieën waar we al niet meer zonder kunnen. Het is net als de motor van een auto, de meeste mensen weten niet hoe die werkt, maar maken er wel dagelijks gebruik van. Om data via het internet uit te wisselen maken we dagelijks gebruik van data integraties.
Data integraties zijn overal. Als je een appje stuurt, als je boodschappen doet in de supermarkt of als je een afspraak maakt met het ziekenhuis. Mens en machine wisselen continu data uit zodat ze alle nodige informatie beschikbaar hebben om elkaar van dienst te kunnen zijn.
Integratie is een proces op de achtergrond en daarom voor velen onzichtbaar. Toch is het voor eenieder belangrijk op tijd de juiste en volledige informatie tot de beschikking te hebben. Data integratie is dus niet zomaar de stille motor op de achtergrond, maar het helpt mensen en bedrijven informatieketens te bouwen die uniek voor hen zijn.
Om integratie zo goed mogelijk in te kunnen zetten, helpt het om meer over de technologieën en begrippen erachter te weten. Er zijn alleen zoveel technieken en producten dat een overzicht ontbreekt. De meeste boeken zijn vanuit het perspectief van zo’n techniek of product geschreven of al enigszins verouderd, zoals Principles of data integration uit 2012.
Tools
Een bekende mantra is “The right tool for the right job”. Als een IT’er bijvoorbeeld ziet dat een manager alles met Excel wil oplossen, gaan zijn nekharen recht overeind staan. Hoewel niets zo flexibel als een spreadsheet is, kent het natuurlijk zijn grenzen.
Maar eigenlijk zijn IT’ers niet veel anders dan de gebruikers die ze weleens bekritiseren. Zo ziet een databasebeheerder alles door de bril van een database, een applicatiebeheerder wil alles aan elkaar scripten en een programmeur lost alles met code op.
Het mantra “The right tool for the right job” kun je daarom het best lezen als advies om je oogkleppen af en toe af te zetten. Het is voor iedere professional een ontdekkingstocht om zo zijn eigen gereedschapskist te vullen met nieuwe tools.
Een hondenhok
Stel je voor, Thomas gaat een hondenhok bouwen. Als basismateriaal gebruikt hij spijkers en planken. Hij pakt dan de zaag om de planken op maat te zagen en een hamer om de spijkers er in te slaan. Maar wat als de hond ook graag in bad gaat? Dan moet Thomas opeens loodgieterswerk gaan doen en er zijn allerlei maten en soorten buizen waar hij uit moet kiezen.
Integratiespecialisten zijn wat dat betreft het beste te vergelijken met loodgieters. Ze zorgen voor de pijpleidingen van organisaties. Daarom hebben ze ook specialistische tools nodig. Voor een specialisme als data integratie komt er nog bij dat alles virtueel is. Je kunt niet eenvoudig zien hoeveel werk het kost om een leiding te leggen.
Dat is een algemeen issue met het maken van software. Denk maar aan hoe simpel Google eruit ziet, terwijl het stiekem toch één van de geavanceerdste stukken software ter wereld is. Dus of je nu een simpel script (‘hondenhok’) of een integratieplatform (‘wolkenkrabber’) wil maken, de code past allemaal op een eenvoudige USB-stick.
KISS
Hoe kun je dan zien dat IT-projecten, integratieprojecten in het bijzonder, zo ingewikkeld zijn? Luidt een ander bekend IT-mantra niet KISS, ofwel “Keep it simple, Stupid”? Het antwoord is ja en nee. Je moet het zo simpel mogelijk houden, maar niet simpeler. Dan los je er niets meer mee op.
Een voorbeeld: Thomas wil spullen de rivier overzetten. De makkelijkste oplossing is de spullen in de boot te laden en naar de overkant te varen. Echter, als hij dagelijks tientallen goederen naar de overkant moet zetten is een brug toch handiger. De simpele oplossing per boot wordt door allerlei onvoorziene zaken nodeloos ingewikkeld en voldoet niet meer.
Bij integratie begint het ook vaak met de simpele wens om data van A naar B te krijgen. Is het makkelijkste dan niet een directe koppeling? Later blijkt de situatie toch lastiger. Een nieuwe technologie, een andere applicatie. Plotseling moeten er allerlei integratievraagstukken worden opgelost. Maar de technieken die hiervoor nodig zijn, zijn vaak complex.
Laten we, voordat we meer leren over data integratie, nog eens teruggaan naar één van de technologieën die we dagelijks gebruiken, WhatsApp.
Jan Koum, de oprichter van WhatsApp, ging in 2007 weg bij Yahoo met vierhonderdduizend dollar op zak. Na wat rondreizen en frisbee te hebben gespeeld, werd het geld langzaam minder en besloot hij te solliciteren bij Facebook. Daar werd hij afgewezen.
Toen Apple bij de lancering van de tweede versie van de iPhone de App Store introduceerde, besloot hij zijn eigen bedrijf op te richten. Hij richtte zich in eerste instantie op een app die push berichten kon ontvangen en pas in de tweede versie voegde hij er instant messaging aan toe. Terwijl Jan op een gegeven moment van voedselbonnen leefde, groeide het aantal gebruikers rap. Uiteindelijk groeide WhatsApp uit tot een app met meer dan een miljard gebruikers. In 2014 verkocht hij zijn bedrijf aan Facebook voor 19 miljard dollar.
Natuurlijk speelde “time-to-market” een grote rol, maar ook de technologische keuzes en de architectuur hebben WhatsApp tot een succes gemaakt. WhatsApp gebruikte bijvoorbeeld het XMPP-protocol. Dit is gebaseerd op XML, wat indertijd al een bewezen en een goed ondersteunde open standaard was. Kenmerkend is dat er geen centrale server is, maar gebruik wordt gemaakt van veel servers die als knooppunten fungeren:
What protocol is used in WhatsApp app? All messages are queued on the server until the client reconnects to retrieve the messages. The successful retrieval of a message is sent back to the whatsapp server which forwards this status back to the original sender (which will see that as a “checkmark” icon next to the message). Messages are wiped from the server memory as soon as the client has accepted the message.
WhatsApp gebruiken we dagelijks. Je typt een paar regels, zet er wat smileys bij. Vervolgens krijgen je vrienden het bericht. Je ziet dat het bericht is aangekomen en ten slotte, als de vinkjes blauw worden, dat je bericht gelezen is.
Veel populaire internetplatformen zijn gebaseerd op het feit dat er data wordt uitgewisseld, of dit nu WhatsApp, Twitter of Facebook is. Één kant produceert de data en de andere kant consumeert deze. Dit is een simpel principe en als je dit begrijpt, begrijp je ook het basisprincipe van data integratie.
Inhoudsopgave:
