De drive om realtime gegevens te leveren

Een afbeelding van , Nieuws, De drive om realtime data te leveren

Data is de levensader van het bedrijf, maar de waarde ervan ligt in het snel kunnen omzetten ervan in inzichten. Het is door The Economist beschreven als "voor deze eeuw wat olie was voor de laatste: een aanjager van groei en verandering", maar het kan vaak net zo moeilijk blijken te zijn om te ontginnen. De focus voor veel bedrijven ligt nu op het verbeteren van hun datavolwassenheid door te kijken hoe ze hun data kunnen optimaliseren en gebruiken om realtime inzichten te leveren.

Er is een voortdurende drang om latentie en tijd tot inzicht te verminderen door het gebruik van praktijken, processen en technologieën, gewoonlijk DataOps genoemd, die tot doel hebben de analyse te verbeteren. Het is een drijvende kracht die recentelijk het databeheer op zijn kop heeft gezet. Voorheen was de typische aanpak gecentraliseerde datawarehousing waarbij gebruik werd gemaakt van Extract Load and Transform (ETL)-processen om het van domeinen naar een gigantisch datameer te kopiëren. Maar de nadruk ligt nu op het decentraliseren van gegevens om pools te creëren die eigendom blijven van het domein.

Overleg met data mesh

Een voorbeeld hiervan in actie is Data Mesh. Het geesteskind van Zhamak Dehghani, die een stealth-tech-startup met dezelfde naam heeft opgericht die zich toelegt op het opnieuw bedenken van dataplatforms met Data-Mesh-native technologieën, ziet Data Mesh dat elk domein zijn eigen datapijplijnen afhandelt, terwijl de mesh een consistentie biedt in termen van syntaxis en normen. (Het verschilt in dit opzicht van Data Fabric omdat het ook een federatief besturingsmodel omvat). 

Met Data Mesh kunnen gegevens effectief als een product worden geconsumeerd en is het concept van Data Infrastructure-as-a-Platform voortgekomen. Het is vergeleken met de verschuiving in software-engineering naar microservices, omdat het een enorme verandering betekende in de manier waarop big data worden beheerd en opgeslagen, en grote bedrijven ertoe aanzet om datatransformatieprojecten aan te gaan om sneller, duurzamer en op grotere schaal toegang te krijgen tot hun gegevens. Maar de overstap naar Data Mesh moet zorgvuldig worden overwogen.

Zhamak waarschuwt dat het implementeren van Data Mesh niet alleen een technologische onderneming is, maar ook een culturele verandering binnen de onderneming vereist. De organisatie moet zowel nieuw gedrag als nieuwe technologie omarmen om de vruchten ervan te plukken. Het is een benadering die het delen van gegevens in elk operationeel domein tracht te vergemakkelijken en zo de kracht heeft om de kloof te dichten die bestaat tussen operaties en analyse. Maar om dat te laten gebeuren, moeten beoefenaars, architecten, technische leiders en besluitvormers worden betrokken bij de goedkeuring ervan, waardoor het een sociotechnische onderneming wordt.

Vraag naar data-engineers 

Het toezicht houden op een datatransformatieproject heeft altijd een bepaald aspect van data-engineering met zich meegebracht. Voorheen verantwoordelijk voor het voorbereiden van data voor analyse, staan ​​data-engineers tegenwoordig centraal in datatransformatie. Van het ontwikkelen of selecteren van dataproducten en -diensten tot hun integratie in bestaande systemen en bedrijfsprocessen, zij bepalen hoe de Modern Data Stack (MDS) eruit komt te zien. Daarom is er nu veel vraag naar data-ingenieurs, maar de verschuiving in hun taak betekent dat ze ook moeten zoeken naar bijscholing om ervoor te zorgen dat ze effectief kunnen samenwerken met ontwikkelingsteams en kunnen voldoen aan de behoeften van data-analisten.

Leveranciers verleggen ook voortdurend de grenzen van wat kan worden bereikt, met bedrijven als Google, SAP en Select Star to DBT en Snowflake die manieren opnieuw uitvinden waarop gegevens efficiënter kunnen worden opgeslagen, geopend en geanalyseerd. De resulterende cloudgebaseerde platforms kunnen tal van gegevenstypen ondersteunen en analysetools voor functies die bijvoorbeeld analyse tijdens het ETL-proces mogelijk maken. 

De wens voor realtime toegang tot gegevens heeft ook geleid tot Fast Data, waarbij gegevens worden geanalyseerd terwijl ze worden gemaakt. Fast Data ziet batchverwerking vervangen door systemen voor het streamen van gebeurtenissen, wat directe inzichten belooft. Maar er zijn natuurlijk nog andere zaken waarmee rekening moet worden gehouden als alles groter, beter, sneller, meer wordt.

Beveiliging en GRC

Afgezien van de technologische problemen - zoals micropartitionering, syntaxisproblemen of discrepanties, en monitoring op gegevensfouten tijdens het conversieproces - is er ook de noodzaak om beveiliging en gegevensbeheer in overweging te nemen. 

Het beheren van gegevens in overeenstemming met de kaders voor gegevensbeheer is een must en er moet ook worden overwogen hoe dit zal gebeuren in het licht van veranderende wettelijke vereisten. Bedrijven moeten kunnen documenteren hoe hun gegevens worden gebruikt, maar hoewel dit vroeger een moeizaam en tijdrovend proces was, zijn er nu talloze oplossingen om elk aspect van het proces te automatiseren. En dat alles omvat de datastrategie, die beschrijft hoe het bedrijf zijn mensen, beleid en cultuur rond zijn data beheert.

Dus hoe ga je om van een gecentraliseerde data-architectuur naar Data Mesh? Hoe kunt u uw Data Mesh optimaliseren? Hoe moet je het team zo bouwen dat data-engineers en analisten samenwerken? Hoe meet je de volwassenheid van je data en gebruik je deze om toekomstige projecten te sturen? Is FastData iets voor jou? En hoe kunt u ervoor zorgen dat u aan beveiligings- en governancevereisten blijft voldoen, met name in een gedecentraliseerde architectuur? 

Hoor het rechtstreeks van de experts

Om de antwoorden op deze vragen te vinden, moet u toegang hebben tot de knapste koppen in het bedrijf. Op de Big Data LDN Conference and Exhibition, gehouden van 21-22 september in Olympia in Londen, hoor je van meer dan 200 deskundige sprekers in 12 technische en bedrijfsgerichte theaters, die allemaal gefocust zijn op het bouwen van de dynamische, data -gedreven onderneming.

Zhamak Dehghani zal het evenement openen als keynote spreker en zal haar sessie Rewire for Data Mesh geven: atomic steps to rewire the sociotechnic backbone van uw organisatie op 10 september om 21 uur, terwijl andere experts unieke verhalen, ongeëvenaarde expertise en real- wereldgebruiksgevallen. Starburst, Snowflake, LNER, Deliveroo, Microsoft, Actian, Confluent, Dataiku en Deloitte duiken diep in onderwerpen variërend van Modern Analytics en DataOps tot Data Governance en AI & MLOPS.

Big Data LDN is gratis toegankelijk, maar u moet zich wel registreren. Meld u aan via de website op bigdataldn.com om zeker te zijn van uw plaats.

Een afbeelding van , Nieuws, De drive om realtime data te leveren

Bill Hammond

Bill Hammond is Event Director bij Reed Exhibitions en CEO en oprichter van Big Data LDN. Hij is een ervaren algemeen directeur met een bewezen geschiedenis van werken in de evenementensector.