Door de opkomst van cloud oplossingen heeft de afgelopen jaren het fenomeen Big Data zijn intrede gedaan. Ondanks dat de term veel ouder is, doken de eerste toepassingen op bij grote internet platformen, zoals Youtube, Facebook en Netflix. 

Zij merkten dat reguliere datasystemen niet meer voldeden aan de eisen van hun applicaties en daardoor op zoek moesten naar nieuwe oplossingen. Inmiddels zien we dat de methodologie breder wordt ingezet en toepassing vindt in veel kleinere webapplicaties.

De exacte definitie van Big Data is niet altijd duidelijk. In het algemeen kan gesteld worden dat er sprake is van Big Data als er aan minimaal 2 van de volgende eisen wordt voldaan: de omvang van de dataset is groot, de snelheid waarmee de data binnenkomt of opgevraagd wordt is hoog en/ of de diversiteit is hoog. Bovendien is er vaak sprake van grote variaties, een hoge complexiteit en een verschil in kwaliteit ofwel betrouwbaarheid van de data.

Toepassing

Een toepassing van Big Data die we steeds vaker zien in het MKB, centraliseert zich hoofdzakelijk rondom datamining. Hiermee wordt bedoeld dat er naast de gebruikelijke applicatiedata ook externe data wordt verzameld. Hierbij worden veelal twee doelen gesteld, namelijk: het verzamelen van data om gebruikers te profileren en daarmee (meer) doelgerichte informatie aan te bieden. Of het verzamelen van omgevingsvariabelen ter bate van enige vorm van onderzoek. Deze ontwikkeling doet de discussie rondom privacy nogal eens oplaaien. Echter diverse onderzoeken wijzen uit dat een grote meerderheid van de gebruikers de voordelen vele malen groter vindt dan de gevolgen. Hierbij moet gezegd worden dat er van de toezichthouder verwacht wordt dat er regelmatig strenge controles op de privacywetgeving plaatsvinden en dat de integriteit van de aanbieder een belangrijke rol speelt.

Implementatie binnen uw organisatie

Mocht er binnen uw organisatie interesse zijn om dergelijke systemen te implementeren, dan is het belangrijk dat al deze aspecten zorgvuldig overwogen worden. Uiteraard dient u hierbij de interne of externe kennis in huis te hebben en dient de bovenliggende software architectuur hierop aangepast te worden. Bovendien is het zeer verstandig u goed te laten inlichten over de privacywetgeving en de veiligheidsaspecten die hierbij om de hoek komen. Een calamiteit op dit vlak beperkt zich tenslotte niet tot de applicatie, maar kan grote gevolgen hebben voor de integriteit en het maatschappelijk aanzien van uw organisatie.