Big Data

De term "big data" wordt vaak gebruikt in bedrijfsomgevingen om grote hoeveelheden gegevens te beschrijven. De term verwijst niet naar een specifieke hoeveelheid gegevens, maar beschrijft een gegevensverzameling die niet met traditionele databasesoftware kan worden opgeslagen of verwerkt.

Voorbeelden van big data zijn de zoekindex van Google, de database met gebruikersprofielen van Facebook en de productlijst van Amazon.com. Deze verzamelingen gegevens (of "datasets") zijn zo groot dat de gegevens niet in een normale database of zelfs op één computer kunnen worden opgeslagen. In plaats daarvan moeten de gegevens worden opgeslagen en verwerkt met behulp van een zeer schaalbaar databasebeheersysteem. Big data wordt vaak verdeeld over meerdere opslagapparaten, soms op verschillende locaties.

Veel traditionele databasebeheersystemen hebben beperkingen voor de hoeveelheid gegevens die ze kunnen opslaan. Een Access 2010-database kan bijvoorbeeld maximaal twee gigabytes aan gegevens bevatten, waardoor het niet haalbaar is om meerdere petabytes of exabytes aan gegevens op te slaan. Zelfs als een DBMS grote hoeveelheden gegevens kan opslaan, werkt het mogelijk inefficiënt als er te veel tabellen of records worden aangemaakt, wat tot slechte prestaties kan leiden. Big-dataoplossingen lossen deze problemen op door zeer responsieve en schaalbare opslagsystemen te bieden.

Er bestaan verschillende typen softwareoplossingen voor big data, waaronder platforms voor gegevensopslag en programma's voor gegevensanalyse. Enkele van de meest gebruikte big-dataproducten zijn Apache Hadoop, IBM's Big Data Platform, Oracle NoSQL Database, Microsoft HDInsight en EMC Pivotal One.