Big Data

A expressão "big data" é frequentemente usada em ambientes de empresas para descrever grandes quantidades de dados. Ela não se refere a uma quantidade específica de dados, mas descreve um conjunto de dados que não pode ser armazenado ou processado usando um software de banco de dados tradicional.

Exemplos de big data incluem o índice de pesquisa do Google, o banco de dados de perfis de usuários do Facebook e a lista de produtos da Amazon.com. Essas coleções de dados (ou "conjuntos de dados") são tão grandes que não podem ser armazenadas em um banco de dados comum nem mesmo em um único computador. Em vez disso, os dados precisam ser armazenados e processados usando um sistema de gerenciamento de banco de dados altamente escalável. O big data costuma ser distribuído entre vários dispositivos de armazenamento, às vezes em vários locais diferentes.

Muitos sistemas tradicionais de gerenciamento de banco de dados têm limites para a quantidade de dados que podem armazenar. Por exemplo, um banco de dados do Access 2010 pode conter apenas dois gigabytes de dados, o que torna inviável armazenar vários petabytes ou exabytes de dados. Mesmo que um DBMS possa armazenar grandes quantidades de dados, ele pode operar de forma ineficiente se forem criadas muitas tabelas ou registros, o que pode resultar em baixo desempenho. As soluções de big data resolvem esses problemas fornecendo sistemas de armazenamento altamente responsivos e escaláveis.

Existem vários tipos diferentes de soluções de software para big data, incluindo plataformas de armazenamento de dados e programas de análise de dados. Alguns dos produtos de software para big data mais comuns incluem o Apache Hadoop, a Big Data Platform da IBM, o Oracle NoSQL Database, o Microsoft HDInsight e o EMC Pivotal One.