빅 데이터

"빅 데이터"라는 표현은 대량의 기업 데이터 환경에서 대량의 데이터를 설명할 때 자주 사용됩니다. 특정한 데이터 양을 가리키는 것이 아니라, 기존 데이터베이스 소프트웨어를 사용해서는 저장하거나 처리할 수 없는 데이터 세트를 의미합니다.

빅 데이터의 예로는 Google 검색 색인, Facebook 사용자 프로필 데이터베이스, Amazon.com의 제품 목록 등이 있습니다. 이러한 데이터 모음(또는 "데이터 세트")은 매우 커서 일반적인 데이터베이스나 단일 컴퓨터에도 저장할 수 없습니다. 대신 확장성이 매우 뛰어난 데이터베이스 관리 시스템을 사용해 데이터를 저장하고 처리해야 합니다. 빅 데이터는 여러 저장 장치에 분산되는 경우가 많으며, 때로는 서로 다른 여러 위치에 분산되기도 합니다.

많은 기존 데이터베이스 관리 시스템에는 저장할 수 있는 데이터 양에 제한이 있습니다. 예를 들어 Access 2010 데이터베이스에는 최대 2개의 기가바이트 데이터만 포함할 수 있으므로, 여러 페타바이트 또는 엑사바이트의 데이터를 저장하기는 어렵습니다. DBMS가 대량의 데이터를 저장할 수 있더라도, 테이블이나 레코드가 너무 많이 생성되면 효율적으로 작동하지 못해 성능이 느려질 수 있습니다. 빅 데이터 솔루션은 응답성이 뛰어나고 확장 가능한 저장 시스템을 제공하여 이러한 문제를 해결합니다.

빅 데이터 소프트웨어 솔루션에는 데이터 저장 플랫폼과 데이터 분석 프로그램을 비롯해 여러 유형이 있습니다. 가장 일반적인 빅 데이터 소프트웨어 제품으로는 Apache Hadoop, IBM의 Big Data Platform, Oracle NoSQL Database, Microsoft HDInsight, EMC Pivotal One 등이 있습니다.