Большие данные — это важнейший инструмент, подход и метод обработки различных типов данных для того, чтобы использовать их для конкретных задач и целей. Анализ таких данных позволяет идентифицировать определённые и незаметные закономерности, которые не может увидеть человек, и тем самым помогает оптимизировать все сферы нашей жизни: от государственного управления до производства и телекоммуникаций. Развитие и внедрение технологий «больших данных» может дать уникальные конкурентные преимущества бизнесу, помочь построить более эффективное государство, предоставить новые возможности людям для прогрессивного развития общества и в конечном итоге сделать нашу жизнь более удобной и безопасной. Потенциал применения данных технологий в коммерческой сфере сводится к возможному удешевлению товаров и услуг за счет сокращения транзакционных издержек на их создание благодаря более точным прогнозам потребностей клиентов и адресному предложению таких товаров и услуг; персонализации сервисов и коммуникаций и связанному с этим повышенному удобству совершения транзакций; повышению контроля качества продукции и т.д.
Свойства, которые делают большие данные действительно большими и отличают их от обычных, заключаются в том, что они поступают из более разнообразных источников в объективно больших объёмах и быстро накапливаются. Компании могут собирать разнородные наборы данных с различными характеристиками. Эти наборы данных в зависимости от готовности их для использования и анализа могут быть:
- структурированные – данные, состоящие из четко определенной информации (например, печатного текста и цифр), которая легко поддается поиску и сохраняется в высокоорганизованной таблице или базе данных (SQL), позволяющих быстро идентифицировать группу элементов и отнести ее к определенной категории, что делает их подготовленными для обработки;
- неструктурированные – данные, которые поступают в различных файловых или мультимедийных форматах и по сути не являются четко сгруппированными, классифицированными и систематизированными, что затрудняет работу с ними.
В зависимости от целей анализа каждому из них требуется различный набор технологических инструментов и аналитических методологий, применяемых специалистами по обработке данных с различными наборами знаний и навыков. Оба типа данных ценны и могут использоваться до тех пор, пока организации понимают, чем они отличаются и какие возможности требуются для их использования.