Big Data - Como a Internet criou Novas Tecnologias e Profissões

Botando Ordem no Caos

Para entender esse conceito, imagine que todo dia - durante as 24h, bilhões de pessoas estão conectadas à internet:

Trocando mensagens, postando em fóruns e mídias sociais, enviando e-mails e SMS, fazendo comentários e dando opiniões.

Como pode-se extrair valor desses dados? Eles têm utilidade? O que fazer com eles? Como as empresas podem se beneficiar com isso tudo?

São dados inicialmente sem nexo e sem associação. É preciso filtrar, organizar e dar relevância a eles - transformando coisas esparsas em informação - em algo que faça sentido.

Esse panorama, que parece um pandemônio cibernético, define o chamado Big Data.

E este cenário levou (e levará) muitas empresas à falência, assim como alavancará novas profissões e tecnologias.

O que é Big Data?

Big Data é um termo que se refere a um grande volume de dados. Esses dados foram o combustível que impulsionou a criação de empresas da era digital, como Amazon e Google.

Apesar da era digital ter iniciado na década de 90, considera-se que 2003 é o marco a partir do qual começou a ser gerada maior quantidade de informações.

Muitas empresas fundadas a partir de 2003 foram criando novas tecnologias e transpuseram fronteiras continentais.

Assim, é dito que quanto mais capacidade de escalabilidade (potencial de expansão), maior é o potencial de criar Big Data.

As 4 Forças Estruturais da Tecnologia da Informação

Esse modelo de estruturação das tecnologias já foi adotado por diversas empresas tradicionais, e constitui a base das empresas nascidas na era digital e das Startups:

Mobile (Dispositivos Móveis)
Redes Sociais
Cloud Computing (Computação em Nuvem)
Big Data

Os Fundamentos do Big Data

Basicamente, usa-se o conceito dos 3 V´s para definir do que se trata o Big Data:

Volume: É um conceito relativo, que pode se alterar daqui a alguns anos. Hoje esse volume é considerado em “Petabytes” (1000 Terabytes). O conceito de volume se refere à quantidade de informação armazenada, e também ao processamento dos dados
Velocidade: Isto tem a ver com o quão rápido estamos gerando informações, e também com a velocidade de processamento e análise das mesmas (latência)
Variedade: Refere-se à maneira como identifica-se a estrutura de dados. É associado às origens das informações (fotos/videos, etc) e à maneira como se trata dados estruturados (SQL) e não-estruturados (NoSQL)

Veracidade e Valor das Informações

Além dos 3 V´s acima, salienta-se a importância da veracidade e do valor das informações quando tratamos de Big Data.

A veracidade logicamente trata da autenticidade e da precisão dos dados, usando para isso critérios de classificação, visando assegurar a qualidade da informação.

O principal objetivo do Big Data é gerar valor - fontes de dados são como produtos que influenciam na tomada de decisões, aumentam receitas e ajudam na redução de custos.

Dados Estruturados e Não-Estruturados

Sabemos que dados vêm de inputs, ou tudo que se digita e que é enviado, recebido e armazenado em bancos de dados ou datalakes, usando a conexão à internet.

Dados são provenientes de formulários e cadastros que preenchemos, de e-mails e mensagens que enviamos, de tudo que publicamos e compartilhamos nas mídias sociais.

Dados estruturados vêm de sistemas tradicionais, que organizam os tipos de dados e os definem de maneira rígida - fazendo usando de tabelas e colunas.

São armazenados em Bancos de Dados Relacionais, e utilizam softwares chamados SQL (Structured Query Language), como o MySQL, Oracle, SQLServer, DB2, dentre outros.

Dados não-estruturados vêm de e-mails, mídias sociais, arquivos eletrônicos, vídeos, imagens e sensores. Hoje em dia, 80% dos dados gerados são deste tipo.

Utilizam softwares de código aberto chamados NoSQL (Not Only SQL), e possuem vários modelos e estruturas diferentes, como o Redis, MongoDB, Cassandra, dentre outros.

Profissões Associadas à Era do Big Data

A internet e todos os avanços tecnológicos das últimas décadas trouxeram consigo muitos novos termos e nomenclaturas.

Não adianta, no entanto, saber muitas siglas e não entender o conceito básico das coisas. Dessa forma, explicamos de maneira simples o teor do que engloba Big Data.

O ambiente digital é extremamente facetado, e exige que os profissionais tornem-se cada vez mais especializados.

No entanto, no cenário atual, há déficit de profissionais com conhecimentos em TI e nas áreas relacionadas ao Big Data.

Relacionamos algumas das principais profissões na Área de TI, e especialmente relacionadas ao Big Data:

- Cientista de Dados: Este profissional precisa ter conhecimentos de Matemática e Estatística, de Ciência da Computação, para que possa interpretar dados e transformá-los em valor para os negócios - ajudando na tomada de decisões.

Além disso, o Cientista de Dados trabalha com o desenvolvimento de algoritmos a serem usados no Aprendizado de Máquinas (Machine Learning).

É importante conhecer algumas linguagens de programação importantes, como R e Python.

- Business Analytics: São profissionais que lidam com vários tipos de análises de dados, para auxiliar na tomada de decisões baseados em fatos. Essas análises são divididas em:

Descritiva: O quê aconteceu? Quando aconteceu?
Diagnóstica: Por quê aconteceu? Qual motivo?
Preditiva: O que vai / pode acontecer? Quando acontecerá?
Prescritiva: O que devo fazer? Como devo fazer?

- CDO (Chief Data Officer): Este profissional deve ter uma visão ampla, mas com foco nas estratégias da empresa. Sua função é planejar as estratégias de dados, levando em conta os objetivos corporativos.

Baseado em Inteligência de Negócios (BI - Business Intelligence) e Analytics, utiliza-se das análises de dados para resolver problemas e atingir metas.

- Governança de Dados: Esta área compreende 2 tipos de profissionais:

Administrador de Dados: Trabalha junto com o Cientista de Dados e o Desenvolvedor. Seu objetivo é controlar os dados e as estruturas nas quais estão inseridos
Curador de Dados: Ele é responsável pela manutenção da qualidade, veracidade e confiabilidade dos dados

- Desenvolvedor: Também conhecido como Engenheiro de Dados. Precisa dominar linguagens de programação como o Python e Java.

É preciso que conheça frameworks de processamento de dados, desde seu recebimento e distribuição, até a parte de filtragem e análise.

NOS VEMOS NOS PRÓXIMOS POSTS!