«

»

jun 28 2013

“Big data” – O que significa isso?

bd.jpgDando início à série de posts que tratam assuntos em alta, muito comentados e compartilhados em fóruns, publicações e redes sociais, vamos falar hoje de “Big Data”.

Para dar início, vale trazer à tona alguns números… vamos falar de bolsas de valores. Apenas neste contexto – e apenas nos EUA – mais de 7 bilhões de ações e outras comodities são negociadas diariamente nas diversas bolsas de valores que lá existem. Destas 7 bilhões de transações, cerca de 66% são executadas inteiramente por computadores usando algoritmos, sem intervenção humana.

Se pegarmos a maior bolsa americana, a New Your Stock Exchange (NYSE), temos cerca de 33 mil transações por segundo que devem ser executadas seguindo uma determinada ordem, uma a uma, separadas entre si por uma fração de microsegundos. Como podemos imaginar, estas transações, por si só, geram uma quantidade de dados gigantesca que devem ser adequadamente armazenados, reprocessados e acessados com rapidez, sempre que necessário.

Isso é apenas um pedacinho da novela. Imaginem, agora, que atualmente, quase TODAS as atividades humanas vem gerando algum tipo de dado que deve ser armazenado. Estima-se que 90% de todos os dados que temos armazenados hoje, em algum lugar, foram gerados e acumulados apenas nos últimos 2 anos. Isso mesmo! Preocupante… ou não?

O termo “Big Data” é comumente utilizado em referência às enormes quantidades de dados gerados e armazenados. A questão é que não é apenas o enorme volume de dados o grande motivo para deixar-nos de cabelo em pé, mas também a velocidade em que estes dados vêm sendo gerados E a alta variedade na natureza deles. Temos os dados gerados pelas transações na bolsa, vídeos postados em sites como YouTube, sistemas de armazenamento em nuvem para usuários, que recebem de tudo, blogs, twitters, facebook, rádios online, etc, etc, etc.

A realidade é que, com a evolução computacional e das redes de computadores, aplicações – e consequentemente os dados oriundos delas – passaram a demandar um nível de complexidade infinitamente maior do que, digamos, há 10 anos. E o crescimento é exponencial. Lembram-se quando a Intel anunciou que a “Lei de Moore” estava chegando ao seu limite, e que dificilmente os novos processadores conseguiriam gerar clocks muito maiores que os da época (cerca de 2GHz)? Bom, criaram então o conceito do “multi-core”. E bola para frente! A evolução continuou, o poder de processamento mais do que quintuplicou e o resultado é uma quantidade de dados cada vez maior sendo processado, gerado e armazenado.

Algumas obras definem o termo “big data” como “Coisas que são possíveis de serem realizadas em uma escala muito grande, mas que não seriam possível em uma escala menor”. E existem empresas especializadas em serviços com este foco. Exemplos:

  • Xoom: Uma empresa especializada em Big Data que realiza análises em tempo real de milhões de transações com cartões de crédito e identifica aberrações nos padrões pré-definidos, sugerindo possibilidade de uso fraudulento, etc. 
  • AirSage: Empresa de big data que foca na análise geográfica em tempo real de milhões de aparelhos móveis para compilação (também em tempo real) de relatórios de tráfego em mais de 100 cidades americanas. 

Reparem que a palavra-chave aqui é: Tempo real.

Vamos, agora, comparar este tipo de operação, com métodos tradicionais de obtenção de dados e geração de relatórios em cima dele. Um exemplo clássico: As prévias de inflação publicadas pelos governos. Para obterem os dados, agências do governo enviam formulários para serem preenchidos via e-mail, correio ou outros meios. Outras fontes também são consideradas no processo. O resultado é que este trabalho leva semanas para ser compilado e apresentado. A questão é que, muitas vezes, esta demora distorce a realidade dos números coletados. O que era verdade há 3 semanas pode não ser mais, hoje.

Uma alternativa proposta por 2 professores e economistas do MIT seria adotar um sistema que varresse a internet e outras fontes de dados buscando os preços de determinados produtos diariamente, monitorando-os. Bom, só isso já geraria um volume de dados pelo menos 200 vezes maior que a pesquisa tradicional. Não apenas o volume de dados muda, mas metodologias devem ser revistas. Margens de erro devem ser ajustadas em cenários com big data. É uma mudança tecnológica, social e filosófica, também.

Uma maior quantidade de dados sendo coletados, analisados e processados também infere que as pessoas terão de ter mais intimidade com a matemática, estatística e outras ciências – mesmo com computadores realizando o “grosso” do trabalho. Nem preciso mencionar redes de computadores e programação, claro.

Por fim, “big data” veio para ficar. É uma necessidade humana entender o que se passa, agora – não daqui algumas horas, não amanhã, e certamente não na semana que vem. Muitas empresas vêm se estabelecendo neste segmento, e com grande sucesso. O portal IG, por exemplo, fechou parceria com a empresa “Real Time“, que provê serviços de pesquisas e outros, em tempo real. Vale a pena conhecer.

Um ponto interessante é que, com o avanço das redes e dos computadores, o avanço dos sistemas de armazenamento têm de seguir junto. Não adianta conseguir gerar e processar mais dados, se não tivermos onde armazená-los. Datacenters mais modernos, com tecnologias inovadoras e o conceito de armazenamento na nuvem vem ganhando um destaque incrível! Mas falaremos disso em um próximo post!

Abraço!

Marco Filippetti

Fonte utilizada neste post

0
0

3 comentários

  1. charlesrocha

    Marco aqui nao data center da tim cloud computer ta sendo implantado e a virtualizacao e a chave pra avanco em conceito de infraestrutura.
    Gostei do artigo muito interessante.
    Abs

    0

    0
  2. Fernando Avelino

    Artigo interessante Marco, parabéns, estamos caminhando para o futuro das redes programáveis, onde tudo é real time, são novos tempos chegando, temos que nos adaptar a essa nova realidade…. A Cisco está fazendo um marketing forte em cima do UCS por causa do Big Data..

    0

    0
  3. r_amaro

    Excelente artigo. Parabéns!

    0

    0

Deixe uma resposta