Big Data e Software Livre

Por Cesar Brod

Data de Publicação: 27 de Novembro de 2012

A edição americana da Harvard Business Review do mês de outubro de 2012 traz uma série de artigos sobre Big Data - resumindo grosseiramente, um conjunto de técnicas e habilidades de exploração de enormes volumes de dados, permitindo a descoberta de relações que podem não ser tão evidentes em hábitos de compra, tempo estimado de aterrissagem de aviões e qual o novo amigo a ser recomendado a você em uma rede social.

Os artigos, por si só, já são muito interessantes e esclarecedores para aqueles que começam a aventurar-se pelo assunto, mas especialmente gostei de ver, em uma revista destinada a altos executivos, a grande quantidade de menções a softwares livres e de código aberto.

O Hadoop, plataforma de computação distribuída da Fundação Apache, é o principal deles. O Hadoop é composto de um ambiente de alta disponibilidade para a coleta, processamento e centralização de dados de múltiplas fontes e também de um conjunto ferramentas para a análise avançada destes dados. A linguagem de programação Python também é citada, junto com a ferramenta estatística R e o ambiente para o desenvolvimento social de código GitHUB.

Em um destaque com recomendações sobre como as empresas devem buscar seus cientistas de dados, os autores dizem para descartar aqueles que não souberem escrever código. O candidato ao cargo não precisa ser um programador exímio, mas deve saber meter a mão na massa e ser flexível quanto a avanços e mudanças na tecnologia. Onde buscar esse profissional? Os autores recomendam os grupos de usuários da linguagem Python, da ferramenta R e, em especial, aqueles que já tenham hospedado algum código no GitHUB.

Para empresas que começam a trabalhar com Big Data, o conselho é que observem a Lei de Bill Joy (co-fundador da Sun Microsystems): "Não importa quem você seja, a maioria das pessoas mais inteligentes trabalha para outra pessoa." Então, o negócio é abrir publicamente seus dados e deixar que outros os explorem de maneira criativa. Uma boa ideia é valer-se de eventos no estilo dos Hackatons e procurar, neles, bons profissionais.

Leia também Empreendedorismo e Empregabilidade com Software Público e Livre.