Trabalhando com Dados

Uma longa jornada

Um dos motivadores desse blog é o número de horas que já gastamos trabalhando com dados ao longo de nossas carreiras. Dados para modelos estatísticos, mercado financeiro, acompanhamento de desempenho, financeiros, contábeis e por aí vai…

No meu caso especifico, contando com estágios, são 14 anos trabalhando com dados, dados e mais dados.

No livro “Exploratory Data Mining and Data Cleaning” os autores Tamraparni Dasu e Theodore Johnson estimam que 80% do nosso tempo é gasto no processo de limpar e preparar os dados.

Digamos que ao longo desses 14 anos 50% da jornada foi gasta no café (muito café!) reuniões, avaliações, ligações, apresentações e outras atividades “não-produtivas” e dos outros 50%, 80% do tempo foi gasto trabalhando com dados, considerando uma jornada de 44 horas semanais, temos:

jornadaDia <- 44/5
naoProd <- 0.5
Prod <- 1-naoProd
Limpando <- 0.8
DiasAno <- 252
anos <- 14

HorasDados <- anos*DiasAno*jornadaDia*Prod*Limpando
HorasDados
## [1] 12418.56

12418.56 horas limpando, cortando, transpondo, selecionando, agrupando, somando, multiplicando, procurando verticalmente, procurando horizontalmente, somando se, somando o produto e por aí vai, boa parte do tempo usando o Excel.

O mundo academico não nos preparou para isso, ninguém nunca nos ensinou as melhores práticas de como se trabalhar com dados, não existiam cursos, modelos e etc o que existia era a boa e velha prática do “tome isso e me traga pronto até as XX:XX”.

Perceba que para fazer o simples cálculo do tempo gasto com a lapidação das bases de dados utilizei algumas linhas de código, que foram introduzidas no software que será nosso principal instrumental neste blog: o R Studio. As vantagens da utilização deste software como ferramenta do cientista de dados serão exploradas nos próximos posts.

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s