As piores práticas na implantação de um modelo de predição

Esse post do ZSL Services mostra em passos bem didáticos as piores práticas no momento da implantação de um modelo preditivo; os quais eles enumeram:

  1. Falta de foco específico no negócio;
  2. Ignorar os steps iniciais;
  3. Desperdício de tempo em avaliação de modelo ;
  4. Alto investimento em ferramentas que representam um Return Of Investment (Retorno do Investimento) ROI baixo ou nulo; e
  5. Falha na operacionalização.

Apesar de serem passos simples, os mesmos requerem muitos cuidados na análise; e em geral é por esses motivos principalmente que os projetos que lidam com predição de dados falham em sua maioria.

A metodologia CRISP-DM é excelente nesse aspecto, na qual ela não engessa o projeto; mas também faz esse equilíbrio entre essas práticas e a implantação do projeto.

PS: O post fez tanto sucesso que os autores escreveram outro com algumas recomendações. http://zslbiservices.wordpress.com/2012/07/27/worst-practices-while-deploying-a-predictive-model-contd/

As piores práticas na implantação de um modelo de predição

Overfitting e a Expansão Contínua do Modelo

Nesse post do Statistical Modeling, Causal Inference apresenta o conceito de Expansão Contínua; na qual para evitar o Overfitting do modelo ao invés de  realizar escolhas pela média do Cross-Validation, o autor prefere escolher um modelo dentro de uma determinada metodologia e realizar refinamentos sucessivos. É interessante esse conceito, e mostra que o minerador de dados deve ter métodos de se chegar a um resultado bom, mesmo que o modelo inicialmente não seja o ideal e realize a sua expansão de forma iterativa e incremental (como nas metodologias ágeis) seja com a seleção e inserção de novos atributos, ou novas formas de validação.

Overfitting e a Expansão Contínua do Modelo

Obama irá vencer as eleições de 2012

Em uma entrevista para o podcast IEEE Spectrum’s “Techwise Conversations” David Rothschild (Economista do Yahoo Labs) fala um pouco sobre a previsão elaborada por ele de que Obama irá vencer as eleições presidenciais desse ano. O destaque de fato da entrevista é que ele como economista apresenta diversas justificativas para o seu modelo de predição; no qual ele considerou diversas variáveis importantes e principalmente revelou que teve atenção especial sobre as tendências. Ótimo para quem quer saber em alto nível como se define um modelo para predição baseado em dados. 

Obama irá vencer as eleições de 2012