Você deveria terceirizar o setor de análises e inteligência?

A posição mais contundente sem dúvidas é a afirmação abaixo:

“Whenever you outsource to a partner something that involves deep intelligence about the business, you’re putting part of your brain outside your body”

Você deveria terceirizar o setor de análises e inteligência?

Agências americanas em conflito devido a programas de mineração de dados

Um assunto muito sério, que se não tratado de maneira sóbria por parte dos legisladores americanos, pode afetar e muito a vida dos usuários da web.

Agências americanas em conflito devido a programas de mineração de dados

Nem o DNA, nem a Mineração de Dados substituí o diálogo com os consumidores

Este post da B2C coloca em perspectiva a utilização de aspectos relativos aos genes dos consumidores e aspectos comportamentais para desenvolvimento de estratégias de marketing dirigido.

Nem o DNA, nem a Mineração de Dados substituí o diálogo com os consumidores

Básico sobre Segmentação de Clientes em Marketing

Para quem deseja aplica a mineração de dados especificamente em Marketing, este artigo do Inside Data Mining explica características bem interessantes sobre o tema, e como devem ser construídas as métricas de negócios.

Básico sobre Segmentação de Clientes em Marketing

Introdução à Técnica de Árvores de Decisão

Este post de  Antonios Chorianopoulos no Inside Data Mining apresenta uma introdução bem interessante sobre o assunto colocando em perspectiva os algoritmos CART, C5.0 e CHAID em uma explicação bem simples e didática.

Introdução à Técnica de Árvores de Decisão

A Patente “Personal Data Mining” e as implicações decorrentes

A patente registrada no escritório de patentes dos EUA relativa ao Personal Data Mining não está chamando muito atenção, mas tem o potencial de ter o maior impacto devido as suas implicações diretas sobre como questões de privacidade, mobilidade e principalmente monitoramento e acompanhamento de hábitos sejam eles offline ou online.

Primeiramente vemos como está o resumo da patente:

Personal data mining mechanisms and methods are employed to identify relevant information that otherwise would likely remain undiscovered. Users supply personal data that can be analyzed in conjunction with data associated with a plurality of other users to provide useful information that can improve business operations and/or quality of life. Personal data can be mined alone or in conjunction with third party data to identify correlations amongst the data and associated users. Applications or services can interact with such data and present it to users in a myriad of manners, for instance as notifications of opportunities.

Em termos gerais essa patente tem como principal característica realizar através de uma plataforma de integração de dispositivos um repositório de dados de usuários, no qual essas informações oriundas de diversos tipos de dispositivos entrariam nesse repositório de dados, e seriam consolidadas para serem utilizadas.

Lendo um pouco mais o texto do registro da patente (em especial a página 23), fica claro que está em curso um dos maiores movimentos de consolidação de dados a respeito de mídias sociais já realizado por qualquer organização de qualquer porte, na qual através de uma determinada rede de negócios, todos os passos online podem ser capturados, e utilizados para consolidação neste repositório de dados sem que haja uma política de privacidade citada no referido texto.

O texto e o assunto como um todo será tratado neste site mais adiante; contudo, esse é um tema que não pode passar sem uma reflexão de cunho ético para todos que se interessam sobre mineração de dados.

US7930197

A Patente “Personal Data Mining” e as implicações decorrentes

Análise PCA com R

Este post do Systemtic Investor mostra como. É importante ressaltar, que como o WEKA ainda não tem uma engine de visualização tão robusta como o R; essa pode ser uma ótima abordagem antes mesmo de se realizar qualquer tipo de análise exploratória de dados em uma base de dados no WEKA.

Análise PCA com R

6 razões para avaliação em contratações de mineração de dados

Esse post do Will Dwinnell apresenta 6 razões que comprovam quando uma contratação em para mineração de dados não foi adequada.

6 razões para avaliação em contratações de mineração de dados

Políticas Afirmativas, Mineração de Dados e Ética

Neste post do The New Republic assinado por Jefferey Rosen apresenta um paralelo bem interessante sobre a questão das ações afirmativas e como a mineração de dados está nesse meio campo através de análises de grupos raciais e a aceitação nas universidades americanas.

O assunto é interessante de discutir no âmbito da ética em mineração de dados, já que uma das premissas relativas à construção de métricas é não levar sob nenhuma hipótese aspectos relativos a questões sensíveis à sociedade (negros, homosexualismo, religião)  em consideração para construção das mesmas, já que pode tornar o julgamento; e em consequência a tomada de decisão tendenciosa.

Entretanto, cabe colocar o dedo nessa ferida a posteriori quanto a absorção dos profissionais graduados no mercado de trabalho, em comparação à aqueles que não foram comtemplados com as políticas de afirmação, utilizando-se de clusters sobre aspectos como remuneração, escalada de cargos corporativa, bônus e participação dos lucros e demais regras de comparação entre profissionais.

Esse efeito relativo às ações afirmativas, sobretudo o acesso das cotas raciais ns universidades será um fenômeno muito interessante de ser observado a alguns anos, e servirá de parâmetro para saber se os empregadores tem discriminação entre esses profissionais; ou bem como os mesmos são absorvidos mais rápidamente mas com rendimentos abaixo do esperado pelo mercado.

Políticas Afirmativas, Mineração de Dados e Ética

Analytic Bridge – A Rede Social para Analistas de Dados

Para quem deseja entrar em uma rede social para interagir com diversos analistas de dados de diferentes lugares do mundo  o Analytic Bridge é o lugar ideal. Formada por Vicent Granville essa rede social tem diversas enquetes, fóruns de discussão e diversos posts os quais há exposição de diversos tópicos sobre análise de dados que vão desde escolha de ferramentas até dicas sobre análise de dados. Vale a pena a inscrição.

Analytic Bridge – A Rede Social para Analistas de Dados

Metodologia de Projetos de Mineração de Dados – Cross Industry Standard Process for Data Mining – CRISP-DM

O Cross Industry Standard Process for Data Mining (CRISP-DM) é uma metodologia específica para aplicação em projetos de mineração de dados. Muitas informações sobre a metodologia pode ser encontrada aqui.

De uma maneira bem ampla, os projetos de mineração de dados têm especificidades que reúnem diversos tipos de disciplinas e expertises as quais com uma metodologia própria auxiliam não somente em questões de documentação, como esta última serve como um roteiro para projetos dessa natureza.

PMI, Agile, RUP, e demais metodologias de software e projetos genéricas são boas para SOFTWARE e não ara projetos que envolvem análise de dados propriamente dita, no qual não há requerimentos de complexidade arbitrária; mas sim há extração de informação e conhecimento de forma muito mais determinística, porém com um grau de precisão e validação muito maior; e é ai que CRISP-DM se destaca dos demais, pois ele vem para atender uma demanda muito mais específica dentro do seu ciclo de vida do que qualquer metodologia de software adaptada.

Esses dois documentos nos links abaixo, são os documentos da versão 1.0 do CRISP-DM os quais são padrões de melhores práticas compiladas por profissionais da indústria. A versão 2.0 está em processo de avaliação, devido ao fato de que muitos dos profissionais envolvidos na época estão em outras atividades em suas empresas que não mineração de dados propriamente dita.

crisp-dm 1.0 CRISP-DM No Brand CRISP-DM

Metodologia de Projetos de Mineração de Dados – Cross Industry Standard Process for Data Mining – CRISP-DM

Aplicações da Mineração de Dados no mercado financeiro

Este paper de Savinderjit Kaur e Veenu Mangat, apesar de ser bastante curto em termos de volume (3 páginas) apresenta um bom arcabouço relativo à mineração de dados aplicada ao mercado financeiro, mas dentro de uma perspectiva mais generalista e conseqüentemente um pouco menos técnica.

O artigo coloca a mineração de dados como background de diversas atividades dentro da administração de ativos financeiros. Essas atividades são Predição de Preços de Ativos, Predição de Índices, Administração de Portfólios, Sistemas de Recomendação (Sistemas Especialistas), e Detecção de Tendências.

 Ao final os autores concluem que há muito a ser feito no campo entre Mineração de Dados e Mercado Financeiro para as seguintes atividades como retornos fora do normal, diagnósticos Pré-bolhas, padrões nos ativos de acordo com a indústria, Book-To-Market (Razão entre valor contábil e valor de mercado, tendências precedentes, entre outros.

Applications of Data Mining in Stock Market

Aplicações da Mineração de Dados no mercado financeiro

Aplicação de Mineração de Dados no Mercado Financeiro – Application of data mining techniques in stock markets

Ehsan Hajizadeh, Hamed Davari Ardakani e Jamal Shahrabi, todos da Amirkabir University of Technology no Irã trazem nesse paper uma boa abordagem de idéias de aplicações de mineração de dados no mercado financeiro.

Aos moldes do que faz o ótimo livro do Roberto Pontes que já foi resenhado aqui, os autores colocam um leque de possibilidades bem interessantes com as técnicas de mineração de dados, no qual não somente a mineração de dados será uma ferramenta de análise exploratória e reconhecimento de padrões, como colocam as técnicas como forma de se analisar tendências futuras para melhorar a análise de ativos.

Como os autores bem colocam, o paper vem a preencher uma lacuna na literatura sobre a aplicação de mineração de dados, principalmente no que vai além da dupla árvore de decisão e rede neural.

As técnicas elencadas pelos autores foram: Árvore de Decisão (alternativas de decisão), Redes Neurais (avaliação paramétrica), Agrupamento – Clustering – (observação de dinâmicas de características dos ativos financeiros, análise de fator (avaliação de variáveis e a influência de cada um sobre um modelo de predição), regras de associação (relacionamento entre os ativos de acordo com as características da base de dados), Séries Temporais (análise de tendência e predição).

Para quem deseja engajar-se em um projeto sério de análise de dados financeiros, sem dúvidas esse  artigo traz uma luz bem oportuna ao assunto, e pode auxiliar em pesquisas neste aspecto.

Application of data mining techniques in stock markets

Aplicação de Mineração de Dados no Mercado Financeiro – Application of data mining techniques in stock markets

Resenha: Data Mining Methods and Models

Esse é o segundo livro da série sobre mineração de dados do Daniel Larose, no qual diferentemente do primeiro livro; ele começa a entrar de fato nas técnicas de mineração de dados.

Nesta obra, Daniel Larose explica algumas técnicas de mineração de dados através da sua técnica de redação: abordagens com passagens passo a passo, texto claro, estudos de caso didáticos, exemplos e exercícios.

O livro tem como principal característica uma abordagem mais estatística dentro do segmento da mineração de dados, o que significa que o livro é baseado no principio de descrever as técnicas e após isso colocar o que foi apresentado em prática com as validações necessárias; o que torna o livro extremamente válido para quem deseja entrar nos porquês de cada técnica.

O livro aborda técnicas como redução da dimensionalidade (com uma ótima explicação sobre PCA), modelagem em regressão, estimação nayve bayes, algoritmos genéticos, e um estudo de caso sobre email marketing no qual ele utiliza o CRISP-DM.

O livro é um verdadeiro manual, how-to sobre mineração de dados e tem como software de suporte o WEKA, no qual os capítulos do livro são baseados; o que pode ajudar muito quem pretende iniciar os estudos em mineração de dados e não tem uma ferramenta especifica para tal.

Para quem utiliza o WEKA como ferramenta de mineração de dados o livro conta com exemplos bem elaborados e com exercícios que podem ser transcritos para qualquer curso de mineração de dados; desde o básico até o avançado.

 Pontos Positivos: Exemplos práticos bem relevantes de mineração de dados com o WEKA, abordagem estatística muito didática, abordagem dos assuntos totalmente white-box.

 Pontos Negativos: Para quem deseja uma abordagem mais teórica o livro pode não ser a melhor escolha, e também para quem não tem intimidade com uma abordagem de mineração de dados mais estatística pode sentir um pouco mais de dificuldade na fixação de conceitos.

Resenha: Data Mining Methods and Models

New Journal – International Journal of Business Analytics and Intelligence

O lançamento do International Journal of Business Analytics and Intelligence vem a trazer para os analistas de dados, mais uma revista científica para os analistas de dados. Dentro da proposta da revista, o foco será indexar trabalhos relativos a análise de dados, Business Intelligence e ao que tudo indica pode ser um ótimo repositório de dados relativo à Mineração de Dados. Segue abaixo a apresentação da revista:

Journal includes key research areas (Not limited to) such as big data processing and analytics, business intelligence, visual analytics, descriptive analytics, predictive analytics, business analytics and optimization, actuarial modeling, social network analytics, data mining tools, web analytics, text analytics, marketing research, modeling, workforce analytics, business intelligence, data management, decision management, BI architecture, retail analytics, graph entropy, decision trees, analytics applications.

 

New Journal – International Journal of Business Analytics and Intelligence