Tuning via hiper-parametrização para Máquinas de Vetor de Suporte (Support Vector Machines) por estimação de distribuição de algoritmos

Em épocas de Deep Learning, é sempre bom ver um paper com as boas e velhas Máquinas de Vetor de Suporte (Support Vector Machines). Em breve teremos um post sobre essa técnica aqui no blog.

Hyper-Parameter Tuning for Support Vector Machines by Estimation of Distribution Algorithms

Abstract: Hyper-parameter tuning for support vector machines has been widely studied in the past decade. A variety of metaheuristics, such as Genetic Algorithms and Particle Swarm Optimization have been considered to accomplish this task. Notably, exhaustive strategies such as Grid Search or Random Search continue to be implemented for hyper-parameter tuning and have recently shown results comparable to sophisticated metaheuristics. The main reason for the success of exhaustive techniques is due to the fact that only two or three parameters need to be adjusted when working with support vector machines. In this chapter, we analyze two Estimation Distribution Algorithms, the Univariate Marginal Distribution Algorithm and the Boltzmann Univariate Marginal Distribution Algorithm, to verify if these algorithms preserve the effectiveness of Random Search and at the same time make more efficient the process of finding the optimal hyper-parameters without increasing the complexity of Random Search.

Anúncios
Tuning via hiper-parametrização para Máquinas de Vetor de Suporte (Support Vector Machines) por estimação de distribuição de algoritmos

Redes Neurais Disjuntivas

O paper é seminal (ou seja precisa ser revisado com um pouco mais de cautela), mas representa um bom avanço na utilização das RNAs, tendo em vista que as Random Forests (Florestas Aleatórias) e as Support Vector Machines (Máquinas de Vetor de Suporte) estão apresentando resultados bem melhores, academicamente falando.

Abaixo o resumo do artigo:

Artificial neural networks are powerful pattern classifiers; however, they have been surpassed in accuracy by methods such as support vector machines and random forests that are also easier to use and faster to train. Backpropagation, which is used to train artificial neural networks, suffers from the herd effect problem which leads to long training times and limit classification accuracy. We use the disjunctive normal form and approximate the boolean conjunction operations with products to construct a novel network architecture. The proposed model can be trained by minimizing an error function and it allows an effective and intuitive initialization which solves the herd-effect problem associated with backpropagation. This leads to state-of-the art classification accuracy and fast training times. In addition, our model can be jointly optimized with convolutional features in an unified structure leading to state-of-the-art results on computer vision problems with fast convergence rates. A GPU implementation of LDNN with optional convolutional features is also available.

 

Redes Neurais Disjuntivas

Trading com Máquinas de Vetor de Suporte – (Support Vector Machines)

Neste paper de Rosillo, Giner, De la fuente e Pino é realizado um estudo experimental da aplicação de SVM para um sistema de trading. Em linhas gerais o sistema teve um comportamento satisfatório em períodos de retração do mercado. Vale a pena a leitura para quem quiser realizar adaptações em relação à metodologia aplicada.

Trading System Based on Support Vector Machines in the SP500

Trading com Máquinas de Vetor de Suporte – (Support Vector Machines)

Máquinas de Vetor de Suporte para Regressão

Este artigo apresenta uma proposta bem interessante para o assunto, especialmente nos kernels para problemas de regressão.

 

http://arxiv.org/abs/1303.2184

Máquinas de Vetor de Suporte para Regressão

Estudo Comparativo entre SVM em Bases de Dados com Alta Dimensionalidade

Estudo Comparativo entre SVM em Bases de Dados com Alta Dimensionalidade

Comparação das técnicas de aprendizado de máquina para previsão de sobrevivência em Câncer de Mama

Um ótimo estudo do BioDataMining que poderia ser reproduzido aqui em terra brasilis. Uma crítica que eu vejo nesse trabalho foi que a seleção de atributos como diria o Daniel Larose foi um pouco black-box e particularmente a abordagem em Algoritmos Genéticos não deve ser tão performática em relação a SVM (o ponto dos autores é que os dados tinha uma dimensionalidade razoável).

A comparison of machine learning techniques for survival prediction in breast cancer

Comparação das técnicas de aprendizado de máquina para previsão de sobrevivência em Câncer de Mama

Bibliotecas para Support Vector Machines

Como técnica de classificação o SVM tem sido bastante utilizado em casos de construção de sistemas especialistas  para indicação de ordens de stop e demais aplicações financeiras; e essas bibliotecas vem a ser um enriquecimento muito pertinente para quem deseja trabalhar com esse tipo de técnica independente da linguagem de programação. As implementações vão desde o código java, até chegar nas bibliotecas do R e do WEKA (Implementada pelo Prof. Yasser da Universidade de Iowa).

Bibliotecas para Support Vector Machines

Mineração de Dados aplicado à Neurociência Preditiva

Um interessante artigo recém publicado pela Ecole Polytechnique Fédérale de Lausanne no PLoS One de autoria de Georges Khazen, Sean Hill, Felix Schürmann e Henry Markram apresenta um interessante avanço na utilização de mineração de dados para previsão de padrões de estruturas cerebrais. Através dessas previsões é possível chegar a um mapeamento da estrutura anatômica e propriedades elétricas dos tipos de neurônios, os quais os autores podem chegar aos resultados futuros de extração de regras para padrões genéticos e dessa forma prever as características cerebrais do indivíduo.

Esta pesquisa é um importante avanço em relação ao que é praticado e estudado em mineração de dados pois, com a utilização de ‘strats’ e a posteriori extração/descoberta dessas regras, parte do paradigma de estudos relacionados a morfologia cerebral tem sua complexidade reduzida; no qual através de ‘pedaços de dados’ os autores conseguem predizer o complemento dos canais iônicos os quais são presentes nos neurônios e através disso consegue-se saber quais genes que se manifestam de acordo com o comportamento elétrico do neurônio.

Combinatorial Expression Rules of Ion Channel Genes in Juvenile Rat (Rattus norvegicus) Neocortical Neurons

PLoS ONE_ Combinatorial Expression Rules of Ion Channel Genes in Juvenile Rat (Rattus norvegicus) Neocortical Neurons

Mineração de Dados aplicado à Neurociência Preditiva