Metodologias para análise de algoritmos de aprendizagem

Uma das questões fundamentais dos algoritmos de aprendizagem estatísticos (statistical learning algorithms) é a análise de desempenho destes algoritmos. Para tal, uma metodologia experimental precisa deve ser estabelecida para que se possa fazer afirmações seguras sobre estes algoritmos.

Uma crítica pertinente dirigida aos pesquisadores da área de Redes Neurais Artificais é a ausência de uma avaliação estatística significativa. A maioria dos artigos utiliza uma conjunto de dados bastante reduzido que são gerados artificialmente. Uma grande parte dos artigos da área de redes neurais artificiais não possui nenhum valor científico.

Dietterich justifica o estabelecimento de uma metodologia experimental para o teste de algoritmos de aprendizagem no sentido de se abordar as seguintes questões:

1. Teste e debugging do algoritmo: como demonstrar que o algoritmo está funcionando corretamente ?
2. Estimativa de desempenho em dados novos: o quanto os usuários podem confiar no algoritmo ?
3. Estimativa de desempenho em tarefas similares: muitas aplicações distintas envolvem tarefas similares.
4. Comparação com outros algoritmos:
   1. Qual é o algoritmo que é melhor em determinada tarefa ?
   2. Qual é o algoritmo que é melhor em um conjunto de tarefas ?
   3. Dois algoritmos distintos conseguem aprender a mesma coisa ?
5. Análise do comportamento do algoritmo:
   1. Porque o algoritmo $A$ consegue ter desempenho melhor que $B$ ?
   2. Em quais tipos de problemas o algoritmo $A$ vai ter desempenho melhor que $B$ ?

Para realizar o trabalho você deve inicialmente realizar uma pesquisa sobre tais aspectos. Foram selecionados os seguintes artigos:

• Lutz Prechelt. A quantitative study of current benchmarking practices
• Arthur Flexer. Statistical Evaluation of Neural Network Experiments: Minimum Requirements and Current Practice
• Tom Dietterich. Experimental Methodology
• Lutz Prechelt. Some notes on neural learning algorithm benchmarking

Mais informações podem ser encontradas na seguinte página: Neural networks benchmarking