Algorithmic composer, an unconventional music classification system

Abstract

Music is an inherent part of the human existence. As an art, it has mirrored its evolution and captured its thinking and creative process over the years. Given its importance and complexity, machine learning has long embraced the challenge of analyzing music, mainly through recommendation systems, classification and composition tasks. Current classification systems work on the base of feature extraction and analysis. The same applies for music classification algorithms, which require the formulation of characteristics of the songs. Such characteristics can be of varying degrees of complexity, from spectrogram analysis to simpler rhythmic and melodic features. However, finding characteristics to faithfully describe music is not only conceptually hard, but mainly too simplistic and restrictive given its complex nature. A new methodology for music classification systems is proposed in this thesis, which aims to show that the knowledge learned by state of the art composition systems can be used for classification, without need for direct feature extraction. Using an architecture of recurrent neural networks (RNN) and long-short term memory cells (LSTMs) for the composition systems and implementing a voting scheme between them, the classification accuracy of the experiments between classes of the Nottingham dataset ranged between 60% and 95%. These results provide strong evidence that composition systems do indeed possess valuable information to distinguish between classes of music. They also prove that an alternative method to standard classification is possible, as classification targets are not directly used for training. Finally, the extent to which these results can be used for other applications is discussed, namely its added value to more complex classification systems, as well as to recommendation systems.

A Música é uma componente inerente à existência humana. Enquanto arte, tem refletido a sua evolução e captado o seu processo cognitivo e criativo ao longo dos tempos. Tendo em conta a sua importância e complexidade, a área do Machine Learning desde há muito abraçou este desafio, sobretudo através de sistemas de recomendação, classificação e composição musical. Os sistemas de recomendação atuais funcionam na base de extração de features e respetiva análise. O mesmo se aplica a algoritmos de classificação musical, que requerem a formulação de características musicais. Estas podem ter diferentes graus de complexidade, desde análise de espectros a simples features melódicas e rítmicas. Contudo, formular caracteríticas musicais não só é conceptualmente difícil, como sobretudo simplista e restritivo dada a sua natureza complexa. Uma nova metodologia para sistemas de classificação musical é proposta nesta tese, com o objectivo de demonstrar que o conhecimento aprendido por sistemas de composição pode ser utilizado para classificação, sem que haja necessidade de um processo de conceptualização e extração de características. Utilizando uma arquitectura de redes neuronais recorrentes e células de memória longa e curta para os sistemas de composição e implementando um sistema de votação entre eles, a precisão para classificações binárias entre as classes do Nottingham dataset variou entre 60% e 95%. Estes resultados demonstram uma forte evidência de que os algoritmos de composição podem ser utilizados para tarefas de classificação e provam ainda que um método alternativo à classificação convencional é possível. Finalmente, a aplicabilidade destes resultados para outros projetos é discutida, nomeadamente o valor acrescentado que pode trazer para sistemas de classificação mais complexos, assim como a sistemas de recomendação.