A carregar...
Publicação
Foundation Models vs. Classical Models when Forecasting Multivariate Time Series
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 16.95 MB | Adobe PDF |
Orientador(es)
Resumo(s)
This study compares the forecasting performance of Vector Autoregressive (VAR) models, the IBM Granite Tiny Time Mixer (TTM) Foundation Model, and TimeGPT across 23 distinct clusters of hourly electricity consumption data. The analysis utilizes Mean Absolute Percentage Error (MAPE), symmetric Mean Absolute Percentage
Error (sMAPE), and Mean Directional Accuracy (MDA) and Relative Absolute Error (RAE) to evaluate model accuracy. The empirical results demonstrate that VAR models consistently outperform both the IBM Granite TTM and, to a lesser extent, TimeGPT across the majority of clusters. Specifically, VAR models exhibit significantly lower MAPE and sMAPE values, indicating superior forecasting precision. While TimeGPT
demonstrates competitive performance in certain clusters, particularly those with historical shocks, the IBM Granite TTM shows considerably higher error metrics across most clusters, suggesting limitations in its ability to accurately forecast hourly electricity consumption patterns in this context. These findings highlight the effectiveness of classical VAR models for forecasting time series data with strong seasonal components and infrequent shocks, and provide a comparative analysis of the strengths and weaknesses of Foundation Models in this specific domain.
Este estudo compara o desempenho de previsão de modelos Vetoriais Autoregressivos (VAR), do IBM Granite Tiny Time Mixer (TTM) Foundation Model e do TimeGPT em 23 clusters distintos de dados de consumo de eletricidade por hora. A análise utiliza o Erro Percentual Absoluto Médio (MAPE), o Erro Percentual Absoluto Médio Simétrico (sMAPE), a Precisão Direcional Média (MDA) e o Erro Absoluto Relativo (RAE) para avaliar a precisão do modelo. Os resultados empíricos demonstram que os modelos VAR superam consistentemente tanto o IBM Granite TTM como, em menor medida, o TimeGPT na maioria dos clusters. Especificamente, os modelos VAR exibem valores de MAPE e sMAPE significativamente mais baixos, indicando uma precisão de previsão superior. Embora o TimeGPT demonstre um desempenho competitivo em certos clusters, particularmente aqueles com choques históricos, o IBM Granite TTM apresenta métricas de erro consideravelmente mais elevadas na maioria dos clusters, sugerindo limitações na sua capacidade de prever com precisão os padrões de consumo de eletricidade por hora neste contexto. Estes resultados destacam a eficácia dos modelos VAR clássicos para prever dados de séries temporais com fortes componentes sazonais e choques infrequentes, e fornecem uma análise comparativa dos pontos fortes e fracos dos Foundation Models neste domínio específico.
Este estudo compara o desempenho de previsão de modelos Vetoriais Autoregressivos (VAR), do IBM Granite Tiny Time Mixer (TTM) Foundation Model e do TimeGPT em 23 clusters distintos de dados de consumo de eletricidade por hora. A análise utiliza o Erro Percentual Absoluto Médio (MAPE), o Erro Percentual Absoluto Médio Simétrico (sMAPE), a Precisão Direcional Média (MDA) e o Erro Absoluto Relativo (RAE) para avaliar a precisão do modelo. Os resultados empíricos demonstram que os modelos VAR superam consistentemente tanto o IBM Granite TTM como, em menor medida, o TimeGPT na maioria dos clusters. Especificamente, os modelos VAR exibem valores de MAPE e sMAPE significativamente mais baixos, indicando uma precisão de previsão superior. Embora o TimeGPT demonstre um desempenho competitivo em certos clusters, particularmente aqueles com choques históricos, o IBM Granite TTM apresenta métricas de erro consideravelmente mais elevadas na maioria dos clusters, sugerindo limitações na sua capacidade de prever com precisão os padrões de consumo de eletricidade por hora neste contexto. Estes resultados destacam a eficácia dos modelos VAR clássicos para prever dados de séries temporais com fortes componentes sazonais e choques infrequentes, e fornecem uma análise comparativa dos pontos fortes e fracos dos Foundation Models neste domínio específico.
Descrição
Dissertation presented as the partial requirement for obtaining a Master's degree in Statistics and Information Management, specialization in Information Analysis and Management
Palavras-chave
AI Cointegration Forecasting Foundation Models IBM Granite TTM Machine Learning Methodological Comparison Model Evaluation Model Performance Multivariate Time Series TimeGPT Time Series VARMA