Data and computer center prediction of usage and cost: an interpretable machine learning approach

Abstract

In recent years, Cloud computing usage has considerably increased and, nowadays, it is the backbone of many emerging applications. However, behind cloud structures, we have physical infrastructures (data centers) for which managing is difficult due to un- predictable utilization patterns. To address the constraints of reactive auto-scaling, data centers are widely adopting predictive cloud resource management mechanisms. How- ever, predictive methods rely on application workloads and are typically pre-optimized for specific patterns, which can cause under/over-provisioning of resources. Accurate workload forecasts are necessary to gain efficiency, save money, and provide clients with better and faster services. Working with real data from a Portuguese bank, we propose Ensemble Adaptive Model with Drift detector (EAMDrift). This novel method combines forecasts from multi- ple individual predictors by giving weights to each individual model prediction according to a performance metric. EAMDrift automatically retrains when needed and identifies the most appropriate models to use at each moment through interpretable mechanisms. We tested our novel methodology in a real data problem, by studying the influence of external signals (mass and social media) on data center workloads. As we are working with real data from a bank, we hypothesize that users can increase or decrease the usage of some applications depending on external factors such as controversies or news about economics. For this study, EAMDrift was projected to allow multiple past covariates. We evaluated EAMDrift in different workloads and compared the results with sev- eral baseline methods models. The experimental evaluation shows that EAMDrift out- performs individual baseline models in 15% to 25%. Compared to the best black-box ensemble model, our model has a comparable error (increased in 1-3%). Thus, this work suggests that interpretable models are a viable solution for data center workload predic- tion.

Nos últimos anos, a computação em nuvem tem tido um aumento considerável e, hoje pode ser vista como a espinha dorsal de muitas aplicações que estão a emergir. Contudo, por detrás das conhecidas nuvens, existem estruturas físicas (centro de dados) nas quais, a gestão tem se revelado uma tarefa bastante difícil devido à imprevisibilidade de utilização dos serviços. Para lidar com as restrições do auto-scalling reativo, os mecanismos de gestão dos centros de dados começaram a adotar algoritmos preditivos. No entanto, os algoritmos preditivos são treinados com base nas cargas de utilização das aplicações e geralmente não estão otimizados para todos os padrões, causando sub/sobre provisionamento dos recursos. Através da utilização de dados reais do centro de dados de um banco português, pro- pomos o Ensemble Adaptive Model with Drift detector (EAMDrift). Este novo método combina previsões de vários modelos individuais através de uma métrica de desempe- nho. O EAMDrift possui mecanismos interpretáveis que permitem detetar os melhores modelos em cada previsão, bem como detetar momentos para ser retreinado. A nossa metodologia foi testada num problema com dados reais, e foi estudada a influência de fatores externos (notícias relacionadas com o banco) com a sua utilização. Sendo estes dados de um banco, é possível que os utilizadores aumentem ou diminuam o uso de algumas aplicações com base em fatores externos (polêmicas ou notícias sobre economia). Para isto, o EAMDrift permite o uso de outras variáveis (covariadas). O modelo proposto neste trabalho foi avaliado em diferentes conjuntos de dados e os resultados foram comparados entre vários modelos de base. O EAMDrift superou todos os modelos de base em 15% a 25%. Quando comparado com o melhor modelo que também combina várias previsões mas de forma não interpretável, o nosso modelo obteve um erro comparável (maior em 1 a 3%). Assim, este trabalho sugere que modelos interpretáveis podem ser uma solução viável para a gestão dos centros de dados.