Hybrid Deep Modeling of Biotechnological Processes: Combining Deep Neural Networks with First Principles Knowledge

Abstract

Hybrid modeling combining First-Principles with Machine Learning (ML) is becoming a pivot-al methodology for Biopharma 4.0 enactment. Combining ML with prior knowledge general-ly improves the model predictive power and model transparency while reducing the amount of data for process development. However, most previous studies pursued a shallow hybrid modeling approach based on three-layered Feedforward Neural Networks (FFNNs) combined with macroscopic material balance equations. In this thesis, a general deep hybrid modelling framework for bioreactors, that incorporates deep neural networks, deep learning and First Principles equations is developed and imple-mented in the HYBrid MODdeling (HYBMOD) MATLAB® toolbox (Chapter 3). Deep learning, namely the adaptive moment estimation method (ADAM), stochastic regularization and depth-dependent weights initialization are evaluated in a hybrid modeling context. Modified sensitivity equations are proposed for the computation of gradients in order to reduce CPU time for the training of deep hybrid models. Furthermore, the encoding of hybrid models obeying to the Systems Biology Markup Language (SBML) standard is implemented. The general deep hybrid modeling method is evaluated in several experiments using synthet-ic and real-world experimental data. In Chapter 4 a pilot Pichia pastoris GS115 MUT+ process development case study is addressed. In Chapter 5 an industrial CHO-K1 process develop-ment campaign is addressed. The results point to the conclusion that there is a clear ad-vantage of deep hybrid modeling both in terms of predictive power and in terms of compu-tational cost in relation to the shallow hybrid case. Furthermore, the SBML compatibility fa-cilitates the dissemination of hybrid models in the Systems Biology community.

Modelação híbrida que combina Primeiros-Princípios com Aprendizagem de Máquinas (ML) está a tornar-se numa metodologia fundamental da Biopharma 4.0. Como vantagens apon-ta-se a melhoria do poder preditivo do modelo bem como a sua transparência, reduzindo ainda a quantidade de dados para o seu desenvolvimento. No entanto, a maioria dos estu-dos anteriores seguiu uma abordagem de modelação híbrida não-profunda baseada em Re-des Neuronais (FFNNs) de três camadas e equações de balanços materiais macroscópicos. Nesta tese, modelação híbrida profunda de biorreatores que incorpora redes neurais, apren-dizagem profunda e Primeiros-Princípios é desenvolvida e implementada na toolbox HYBrid MODdeling (HYBMOD) em MATLAB® (Capítulo 3). A aprendizagem profunda, nomeada-mente o método adaptativo de estimação de momento (ADAM), regularização estocástica e inicialização de pesos dependentes da profundidade são avaliadas. Equações de sensibilida-de modificadas são propostas para o cálculo de gradientes, a fim de reduzir o tempo de CPU para o treino de modelos híbridos profundos. Além disso, é implementada a codificação de modelos híbridos obedecendo ao padrão SBML (Systems Biology Markup Language). O método proposto de modelação híbrida profunda é avaliado usando dados experimentais sintéticos e do mundo real. No Capítulo 4 é abordado o desenvolvimento de processos Pi-chia pastoris GS115 MUT+ à escala piloto. No Capítulo 5 é estudado o desenvolvimento du-ma cultura industrial de CHO-K1. Os resultados apontam para uma clara vantagem da mode-lação híbrida profunda tanto em termos de poder preditivo quanto em termos de custo computacional em relação à modelação híbrida não-profunda. Além disso, a compatibilidade SBML facilita a disseminação de modelos híbridos na comunidade de Biologia de Sistemas.