Control of Fed-batch fermentation processes by using artificial neutral systems.

Resumen

This work focuses on the application of neural networks in the areas of modelling, identification, control and optimization of biothechnology processes, mainly fed-batch bioreactors. The basic ideas and techniques of artificial neural networks are presented with the notation familiar to control engineers. The applications of a variety of neural network architectures in control and control schemes are first surveyed. Some especific fed-batch bioreactor processes are mentioned to illustrate particular control cases to be examimined in detail and solved. Especifically, a non-linear multivariable bioreactor control problem is used as a case study for model based control techniques. An implementation of direct and inverse process control models based on neural networks that considers biological, thermal and pH effects for this multivariable fed-batch bioreactor is performed and tested. Multilayer perceptrons and radial basis functions neural networks are considered to model this type of non-linear multi-input multi-output (MIMO) dynamic process. The direct models are successfully tested under steady state, dynamic process operation and when a acid disturbance in the process causes a plant/model mismatch. The inverse process model is also successfully tested at the set-point input with a random series of perturbations around the plant operation state. The RBF architecture with goal 3.0 is the best architecture for the direct model of this multivariable process while the best inverse model is based on a MLP 19-11-7-1 trained including past information of the steady states of the process. On the other hand, optimal control techniques that employ neural networks are studied to optimize the production of invertase in a fed-batch bioreactor. The controlled addition of substrates is used in this bioreactor process to increase productivity when end-product inhibition or catabolite repression are present. Cloned invertase production in Saccharomyces cerevisiae yeast is carried out in fed-batch mode of operation because the enzyme expression is repressed at high glucose concentrations. An optimal glucose feed rate profile is needed to achieve the highest fermentation profit. The controller has to find at each time step an optimal control action that increments the fed-batch bioreactor profitability, even when a disturbance or a set-point change arise. This optimal control action increases the productivity and, within the same optimization process, finds the optimal fermentation ending time. This double optimization is a novelty not met by previous optimization schemes published in the literature. A neuro dynamic programming (NDP) approach coupled with MLP neural networks or fuzzy ARTMAP systems is employed to accomplish these optimization objectives. Fuzzy ARTMAP creates multidimensional category maps by incremental supervised learning. The optimization method utilizes suboptimal control policies as a starting guess. The neural networks are used to build a cost surface in the state space visited by the process. Bellmans iteration is used to improve the cost approximation. The cost surface obtained is implemented into a control system. The controller is tested for different fermentation processes started with different initial fermentation volumes. NDP outperforms other optimization methods employed to find an optimal feeding profile. Besides, it can be used to optimize any fermentation process (starting at different initial conditions) because the future costs (profits) are characterized as a function of system states. The optimal control trajectories found by the controller are similar to the best suboptimal policy for each initial volume. MLP-NDP controllers yield the highest profits, but the manipulated variable trajectories are not smooth. Fuzzy ARTMAP-NDP overcomes this limitation. The best fuzzy ARTMAP-NDP based control system is also tested when an abrupt death of yeast cells occurs. In this case, the controller performance is better than the performance of the fermentation using the best suboptimal policy for the given initial volume. The integration of control science with neural networks in a unified presentation and identification key areas is a path to follow in future research. Artificial neural networks techniques can be succesfully applied to control fed-batch bioreactors. Resumen Optimización y Control de Procesos de Fermentación Fed-batch a través de Sistemas Neuronales Artificiales Los procesos de fermentación son ampliamente utilizados en la industria química, farmacéutica y alimentaria. La producción de comida para animales, yogures, quesos, cerveza, colorantes para comida, fertilizantes, medicinas terapéuticas y penicilina, entre otros, son algunos ejemplos de procesos biotecnológicos. En una búsqueda rápida en Internet, cerca de 113000 sitios fueron encontrados, todos ellos relacionados con productos de procesos de fermentación. El campo de aplicación de la bioingeniería abarca desde los procesos tradicionales de fermentación de vinos hasta la industrialización de no solo la producción de cerveza, queso y leche; sino también de nuevos productos biotecnólogicos como son los antibióticos, enzimas, hormonas, vitaminas, azucares y ácidos orgánicos. Desde tiempos remotos los microorganismos han sido utilizados por el hombre en la producción de alimentos esenciales, como el pan o el queso. El arte de hacer vino ha pasado de padre a hijo desde el antiguo Egipto. Solo hasta finales del siglo XIX, gracias a los estudios del químico y microbiólogo Louis Pasteur, nació la biotecnología como ciencia. La definición actual de biotecnología, según la OCDE, es la aplicación de la ciencia y la tecnología tanto a organismos vivos como a partes, productos y modelos de ellos, con el propósito de modificar tanto materia viva como la no viva con el fin de producir conocimiento, bienes y servicios. Un proceso de fermentación es un proceso químico en el cual se emplean microorganismos para obtener un producto en particular, aprovechando la selectividad de los microorganismos para producir un determinado compuesto. Los procesos de fermentación son llevados a cabo en un bioreactor. Un bioreactor es un recipiente en el cual microorganismos son cultivados de manera controlada y/o materia prima es convertida o transformada debido a reacciones biológicas. En una fermentación, es necesario un control adecuado de todas las variables de proceso, debido a que cualquier cambio inesperado en el valor de alguna de ellas puede afectar el desarrollo de los microorganismos y en consecuencia disminuir la productividad del bioreactor. El principal objetivo de controlar un proceso de fermentación es maximizar la producción de microorganismos u otros compuestos metabólicos. Avances recientes en ingeniería genética han aumentado la importancia del adecuado control de los procesos biotecnólogicos. El uso de células de mamíferos o microorganismos en la producción de moléculas complejas requiere el análisis y control de todas las variables de proceso, tales como temperatura, concentración de oxigeno y pH. El presente trabajo se centra en la aplicación de redes neuronales artificiales en las áreas de modelado, identificación, control y optimización de procesos biotecnológicos, principalmente en bioreactores del tipo fed-batch. Un bioreactor fed-batch se emplea cuando la producción de determinado compuesto de interés, es inhibida debido a la alta concentración de substrato. En un proceso fed-batch, la fermentación empieza con un volumen, concentración de microorganismos y substrato determinados y, a medida que transcurre el proceso de fermentación, el substrato se añade poco a poco, hasta que se consigue llenar el bioreactor. En este trabajo las ideas y técnicas utilizadas por las redes neuronales artificiales son presentadas con la notación familiar para un ingeniero de control. Diferentes estructuras de redes neuronales artificiales y su posible aplicación a diferentes sistemas de control son resumidas. También son presentados algunos procesos de fermentación fed-batch. Dichos procesos son empleados para ilustrar casos específicos de problemas control. Específicamente, un modelo no lineal y multivariable de un bioreactor es empleado para ilustrar las técnicas de control basadas en el modelo del proceso. Un modelo para la producción de invertasa a través de la levadura Saccharomyces cerevisiae es empleado para ilustrar las técnicas de optimización y control. Dentro de las técnicas de control basadas en el modelo del proceso, se implementó un modelo directo y uno inverso de la fermentación multivariable antes mencionada. Ambos modelos, basados en redes neuronales artificiales, consideran efectos biológicos, térmicos y de pH. Multilayer perceptron y Radial Basis Function son las redes neuronales empleadas para la construcción de los dos modelos. Para ilustrar la fiabilidad de estos modelos, diferentes pruebas les fueron realizadas. El modelo directo del proceso de fermentación, basado en redes neuronales, fue probado en operación en estado estacionario, en estado dinámico y cuando una perturbación en el ácido causa que el pH del proceso sea diferente. El modelo inverso del proceso de fermentación fue probado haciendo cambios aleatorios en el punto de referencia. Con la arquitectura Radial Basis Function se obtuvo el mejor modelo directo. Para el modelo inverso del proceso de fermentación, se encontró que la mejor arquitectura es la multilayer perceptron 11-7-1, entrenada con informacion de los estados estacionarios del proceso. Por otro lado, para la optimización de la producción de invertasa es necesario encontrar el perfil de alimentación optimo, de manera que la productividad del bioreactor sea máxima y el tiempo de fermentación sea mínimo. Este doble objetivo de optimización es una novedad y no ha sido antes obtenido por otros esquemas de optimización previamente publicados. El objeto del controlador debe ser hallar a cada instante de tiempo la acción optima de control, es decir, cada vez encontrar cual es el flujo de alimentación adecuado para cumplir el doble objeto de la optimización. En este trabajo se utiliza la programación dinámica neuronal (NDP) con el fin de implementar dicho controlador. Esta técnica emplea redes multilayer perceptron o fuzzy ARTMAP para realizar la optimizacion del proceso. NDP utiliza perfiles de alimentación subóptimas como suposición inicial. A través de esta suposición, una red neuronal es empleada para construir la superficie de costos en el espacio de los estados del proceso. Esta superficie de costos se mejora a través de la iteración de Bellman. Una vez obtenida una buena aproximación a la superficie de costos óptima, esta es implementada en un sistema de control que hace uso también de la ecuación de Bellman. El controlador es probado en diferentes condiciones de operación del proceso de fermentación, específicamente cuando la fermentación comienza con diferentes volúmenes iniciales. Al comparar la metodología empleada se encontró que esta es mejor que otros métodos de optimización utilizados con el mismo fin, debido a que la metodología NDP puede ser usada en diferentes procesos de fermentación sin necesidad de realizar una optimización on-line. Las trayectorias óptimas encontradas por el controlador son similares a la trayectoria seguida por el mejor de los perfiles subóptimos. Con multilayer perceptron- NDP se obtienen los mas altos rendimientos pero la trayectoria de variable manipulada es muy abrupta. Con fuzzy ARTMAP-NDP no se presenta este problema. El controlador que implementa fuzzy ARTMAP-NDP es probado también cuando hay un cambio brusco en la concentración de células. El 50% mueren. En este caso el desempeño del controlador es mejor que el rendimiento de la fermentación cuando la mejor de los perfiles de alimentación subóptimas es utilizado. Por último se puede decir que la integración de la ingeniería de control con las redes neuronales es un fructífero camino a seguir por futuras líneas de investigación ya que las redes neuronales artificiales pudieron ser empleadas con éxito en el control de bioreactores fed-batch. Publicaciones Valencia C., Giralt J., Arenas A., Giralt F., Implementation of a non-linear multivariable (MIMO) process control model of a fed-batch bioreactor with neural networks. Poster Session: Topics in systems and process control, AIChE annual meeting Reno 2001. Valencia C., Giralt J., Arenas A., Giralt F., Non-linear multivariable (MIMO) process control model of a fed-batch bioreactor with neural networks. Submitted to Chemical Engineering Science. 2002 Valencia C., Lee J.H., Kaisare N.S., Final time and productivity optimization of a fed-batch bioreactor for invertase production. Presented at Control of Pharmaceutical and Biological Processes Session 347, AIChE annual meeting, Indianapolis 2002. Valencia C., Giralt J., Arenas A., Giralt F., Optimization of invertase production in a fed-batch bioreactor using dynamic programming coupled with fuzzy ARTMAP, to be submitted to Biotechnology and Bioengineering 2002 Resum Optimització i Control dels Processos de Fermentació Fed-batch a través de Sistemes Neuronals Artificials Els processos de fermentació són amplament utilitzats en lindústria química, farmacèutica i alimentaria. La producció de menjar per a animals, iogurts, formatge, cervesa, colorants per aliments, fertilitzants, medicines terapèutiques i penicil·lina entre altres, són alguns exemples de processos biotecnològics. En una recerca ràpida a Internet, cerca de 113000 llocs van ser trobats, tots ells relacionats amb productes de processos de fermentació. El camp daplicació de la bioenginyeria avarca des dels tradicionals processos de fermentació de vi fins a lindustrialització de no solament la producció de cervesa, formatge i llet; sinó també de noves productes biotecnològics com són els antibiòtics, enzims, hormones, vitamines, sucres i àcids orgànics. Des de temps remots els microorganismes van ser utilitzats per lhome en la producció daliments bàsics, com el pa o el formatge. Lart de fer vi a passat de pares a fills des dl antic Egipte. Només fins a finals del segle XIX, gràcies als estudis del químic i microbiòleg Louis Pasteur, va nàixer la biotecnologia com a ciència. La definició moderna de biotecnologia, segons la OCDE, és laplicació de la ciència i la tecnologia tant als organismes vius com a les seves parts, productes i models dells, amb el propòsit de modificar tant la matèria viva com la no viva amb lobjecte de produir coneixements, bens i serveis. Un procés de fermentació és un procés químic que fa servir microorganismes per a obtenir un producte en particular, aprofitant la selectivitat dels microorganismes per a produir un determinat compost. Els processos de fermentació es realitzen en un bioreactor. Un bioreactor és un vaixell on els microorganismes són cultivats de forma controlada i/o matèria primera és convertida o transformada per reacciones biològiques. En una fermentació, es necessita un adequat control de totes les variables de procés, per tal que qualsevol canvi inesperat en el valor dalguna de elles pot afectar el desenvolupament de els microorganismes i en conseqüència disminuir la productivitat del bioreactor. El principal objectiu de controlar un procés de fermentació, és maximitzar la producció de microorganismes o altres compostos metabòlics. Recents avanços en enginyeria genètica han augmentat la importància de ladequat control dels processos biotecnològics. Lús de cèl·lules de mamífers o microorganismes en la producció de molècules complexes necessita de lanàlisi i el control de totes las variables de procés, tal com temperatura, concentració doxigen i pH. El present treball es centra en laplicació de xarxes neuronals artificials en les àrees de modelat, identificació, control i optimització de processos biotecnològics, principalment en bioreactors de tipus fed-batch. Un bioreactor fed-batch es fa servir quan la producció dun determinat compost dinterès, és inhibida per lalta concentració de substrat. En un procés fed-batch, la fermentació comença amb un volum, concentració de microorganismes i substrat determinats i a mida que transcorre el procés de fermentació, el substracte sagrega poc a poc, fins que el bioreactor és ple. En aquell treball les idees i tècniques utilitzades per las xarxes neuronals artificials són presentades amb la notació familiar per a un enginyer de control. Diferents estructures de xarxes neuronals artificials i la seva possible aplicació a diferents sistemes de control van ser resumides. També shan presentat alguns processos de fermentació fed-batch. Aquests processos es fan servir per il·lustrar casos específics de problemes de control. Específicament, un model no lineal i multivariable dun bioreactor es fa servir per il·lustrar les tècniques de control basades en el model del procés. Un model per a la producció de invertasa a través del llevat Saccharomyces cerevisiae es fa servir per il·lustrar les tècniques doptimització i control. Dins les tècniques de control basades en el model del procés, es va a implementar un model directe i un invers de la fermentació multivariable. Els dos models, basats en xarxes neuronals artificials, consideren efectes biològics, tèrmics i de pH. Multilayer perceptron i Radial Basis Function són las xarxes neuronals que es van a fer servir per a la construcció dambdós models. Per il·lustrar la fiabilitat daquests models, diferent proves van ser realitzades. El model directe del processo de fermentació, basat en xarxes neuronals, va ser provat quan el procés opera en estat estacionari, en estat dinàmic i quan una perturbació en làcid causa que el pH del procés sigui un altre. El model invers del procés de fermentació també va ser provat fent canvis aleatoris del punt de consigna. Larquitectura Radial Basis Function va a ser el millor model directe que es va a trobar. Pel model invers del procés de fermentació, es va a trobar que la millor arquitectura es la Multilayer Perceptron 11-7-1, que va ser entrenada amb informació dels estats estacionaris del procés. Per una altre banda, per a loptimització de la producció de invertasa es necessita trobar el perfil dalimentació òptim, de manera que la productivitat del bioreactor sigui màxima i el temps de fermentació sigui mínim. Aquest doble objectiu de optimització constitueix una novetat i no ha estat obtingut per altres mètodes doptimització prèviament publicats. Lobjectiu del controlador és trobar a cada instant de temps lacció òptima de control, és dir, cada vegada trobar quin és el flux dalimentació correcte per complir el doble objecte de loptimització. Aquest treball va fer servir la programació dinàmic neuronal (NDP) amb lobjectiu de implementar aquell controlador. Aquesta tècnica fa servir xarxes multilayer perceptron o fuzzy ARTMAP. Aquest mètode doptimització utilitza perfils dalimentació subòptimes com a suposició inicial. A través della, una xarxa neuronal es utilitzada per construir la superfície de costos en lespai dels estats del procés. Aquesta superfície de costos es millora a través de la iteració de Bellman. Una vegada obtinguda una bona aproximació a la superfície de costos òptima, aquesta es implementada en un sistema de control que fa ús de lequació de Bellman. Aquest controlador és provat dins diferentes condiciones doperació del procés de fermentació, específicament quan la fermentació comença amb diferents volums inicials. Sha trobat que la metodologia emprada és millor que altres mètodes de optimització ja que es pot utilitzar en altres processos de fermentació sense la necessitat de fer una optimització on-line. Les trajectòries òptimes trobades pel controlador son similars a la trajectòria seguida pel millor dels perfils subòptims. Amb Multilayer Perceptron- NDP shan obtingut els millores rendiments, però la trajectòria de variable manipulada és força abrupta. Amb Fuzzy ARTMAP-NDP no es presenta aquest problema. El controlador que implementa fuzzy ARTMAP-NDP és provat també quan es presenta un canvi brusc en la concentració de cèl·lules. El 50% moren. En aquell cas el desenvolupament del controlador és millor que el rendiment de la fermentació quan el millor dels perfils dalimentació subòptimes es fan servir. Per últim es pot dir que la integració de lenginyeria de control amb les xarxes neuronals és un camí a seguir per futures línees dinvestigació. Las xarxes neuronals artificials poden, amb èxit, fer-se servir en el control de bioreactors fed-batch.