Desafios na adoção de MLOps por time DevOps - projeto de co-desenvolvimento entre Governo e Academia para a introdução de e-gov 3.0
Resumo
A adoção de sistemas de machine learning tem acelerado nos últimos anos, pela disponibilazão de ferramentas, frameworks e bibliotecas. Enquanto a implantação de um sistema de machine learning é facilitado, os desafios relacionados a manutenção e evolução desses modelos tem sido pouco falado, e pesquisas e surveys mostram que os engenheiros ainda tem dificuldade de operacionalizar e padronizar os processos para o deploy contínuo. Nesse contexto, relato minha experiência coordenando a adoção de MLOps durante uma parceria sem precedentes entre o governo e academia por 24 meses para a introdução de serviços e-gov 3.0. A partir da análise post-mortem dos dados dos projetos de sistemas de Machine learning desenvolvidos, um chatbot e um serviço de recomendação, levantei um conjunto de lições aprendidas e melhores práticas para a adoção bem sucedida de MLOps de uma equipe que já madura na cultura DevOps.
Palavras-chave:
MLOps, DevOps, co-desenvolvimento, e-gov 30, chatbot, open source
Referências
Amershi, S., Begel, A., Bird, C., Deline, R., Gall, H., Kamar, E., Nagappan, N., Nushi, B., and Zimmermann, T. (2019b). Software engineering for machine learning: A case study. pages 291–300.
de Lacerda, A. R. T. and Aguiar, C. S. R. (2019). Floss faq chatbot project reuse: How to allow nonexperts to develop a chatbot. In Proceedings of the 15th International Symposium on Open Collaboration, OpenSym ’19, New York, NY, USA. Association for Computing Machinery.
Leite, L., Rocha, C., Kon, F., Milojicic, D., and Meirelles, P. (2019). A survey of devops concepts and challenges. ACM Comput. Surv., 52(6).
López García, , De Lucas, J. M., Antonacci, M., Zu Castell, W., David, M., Hardt, M., Lloret Iglesias, L., Moltó, G., Plociennik, M., Tran, V., Alic, A. S., Caballer, M., Plasencia, I. C., Costantini, A., Dlugolinsky, S., Duma, D. C., Donvito, G., Gomes, J., Heredia Cacha, I., Ito, K., Kozlov, V. Y., Nguyen, G., Orviz Fernández, P., Sustr, Z., and Wolniewicz, P. (2020). A cloud-based framework for machine learning workloads and applications. IEEE Access, 8:18681–18692.
Sculley, D., Holt, G., Golovin, D., Davydov, E., Phillips, T., Ebner, D., Chaudhary, V., Young, M., Crespo, J.-F., and Dennison, D. (2015). Hidden technical debt in machine learning systems. In Proceedings of the 28th International Conference on Neural Information Processing Systems - Volume 2, NIPS’15, page 2503–2511, Cambridge, MA, USA. MIT Press.
Wen, M., Siqueira, R., Lago, N., Camarinha, D., Terceiro, A., Kon, F., and Meirelles, P. (2020). Leading successful government-academia collaborations using floss and agile values. Journal of Systems and Software, 164:110548
de Lacerda, A. R. T. and Aguiar, C. S. R. (2019). Floss faq chatbot project reuse: How to allow nonexperts to develop a chatbot. In Proceedings of the 15th International Symposium on Open Collaboration, OpenSym ’19, New York, NY, USA. Association for Computing Machinery.
Leite, L., Rocha, C., Kon, F., Milojicic, D., and Meirelles, P. (2019). A survey of devops concepts and challenges. ACM Comput. Surv., 52(6).
López García, , De Lucas, J. M., Antonacci, M., Zu Castell, W., David, M., Hardt, M., Lloret Iglesias, L., Moltó, G., Plociennik, M., Tran, V., Alic, A. S., Caballer, M., Plasencia, I. C., Costantini, A., Dlugolinsky, S., Duma, D. C., Donvito, G., Gomes, J., Heredia Cacha, I., Ito, K., Kozlov, V. Y., Nguyen, G., Orviz Fernández, P., Sustr, Z., and Wolniewicz, P. (2020). A cloud-based framework for machine learning workloads and applications. IEEE Access, 8:18681–18692.
Sculley, D., Holt, G., Golovin, D., Davydov, E., Phillips, T., Ebner, D., Chaudhary, V., Young, M., Crespo, J.-F., and Dennison, D. (2015). Hidden technical debt in machine learning systems. In Proceedings of the 28th International Conference on Neural Information Processing Systems - Volume 2, NIPS’15, page 2503–2511, Cambridge, MA, USA. MIT Press.
Wen, M., Siqueira, R., Lago, N., Camarinha, D., Terceiro, A., Kon, F., and Meirelles, P. (2020). Leading successful government-academia collaborations using floss and agile values. Journal of Systems and Software, 164:110548
Publicado
19/10/2020
Como Citar
AGUIAR, Carla Silva Rocha.
Desafios na adoção de MLOps por time DevOps - projeto de co-desenvolvimento entre Governo e Academia para a introdução de e-gov 3.0. In: TRILHA DA INDÚSTRIA - CONGRESSO BRASILEIRO DE SOFTWARE: TEORIA E PRÁTICA (CBSOFT), 11. , 2020, Evento Online.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2020
.
p. 144-147.
DOI: https://doi.org/10.5753/cbsoft_estendido.2020.14623.
