Comparação dos modelos BERT e Snips para compreensão de linguagem natural para assistente virtual ADA
Resumo
Compreensão de linguagem natural, é uma subárea importante de Processamento de Linguagem Natural em Inteligência Artificial, que busca entender e extrair informação semântica de um texto ou fala. Ela é um componente essencial de qualquer assistente virtual moderna, sendo responsável por identificar a intenção do usuário e os objetos de sua fala. Sendo assim, este trabalho apresenta uma comparação de dois modelos, sendo estes o BERT e Snips, para compreensão de linguagem natural. Tais modelos foram testados com o intuito de serem integrados à assistente virtual A.D.A., realizando as tarefas de classificação de intenção e slot filling. Como resultados preliminares, conseguimos obter alta precisão em ambas as tarefas com as soluções testadas. Assim, podemos concluir que as duas soluções são adequadas para integração com a A.D.A. dependendo do contexto.
Palavras-chave:
Big Data, Computação em Nuvem, Grade, Aglomerado (Cluster) e Peer-to-Peer, Computação Móvel, Pervasiva e Embarcada
Referências
Chen, Q., Zhuo, Z., and Wang, W. (2019). Bert for joint intent classification and slot filling. arXiv. eprint 1902.10909.
Coucke, A., Saade, A., Ball, A., Bluche, T., Caulier, A., Leroy, D., Doumouro, C., Gisselbrecht, T., Caltagirone, F., Lavril, T., et al. (2018). Snips voice platform: an embedded spoken language understanding system for private-by-design voice interfaces. arXiv preprint arXiv:1805.10190, pages 12–16.
Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.
Freire, F., Rosa, T., Feulo, G., Elmadjian, C., Cordeiro, R., Moura, S., Andrade, A., de Omena, L. A., Vicente, A., Marques, F., Sheffer, A., Hideki, O., Nascimento, P., Cordeiro, D., and Goldman, A. (2020). Toward Development of A.D.A. – Advanced Distributed Assistant. In Anais do XXI Simpósio em Sistemas Computacionais de Alto Desempenho, pages 203–214, Porto Alegre, RS, Brasil. SBC.
Jurafsky, D. and Martin, J. H. (2009). Speech and Language Processing (2Nd Edition). Prentice-Hall, Inc., Upper Saddle River, NJ, USA.
Souza, F., Nogueira, R., and Lotufo, R. (2020). BERTimbau: pretrained BERT models for Brazilian Portuguese. In 9th Brazilian Conference on Intelligent Systems, BRACIS, Rio Grande do Sul, Brazil, October 20-23 (to appear).
Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., Davison, J., Shleifer, S., von Platen, P., Ma, C., Jernite, Y., Plu, J., Xu, C., Scao, T. L., Gugger, S., Drame, M., Lhoest, Q., and Rush, A. M. (2020). Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pages 38–45, Online. Association for Computational Linguistics.
Coucke, A., Saade, A., Ball, A., Bluche, T., Caulier, A., Leroy, D., Doumouro, C., Gisselbrecht, T., Caltagirone, F., Lavril, T., et al. (2018). Snips voice platform: an embedded spoken language understanding system for private-by-design voice interfaces. arXiv preprint arXiv:1805.10190, pages 12–16.
Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.
Freire, F., Rosa, T., Feulo, G., Elmadjian, C., Cordeiro, R., Moura, S., Andrade, A., de Omena, L. A., Vicente, A., Marques, F., Sheffer, A., Hideki, O., Nascimento, P., Cordeiro, D., and Goldman, A. (2020). Toward Development of A.D.A. – Advanced Distributed Assistant. In Anais do XXI Simpósio em Sistemas Computacionais de Alto Desempenho, pages 203–214, Porto Alegre, RS, Brasil. SBC.
Jurafsky, D. and Martin, J. H. (2009). Speech and Language Processing (2Nd Edition). Prentice-Hall, Inc., Upper Saddle River, NJ, USA.
Souza, F., Nogueira, R., and Lotufo, R. (2020). BERTimbau: pretrained BERT models for Brazilian Portuguese. In 9th Brazilian Conference on Intelligent Systems, BRACIS, Rio Grande do Sul, Brazil, October 20-23 (to appear).
Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., Davison, J., Shleifer, S., von Platen, P., Ma, C., Jernite, Y., Plu, J., Xu, C., Scao, T. L., Gugger, S., Drame, M., Lhoest, Q., and Rush, A. M. (2020). Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pages 38–45, Online. Association for Computational Linguistics.
Publicado
06/05/2021
Como Citar
SANTOS, Leonardo Costa; DE CARVALHO JUNIOR, Antonio Deusany; GOLDMAN, Alfredo.
Comparação dos modelos BERT e Snips para compreensão de linguagem natural para assistente virtual ADA. In: ESCOLA REGIONAL DE ALTO DESEMPENHO DE SÃO PAULO (ERAD-SP), 12. , 2021, Evento Online.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2021
.
p. 33-36.
DOI: https://doi.org/10.5753/eradsp.2021.16699.
