Modelo de Linguagem Quantizados na Area da Saúde: Um Enfoque em Perguntas e Respostas com Base na Tecnica DPO

• Mario Pinto Freitas Filho UFMA https://orcid.org/0000-0002-6294-685X
• João Dallyson Sousa de Almeida UFMA https://orcid.org/0000-0001-7013-9700
• Anselmo C. Paiva UFMA https://orcid.org/0000-0003-4921-0626

DOI: https://doi.org/10.5753/stil.2024.245458

Resumo

A agilidade em diagnosticar os pacientes é um fator vital para o tratamento hábil de diversas enfermidades e muitas vezes é o parâmetro decisivo na recuperação dos pacientes. Ao levar em consideração que o tempo médio consumido por profissionais médicos em atividades de pesquisa, muitas vezes é de 4 horas de duração, e este se reduzido, de forma a não comprometer a qualidade dos resultados obtidos será valioso para o diagnóstico e tratamento principalmente em casos de maior urgência. A presente produção busca explorar a utilização de Modelos dos Large Language Models (LLMs) baseados na arquitetura Transformer para otimizar o tempo e a eficiência nas atividades de pesquisa de profissionais de saúde. Para tando, objetiva-se compreender o que são as LLM através do Transformer e suas funcionalidades além de apresentar o dataset-Medtext utilizado para treinar o modelo. Portanto, esta produção trata-se de uma pesquisa experimental na qual será aplicado o conhecimento teórico sobre LLMs e Transformers para resolver a problemática e otimização do tempo de pesquisa.

Palavras-chave: Aplicações de processamento de linguagem natural, Ferramentas e recursos de linguagem natural, Resposta a perguntas, Processamento de linguagem falada

Referências

Chen, Z., Mao, H., Li, H., Jin, W., Wen, H., Wei, X., Wang, S., Yin, D., Fan, W., Liu, H., and Tang, J. (2023). Exploring the potential of large language models (llms) in learning on graphs.

Frantar, E., Ashkboos, S., Hoefler, T., and Alistarh, D. (2023). Gptq: Accurate post-training quantization for generative pre-trained transformers DOI: 10.48550/arXiv.2210.17323

Johnson, A. E. W., Stone, D. J., Celi, L. A., and Pollard, T. J. (2018). The mimic code repository: enabling reproducibility in critical care research. Journal of the American Medical Informatics Association, 25(1):32–39 DOI: 10.1093/jamia/ocx084

Li, X., Zhang, T., Dubois, Y., Taori, R., Gulrajani, I., Guestrin, C., Liang, P., and Hashimoto, T. B. (2023). Alpacaeval: An automatic evaluator of instruction-following models. [link] DOI: 10.48550/arXiv.2404.04475

Melamud, O. and Shivade, C. (2019). Towards automatic generation of shareable synthetic clinical notes using neural language models. In Proceedings of the 2nd Clinical Natural Language Processing Workshop at NAACL, pages 35–45 DOI: 10.48550/arXiv.1905.07002

Rafailov, R., Sharma, A., Mitchell, E., Ermon, S., Manning, C. D., and Finn, C. (2023). Direct preference optimization: Your language model is secretly a reward model DOI: 10.48550/arXiv.2305.18290

Russell-Rose T, C. J. (2017). Expert search strategies: The information retrieval practices of healthcare information professionals. JMIR Med Inform 2017;5(4):e33 DOI: 10.2196/medinform.7680

Touvron, H., Martin, L., and Al, E. (2023). Llama 2: Open foundation and fine-tuned chat models DOI: 10.48550/arXiv.2307.09288

Tunstall, L., Beeching, E., Lambert, N., Rajani, N., Rasul, K., Belkada, Y., Huang, S., von Werra, L., Fourrier, C., Habib, N., Sarrazin, N., Sanseviero, O., Rush, A. M., and Wolf, T. (2023). Zephyr: Direct distillation of lm alignment DOI: 10.48550/arXiv.2310.16944

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., and Polosukhin, I. (2023). Attention is all you need. DOI: 10.48550/arXiv.1706.03762

Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., Wu, Z., Zhuang, Y., Lin, Z., Li, Z., Li, D., Xing, E. P., Zhang, H., Gonzalez, J. E., and Stoica, I. (2023). Judging llm-as-a-judge with mt-bench and chatbot arena. DOI: 10.48550/arXiv.2306.05685