Avaliação da Capacidade de LLMs para Especificar Workflows - Woyames, Paula; Pina, Débora; Kunstmann, Liliane; Mattoso, Marta; de Oliveira, Daniel (Anais do Brazilian e-Science Workshop (BreSci); 2025: Anais do XIX Brazilian e-Science WorkshopDO - 10.5753/bresci.2025.248218, 2025)
Este artigo avalia o uso de Modelos de Linguagem de Grande Escala (LLMs) na especificação de workflows a partir de descrições em linguagem natural. Foram comparados três LLMs (GPT-4o, DeepSeek V3 e Command-A), duas versões de prompts e quatro sistemas de workflow (Nextflow, Parsl, Dask e Airflow), aplicados a três níveis de complexidade de workflows. Os resultados indicam que prompts com exemplos produzem especificações sintaticamente mais corretas e semanticamente mais alinhadas com a especificação em linguagem natural, com destaque para o desempenho do GPT-4o e do Dask. Ainda assim, desafios persistem na geração de workflows complexos e que envolvem paralelismo.