Methodology to build labeled corpora and classification models to assess technological readiness: a case study with defense technologies described by texts in pt-br

• José Voltan Instituto Militar de Engenharia http://orcid.org/0000-0003-3018-6822
• Romullo Girardi Instituto Militar de Engenharia https://orcid.org/0000-0002-6657-2832
• Thassia Santos Universidade Presbiteriana Mackenzie
• Daniel Abreu Exército Brasileiro
• Júlio Farias Instituto Tecnológico de Aeronáutica https://orcid.org/0000-0003-1015-6036
• Diogo Araujo Instituto Militar de Engenharia https://orcid.org/0009-0008-5075-4325
• Víctor Cruz Universidade de Brasília https://orcid.org/0009-0000-6010-3640
• Ronaldo Goldschmidt Instituto Militar de Engenharia https://orcid.org/0000-0003-1688-0586

DOI: https://doi.org/10.5753/sbbd.2024.240545

Resumo

The Technology Readiness Levels (TRL) scale is a tool for assessing the maturity of technologies. It has been increasingly used by governments and industries to implement tasks such as technological trends detection. The complexity of the assessment process has demanded automated solutions based on classification models that analyze documents to infer the TRL of the technologies described by the texts. However, the lack of corpora with labeled documents has hindered the development of such solutions. To fill this gap, this study proposes a methodology for building corpora labeled w.r.t. the TRL scale. It was applied to a case study and generated a corpus with 168 documents. This corpus was used to develop 30 classification models that hit 51.72% average F1-score.

Palavras-chave: TRL, TRA, Corpus

Referências

ABNT (2015). NBR ISO 16290:2015: Sistemas espaciais — Definição dos níveis de maturidade da tecnologia (TRL) e de seus critérios de avaliação.

Brasil (2020). Portaria MCTIC nº 1.892, de 27 de abril de 2020. Diário Oficial da União.

Britt, B. L., Berry, M. W., Browne, M., Merrell, M. A., and Kolpack, J. (2008). Document classification techniques for automated technology readiness level analysis. Journal of the American Society for Information Science and Technology, 59(4):675–680.

Bueno, C. (2022). Ciência para a guerra e para a paz: uso militar ajudou a ciência a avançar, mas o papel da ciência na busca pela paz é fundamental. Ciência e Cultura, 74.

EB Revistas (2023). Sobre a revista—revista militar de ciência e tecnologia. [link]. 12 jul. de 2023.

Girardi, R., França, A., and Galdino, J. (2022). A customização de processos de avaliação de prontidão tecnológica baseados na escala TRL: desenvolvimento de uma metodologia para o Exército Brasileiro. Coleção Meira Mattos, 16:491–527.

Hardiyati, R., Silalahi, M., Amelia, M., Nadhiroh, I. M., Rahmaida, R., and Handayani, T. (2018). A conceptual model for classification of biomedicine research. IOP Conference Series: Earth and Environmental Science, 197(1):012006.

Jurafsky, D. and Martin, J. H. (2022). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition. no prelo, USA, 3st edition.

Lezama-Nicolás, R., Rodriguez, M., Rio-Belver, R., and Bildosola, I. (2018). A bibliometric method for assessing technological maturity: the case of additive manufacturing. Scientometrics, 117.

Mankins, J. C. (1995). Technology readiness level – a white paper. Technical report, NASA, Washington, D.C.

Mankins, J. C. (2009). Technology readiness assessments: A retrospective. Acta Astronautica, 65(9):1216–1223.

Querino, L. d. F. (2022). Movimentos societários da indústria de defesa brasileira, pages 136–168. Editora FGV.

SIGE (2023). SIGE - simpósio de aplicações operacionais em Áreas de defesa. [link]. 12 dez. de 2023.

Silalahi, M., Hardiyati, R., Nadhiroh, I. M., Handayani, T., Amelia, M., and Rahmaida, R. (2018). A text classification on the downstreaming potential of biomedicine publications in indonesia. In 2018 ICOIACT, pages 515–519.

Voltan, J. L. N., Girardi, R., Galdino, J. F., and Goldschmidt, R. R. (2024). Uma revisão e classificação das técnicas de avaliação de prontidão tecnológica baseadas na escala TRL. Coleção Meira Mattos: Revista das Ciências Militares, 18(61):49–76.