Anais Estendidos do Simpósio de Realidade Virtual e Aumentada (SVR)
Gamification and virtual reality in occupational safety teaching
This study presents a serious game in virtual reality for occupational safety education in construction. Developed in Unreal Engine 5.5® with Meta Quest 2®, it allows free navigation, hazard identification through menus, and real-time feedback in realistic scenarios such as scaffolding, excavations, and sanitary facilities. Preliminary results confirm system functionality, immersive interaction, and potential to replicate inspection practices. Next steps include implementing scoring and assessing educational impact.
Development of a VR-enabled Serious Game to teach Astronomy and Computational Thinking to Middle School Students
This text elaborates on the Master’s work being developed by the primary author. Currently, Virtual Reality (VR) struggles to be implemented in Brazilian classrooms, and computational thinking and astronomy also struggle in spite of their academic importance. To combat this, a VR-enabled serious game will be developed for middle school students, tackling astronomical and computational thinking concepts. The game’s impact on students will be assessed with questionnaires. With this, we expect to develop both a tool that can help teachers and students regarding astronomical and computational science education, and a research protocol to better understand the impact VR-enabled serious games can have on education.
Adaptação automática de jogos sérios usando Realidade Virtual: impacto de personagens não jogáveis na experiência do usuário em fisioterapia
Este trabalho apresenta uma pesquisa sobre o uso de NPCs adaptativos em jogos sérios de Realidade Virtual voltados à fisioterapia. Para isso, foi desenvolvido um estudo preliminar utilizando o jogo ThrowThingsVR, que incorpora um NPC com funções básicas de orientação e encorajamento aos usuários. O estudo compreendeu sessões práticas com participantes e entrevistas com fisioterapeutas. Os resultados indicam que a presença do NPC contribuiu positivamente para a experiência dos usuários, embora sejam necessários ajustes para evitar possíveis interferências no desempenho. A avaliação dos especialistas destacou o potencial terapêutico do sistema e forneceu sugestões de aprimoramento. Esses dados servirão de base para o desenvolvimento da versão final do jogo e da pesquisa, que contemplarão um NPC adaptativo e serão avaliados com pacientes reais em contexto clínico.
INCLUDERE: A Mobile-VR Demo for Inclusive, Empathy-Oriented Storytelling
INCLUDERE is a six-minute, culturally grounded mobile-VR experience that invites visitors to inhabit—rather than merely observe—the spatial, sensory, and social frictions shaping disabled life in Brazil. The journey unfolds through six metaphor-driven vignettes (autism, dwarfism, visual, motor and hearing impairments, plus an intersectional finale), each pairing a tailored interaction mechanic with stylised volumetric live-action footage running in real time on Meta Quest headsets.
Daz Studio to VRM pipeline: a discussion on the use of realistic VRM 3D models in upper body motion tracking
In recent years, especially after the pandemic, virtual reality avatars and virtual counterparts have experienced a surge in popularity, due to their usefulness in settings where people don’t, or can’t, see each other frequently. However, there are still very few ways to actually create such avatars that offer realism and ways to customize that are low-cost and available to the general public. This paper explores the process of converting photorealistic models created in DAZ Studio to VRM and achieves an end result that can be used in virtual reality, the metaverse, and live motion tracking applications.
Immersive Virtual Environment as an Educational Resource: A Learning Tool for Data Structures and Algorithms
The abstract nature of data structures and algorithms (DSA) remains a challenge in computer science education. This study introduces an educational tool using virtual reality and metaverse technologies to support DSA teaching and learning. Following a Design Science Research approach, we developed two versions: a VR environment and a metaverse platform. Forty students evaluated didactic effectiveness and usability, while eight assessed usability and immersion. Results showed significant gains in conceptual understanding (p < 0.05), especially for stacks and queues. Usability scores were strong (80 and 75.3), but the Igroup Presence Questionnaire score of 2.92 revealed limited immersion, potentially affecting engagement. These findings suggest the tool effectively supports conceptual learning but requires refinements in interactivity to enhance immersion and practical problem-solving. Future work will expand content coverage and address immersion gaps to consolidate its contribution to virtual learning environments.
Uso de guias táteis como proxies hápticos em ambientes virtuais de simulação médica
A realidade virtual tem-se destacado como uma ferramenta poderosa no treinamento médico, oferecendo ambientes seguros e repetíveis para a prática de procedimentos complexos. Contudo, o alto custo e as limitações funcionais de dispositivos hápticos comerciais, que simulam o sentido do tato, dificultam sua ampla adoção em contextos educacionais. Este artigo apresenta um experimento de realidade virtual para o uso de objetos do dia a dia como guias táteis para prover retorno háptico em um ambiente virtual. O experimento associa diferentes objetos físicos a um único bisturi virtual, permitindo que o usuário experimente sensações táteis realistas de formato, peso e empunhadura de um objeto, sem a necessidade de hardware especializado. A abordagem busca ampliar a imersão e a eficácia no treino de habilidades psicomotoras, oferecendo uma alternativa acessível e escalável para a educação médica.
GeoConnect: An Immersive VR Game for Learning Brazilian Geography
GeoConnect is an educational VR game designed to support the development of cartographic skills through an immersive and interactive experience. Aligned with the competencies outlined in the BNCC, the game introduces progressively challenging puzzle stages focused on assembling the Brazilian map. Players interact with floating pieces using snapping mechanics, with multimodal feedback (visual, auditory, and haptic) reinforcing spatial learning. The objective of this work is to present the first version of GeoConnect and to evaluate its usability through a simplified structure that includes a 360° exploration mode for each completed region. The results indicate that the system successfully met its objective, delivering a functional prototype capable of supporting cartographic learning in an engaging way.
500 kV SF₆-Insulated Circuit Breaker Maintenance Simulator
The maintenance of 500 kV circuit breakers with SF6 insulation is a highly complex procedure for which conventional training methods present high risks and costs. This work presents the development of a VR simulator for technical training in this operation. The application guides the user through a modular workflow, covering disassembly, cleaning, component replacement, and reassembly of the equipment. The simulator offers a safe and interactive environment for training critical skills, eliminating the risks of traditional methods and becoming a strategic, high-impact tool for the qualification of professionals in the power sector.
VIDA Odonto: Simulador para o Treinamento de Procedimentos de Anestesia Odontológica
Este trabalho apresenta o VIDA Odonto, um simulador para o treinamento de procedimentos de anestesia odontológica, com foco na técnica de bloqueio do nervo alveolar inferior. O objetivo do simulador é suprir lacunas do ensino tradicional, proporcionando um ambiente controlado para aquisição de habilidades motoras e cognitivas a estudantes de Odontologia. O simulador apresenta animações guiadas e permite que o usuário interaja com objetos virtuais. O trabalho descreve duas versões do simulador — uma versão desenvolvida para dispositivos HMDs e outra para desktop. A disponibilidade das duas versões possibilita comparar os efeitos entre diferentes níveis de imersão.
Physical-virtual window: a social interaction resource for use in XR environments
In immersive environments such as the metaverse, user interaction with the virtual space has been shown to increase engagement and a sense of belonging to the experience. By integrating a window from the physical world into the digital environment, not only are the means of interaction amplified, but a dynamic connection between multiple realities is also created, allowing them to intersect through this resource. In this paper, we propose the creation of a window that transmits spatial audio and video from the physical environment to a space in the metaverse and vice-versa. We also analyze the initial user perception and the limitations imposed by current technology.
Project Bug: um VR-serious game para o processo de controle biológico de insetos
O controle biológico é a regulação natural de plantas e animais por seus inimigos naturais, que atuam em diferentes fases de vida das espécies. Nesse contexto, este trabalho apresenta o desenvolvimento do jogo Project Bug VR, um serious game de Realidade Virtual para o ensino da entomologia. Ele utiliza técnicas de interação para interfaces 3D para simular o processo de controle biológico de insetos entre afídeos e parasitoides. O projeto é inspirado no estilo Survivor Horror, e foi desenvolvido utilizando recursos da game engine Unity, do pacote XR Interaction Toolkit e do Meta Quest 2.
UPF Campus VR: uma experiência virtual, imersiva e interativa na Universidade de Passo Fundo
Universidades têm utilizado aplicações de realidade virtual como estratégia para divulgar infraestrutura e cursos, oferecendo experiências imersivas que enriquecem eventos abertos à comunidade e facilitam a orientação de visitantes e novos alunos. Nesse contexto, este trabalho apresenta o UPF Campus VR, uma solução que emprega técnicas de interação em interfaces 3D para proporcionar uma visita imersiva a dois espaços acadêmicos da Universidade de Passo Fundo. O ambiente virtual incorpora recursos que permitem aos usuários navegar pelas instalações modeladas e realizar tarefas de seleção e manipulação de objetos por meio de minigames. O projeto foi desenvolvido na game engine Unity 6, com suporte ao Meta Quest 3, utilizando os pacotes XR Interaction Toolkit 3 e XR Hands, e integrando conteúdos 3D criados ou otimizados na ferramenta Blender.
Improving Collaborative Learning and Performance in Industrial Training: An Approach to Multiplayer Virtual Reality Serious Games
Virtual Reality (VR) has become a key platform for serious games, especially in high-risk industries that require immersive and safe training. Although single-player simulations help with individual development, they are insufficient to develop team skills such as communication and coordination. This paper presents a multiplayer VR serious game that transforms individual training into a collaborative experience. The multiplayer approach improves both technical mastery and interpersonal skills, including cooperation and situational awareness. Research shows that this model increases engagement, satisfaction, and performance. By addressing challenges such as latency and social interaction, the study offers a more effective method for industrial training in virtual collaborative environments.
Bateria Expandida em Realidade Aumentada para Experiências Imersivas no Meta Quest 3
Este trabalho apresenta o desenvolvimento inicial de uma bateria virtual em realidade aumentada (RA) utilizando a engine Unity e o dispositivo Meta Quest 3. O projeto tem como objetivo ampliar o instrumento físico, o que na prática, significa permitir uma experiência imersiva de interação musical que mescle real e virtual. Atualmente, o projeto está em fase de protótipo, com implementação das funcionalidades básicas, como a detecção de alguns gestos e o posicionamento livre dos tambores. Espera-se que o sistema contribua para aplicações educacionais e de entretenimento em realidade aumentada, além de servir como base para outros projetos na mesma área.
Realidade Virtual: uma ferramenta moderna para visualizar conceitos abstratos da óptica quântica
A compreensão e visualização de conceitos abstratos de óptica quântica têm sido um grande desafio para a comunidade acadêmica. Este estudo tem como objetivo analisar as abordagens atuais para facilitar a visualização de conceitos abstratos dentro da óptica quântica e propor melhorias nas demonstrações por meio da realidade virtual. Seguindo a abordagem Design Science Research, foi realizada uma revisão exploratória das atuais formas de visualização da óptica quântica, formando uma comparação entre elas. O uso de ambiente imersivo como mediador visual de fenômenos quânticos trará uma compreensão mais didática e interativa aos estudantes.
Anderson Rafael Correia Buarque da Silva
Utilização de Realidade Virtual para Melhoria da Percepção Cromática em Daltônicos
Este artigo aborda a ineficácia das tecnologias assistivas para a discromatopsia no contexto da realidade virtual. Como solução, propõe-se uma aplicação imersiva em formato de “feira” para otimizar a percepção cromática de daltônicos. Após a revisão de trabalhos correlatos, um protótipo foi desenvolvido em Unity e C# para o óculos Meta Quest 3. A implementação, focada na deuteranopia, utiliza um sistema de tags para alterar as cores dinamicamente e foi validada por um usuário. Os resultados confirmaram a eficácia do filtro, elevando a taxa de acertos do usuário de 52,6% para 94,7%.
cultureAI: Democratizando o Acesso a Museus com Large Language Models e Visualizações Imersivas Baseadas em Gaussian Splatting
O Brasil enfrenta um cenário de exclusão cultural: 49% da população com nível fundamental nunca visitou um museu, 31% vive em cidades sem museus e 70% dos municípios carecem de equipamentos culturais. Apesar disso, 90% dos museus oferecem atividades educativas. O cultureAI surge como uma solução inclusiva para esse desafio, atuando como um curador virtual que leva o patrimônio cultural brasileiro (e latino americano) a comunidades historicamente marginalizadas. Combinando Retrieval-augmented generation (RAG) com visualizações 3D imersivas via Gaussian Splatting, o sistema permite explorar obras de arte com baixa latência, mesmo em smartphones simples.
Enhancing Neonatal Care: A Virtual Reality Simulator for Peripherally Inserted Central Catheter (PICC) Insertion Training
Virtual reality (VR) offers an immersive and interactive solution for health education, enhancing knowledge retention while allowing safe repetition of complex procedures. The PICC (Peripherally Inserted Central Catheter) is vital in neonatal care but requires specialized skill for insertion, with reported adverse events highlighting the need for improved training. PICCBabyRV is a VR simulator designed to train neonatal nurses in PICC insertion for premature infants, aiming to reduce errors, and contribute to the safety and effectiveness of neonatal care. The simulator covers all pre-procedural stages and procedural steps and goes beyond traditional training methods, offering a robust tool to enhance technical skills and confidence for real-world clinical practice.
Real-Time Volumetric Telepresence: A Point-Cloud Overlap System with Integrated Spatial Audio
The paper introduces a real-time volumetric telepresence system that creates a spatial overlap between a physical space and its virtual counterpart. Using an Orbbec scanner, the system captures RGB point clouds via C++ and the scanner’s SDK, transmitting data through TCP to a Node.js server. Clients visualize these point clouds using A-Frame and WebSocket connections, enabling immersive 3D interactions complemented by synchronized real-time audio. Our main contribution is a low-cost, web-based pipeline enabling precise physical–virtual overlap of live point clouds with integrated spatial audio for remote collaboration.
Designing Brand Experiences in the Metaverse: A Systematic Review of Effects on Real-World Purchase Intention
This systematic literature review synthesized eleven studies on brand experiences in the metaverse, analyzing their impact on perception of brand value, consumer loyalty, and purchase intention, both in virtual and physical environments. The research investigates how interaction and personalization of virtual experiences influence the relationships of consumers with brands and how these experiences translate into tangible behaviors in the real world. We explore the literature beyond traditional marketing and highlight future opportunities for exploration by technology designers and developers.
Turismo Imersivo em Fazendas de Cacau: Diretrizes para a Criação e Desenvolvimento de Conteúdos em 360º
O avanço das tecnologias imersivas transforma turismo e educação, valorizando práticas culturais e ambientais. Este estudo investiga realidade virtual em fazendas de cacau no sistema cabruca, desenvolvendo diretrizes para iniciantes na produção de vídeos 360°. Aplicou-se o método Design Science Research, com revisão da literatura e criação de artefato. As gravações ocorreram com a câmera 360° Insta360 ONE X2 em tripé, e a edição utilizou Insta360 Studio, Unity e Sidequest. A visualização foi feita no Meta Quest 2, garantindo conforto e imersão. Os resultados incluem diretrizes e vídeos demonstrando cabruca e processamento do cacau. O estudo evidencia o potencial educativo e turístico das visitas virtuais, promovendo valorização cultural e ambiental.
Criação Imersiva de Roteiros para Treinamentos de Tarefas Manuais
O uso de Realidade Virtual e Aumentada em treinamentos industriais tem crescido com os avanços tecnológicos, gerando aplicações voltadas ao aprendizado de tarefas manuais. No entanto, muitas dessas soluções são específicas e pouco acessíveis para usuários sem conhecimento técnico em computação. Este trabalho propõe uma ferramenta que permite a criação de roteiros de treinamento imersivos, com inserção de modelos 3D, animações e arquivos multimídia. Sua eficácia foi avaliada por meio de um estudo com usuários, focando na facilidade de uso e na interação oferecida pelo sistema.
Estratégias de design para aprimorar a experiência do visitante em tours virtuais de Museus Pernambucanos
Esta pesquisa investiga a experiência do usuário em tours virtuais de museus pernambucanos e propõe estratégias de design para sua melhoria. A partir de uma abordagem qualitativa e exploratória, foram mapeados os tours disponíveis, analisados métodos de avaliação de UX e conduzidos testes com usuários por meio de observação, questionário UEQ e entrevistas. Os resultados indicam desafios de usabilidade e acessibilidade, como desorientação e interatividade limitada, mas também apontam pontos fortes, como recursos multimídia e cenografia virtual. Com base nesses achados, o estudo propõe diretrizes para tornar os tours mais inclusivos, eficazes e engajadores.
TEKOHÁ: Um Ambiente Virtual para o Ensino da História das Missões Jesuíticas no Rio Grande do Sul
A Realidade Virtual (RV) apresenta grande potencial no apoio ao ensino, porém estudos longitudinais na educação de crianças ainda são escassos. Nesse trabalho, uma revisão sistemática sobre o uso de RV na educação de crianças foi realizada e um Ambiente Virtual (AV), chamado Tekohá, foi concebido para a utilização de crianças do Ensino Fundamental, apresentando a eles a história e o funcionamento da Missão Jesuítica Guarani de São Miguel das Missões (RS), Patrimônio Mundial da UNESCO e parte das necessidades curriculares. Um experimento controlado com 130 crianças indicou que o AV Tekohá é fácil e divertido de usar, motivando e engajando os alunos no aprendizado, além de proporcionar alta sensação de presença. Estatisticamente, o grupo que utilizou o Tekohá demonstrou melhor desempenho em uma prova de conhecimentos sobre a Missão Jesuítica.
Perceived emotion recognition from nonverbal communication cues in images and videos
Identificar emoções permite que sistemas inteligentes monitorem o comportamento de usuários, levando a uma compreensão mais profunda da pessoa. A percepção emocional é um processo que ocorre naturalmente em humanos por meio da comunicação de sinais não verbais, nos quais características emocionais são comunicadas implicitamente por meio de múltiplos canais. Nesta tese, propomos três técnicas que são respaldadas por evidências da literatura de psicologia de comportamento para o reconhecimento de emoções: (1) uma abordagem de reconhecimento de emoções baseada exclusivamente no contexto situacional, (2) um modelo de linguagem corporal que utiliza características de marcha para prever emoções a partir de estilos de caminhada em vídeos, e (3) um modelo que recebe múltiplos sinais extraídos de expressões faciais, contexto situacional e linguagem corporal para perceber emoções em imagens. Os resultados obtidos por nossos modelos se igualam ao estado da arte, mas com melhorias significativas relacionadas ao custo computacional.
A Influência da Posição e Resolução de Respostas de Impulso em Áudio Espacial para Realidade Virtual: Uma Experiência Paleontológica Imersiva
A Realidade Virtual (RV) frequentemente prioriza os estímulos visuais, mas o áudio, especialmente o áudio espacial realista, é crucial para a imersão e a experiência do usuário. Respostas de Impulso (RIs) são utilizadas para recriar as propriedades acústicas dos ambientes, mas os efeitos de sua implementação correta em RV ainda são pouco explorados. Este estudo investiga como o posicionamento geográfico e a quantidade de RIs reais afetam a experiência de usuário em uma aplicação paleontológica imersiva em RV. Um sítio fossilífero em Faxinal do Soturno, Brasil, e os fósseis encontrados nele foram reconstruídos para essa aplicação em RV. Duas condições foram testadas com a participação de 31 voluntários, sendo coletadas diversas métricas subjetivas e fisiológicas. Os resultados apontaram um aumento no realismo e na experiência de usuário com a nova técnica proposta, além de uma avaliação geral excelente da aplicação em RV. Através da análise das posições e movimentações do display durante os testes, pode-se comprovar que os usuários se mostraram menos dispersos na condição proposta, demonstrando efetivamente a inovação sugerida pelo trabalho. Além da implementação desta nova técnica sonora, o trabalho contribui para o campo da paleontologia com uma aplicação realista e imersiva em RV, de um importante sítio fossilífero brasileiro.
Prototipação de um Dispositivo de Tela de Névoa Plana
Este trabalho investiga o desenvolvimento de uma máquina de holografia baseada em tela de névoa, uma alternativa acessível aos hologramas tradicionais para visualizações tridimensionais imersivas. O protótipo atual conseguiu corrigir falhas como: vazamentos, má propagação e uniformidade de névoa. A pesquisa busca evidenciar as vantagens dessa tecnologia, democratizar seu acesso e expandir suas aplicações em ambientes interativos.
Educational Virtual Reality Games with a Decolonial Focus: An Ongoing Experience
This paper presents the ongoing development of “Guardião do Seridó”, a narrative-driven Virtual Reality game for History education. Inspired by foundation myths from northeastern Brazil and Otxukayana cosmologies, the game proposes a decolonial reimagining of historical narratives by placing the player in the role of an indigenous character defending their territory. The exploratory research, grounded in Design Science Research, includes the creation of a Game Design Document (GDD), an AI-assisted storyboard, and an initial VR prototype. Preliminary results suggest the potential of immersive games to amplify silenced voices and promote culturally responsive educational practices.
Eliciting Care for Virtual Objects: A Work-in-Progress on Pseudo-Haptic Fragility via Dynamic Visual Feedback and Direct Hand Interaction
This paper presents a work-in-progress on a virtual reality (VR) system designed to elicit a sense of “care” towards virtual objects without relying on traditional haptic hardware. Our method translates the user’s physical grip strength into a dynamic, multi-layered feedback system: a diegetic UI on a robotic hand visualizes the applied force, while a procedural shader generates real-time micro-fractures on the object’s surface. This approach aims to create a credible perception of fragility and measurably promote “careful” user behavior, exploring a novel, perception-based pathway for emotional and behavioral response in VR. The system uses Unity and the Meta SDK on Meta Quest 3, focusing on planning a user study to evaluate the impact of incremental sensory feedback. The outcomes of this project have the potential to provide designers with evidence-based techniques for creating more nuanced and emotionally compelling virtual experiences.
A Proposal for a Low-Cost Educational Digital Twin with Real-Time Web Interface
This paper presents a proposal for the development of a low-cost educational digital twin for the URA robot, featuring a real-time web interface. The initiative aims to democratize access to interactive technologies in STEM education, promoting practical learning through the integration of hardware, software, and digital simulation. The platform is expected to contribute to student engagement in investigative activities, promoting skills such as critical thinking and autonomy. This article describes the project’s motivations, architecture, and current results, which include a functional prototype of the robot, a web visualization platform, and a defined communication architecture using MQTT. Finally, it presents the next steps for integration and practical validation.
Designing and Evaluating a University Web-Based Metaverse: An A-Frame Implementation
The Metaverse consists of interconnected 3D shared environments that support a wide range of human activities through diverse technologies and services. In recent years, many enterprises have invested substantial time and resources in developing proprietary Metaverse platforms. However, most of these efforts have resulted in isolated, non-interoperable systems. As a work in progress, this study investigates the potential of a Web-based University Metaverse to be replicated by other institutions and to support future interconnection. The paper presents the implementation of a Web-based Metaverse developed with A-Frame, and also reports preliminary results from a usability evaluation. It also outlines future directions for improving interactivity, and immersion.
MoLang: Leveraging General-Purpose Language Models for Human Animation
Aplicações em realidade virtual (VR) e mídias interativas demandam cada vez mais métodos para gerar movimentos humanos que sejam ao mesmo tempo realistas e controláveis. Este artigo apresenta o MotionLLM, um framework, em desenvolvimento, para síntese de movimento a partir de texto que, aproveita o poder dos Large Language Models (LLMs). Nossa abordagem começa tokenizando movimentos 3D contínuos em uma sequência discreta, utilizando um Residual Vector Quantized Variational Autoencoder (RQ-VAE), adaptando a estratégia de tokenização do MoMask. Em seguida, reformulamos a geração de movimento como uma tarefa de modelagem de linguagem autoregressiva, na qual um LLM pré-treinado gera tokens de movimento condicionados ao texto. Nossa hipótese é que LLMs são especialmente adequados para produzir sequências de movimento longas e coerentes, oferecendo uma arquitetura escalável e possibilitando controle multilíngue e multimodal.
Immersive Ocean: Uma experiência em RV para educar estudantes sobre a biodiversidade marinha brasileira e a poluição
Este artigo apresenta o Immersive Ocean, experiência em Realidade Virtual para educar alunos do ensino fundamental sobre a biodiversidade da costa brasileira e os impactos da poluição. Desenvolvido no Unity para a Semana da Educação do IEEE, o projeto usa uma narrativa que transforma um ecossistema saudável em poluído, gerando impacto emocional. Testes iniciais com alunos motivaram ajustes no design, como a troca do teletransporte por locomoção livre. Questionários mostraram boa recepção e potencial de conscientização, indicando avanços futuros como maior interatividade e suporte multiplayer.
VRPG: Suporte imersivo de baixo custo para as campanhas de RPG de mesa
Jogos de interpretação de papéis de mesa (RPG) são atividades colaborativas que estimulam criatividade e imersão. A Realidade Virtual (RV) oferece potencial para aumentar a presença espacial em campanhas, mas soluções atuais dependem de hardware caro e foco em jogos remotos. Este trabalho apresenta o VRPG, um sistema de suporte imersivo de baixo custo que utiliza smartphones e Google Cardboard para integrar RV em campanhas presenciais. O mestre controla os avatares dos jogadores em um mapa 3D compartilhado, enquanto os jogadores visualizam o ambiente de forma imersiva. Desenvolvido em Unity com comunicação peer-to-peer em rede local, o sistema promove acessibilidade e sincronização em tempo real. Testes futuros avaliarão o impacto da RV na experiência e criatividade durante as campanhas.
Janela Meta Teatral: A conexão entre o real e virtual no cenário artístico
Este artigo explora a integração entre públicos reais e virtuais em apresentações teatrais por meio de um metaverso interativo. Inspirado no conceito V2R de Lin (2020), o sistema utiliza uma “janela virtual” que transmite imagens em tempo real do espaço físico para o ambiente virtual, e vice-versa. A primeira versão apresenta uma sala de espera onde os participantes personalizam avatares e interagem antes de um concerto literário-musical baseado em Viagem ao Centro da Terra, de Júlio Verne. Desenvolvido em Unity e Blender, com comunicação via servidor WebSocket em TypeScript, o projeto demonstra o potencial de experiências híbridas que conectam públicos físicos e digitais em eventos culturais.
MuseumVR: Um framework para imersão contextual no patrimônio cultural através de realidade virtual baseada em narrativas
Museus Virtuais (MVs) são ferramentas poderosas para difusão cultural, mas muitos ainda exibem artefatos 3D isolados, sem transmitir seu contexto histórico. Este artigo apresenta o MuseumVR, um framework que utiliza Realidade Virtual para transformar esses espaços em experiências narrativas interativas. Nele, artefatos funcionam como portais que transportam o usuário para cenários historicamente plausíveis guiados por narrativas. Usando a coleção do Museu Câmara Cascudo (MCC) como estudo de caso, o framework integra curadoria, design narrativo e tecnologia imersiva para promover aprendizado, empatia histórica e engajamento por meio da Imersão Contextual.
Avaliação da Usabilidade de Ecossistema de Metaverso Educacional
Este trabalho apresenta o desenvolvimento e a avaliação de usabilidade do Ecossistema de Metaverso Educacional (EME), o qual foi projetado para ser colaborativo e escalável, possibilitando a contribuição ativa de mundos virtuais pela comunidade. A avaliação, realizada com um especialista, obteve pontuações de 57,5 para a Plataforma Web (bom) e 37,5 para o Museu Virtual (ruim). Apesar das pontuações, a avaliação permitiu identificar pontos críticos e oportunidades claras de melhoria, reforçando o potencial pedagógico da proposta. Além disso, os resultados evidenciam que o desenvolvimento de mundos virtuais envolve desafios técnicos e de design não triviais, que demandam abordagens iterativas e multidisciplinares para garantir experiências imersivas eficazes no contexto educacional.
CAN you Feel it? An Immersive and Tangible Car Simulation Experience
We present a Work-in-Progress (WiP) Virtual Reality (VR) system that turns a real vehicle into an input controller for its own 3D twin. Using a commodity On-Board Diagnostics II (OBD-II) Bluetooth adapter attached to a BYD Dolphin Plus, we extract real-time steering wheel angle, longitudinal acceleration, and brake status and forward them to a Meta Quest 3 headset. In the current prototype, a PC acts as a bridge between the OBD-II link and the Head Mounted Display (HMD); the VR application, implemented in Unity, renders a full-scale digital model registered to the real car via spatial anchors, allowing users to physically touch the real vehicle while seeing and interacting with its virtual counterpart. We report feasibility results of Bluetooth protocol inspection for the BYD Dolphin Plus, low-latency telemetry forwarding, and anchor stability indoors. We outline the remaining steps to remove the PC bridge and connect the OBD-II adapter directly to the Quest 3, enabling standalone operation. Our findings indicate that real-vehicle telemetry can drive a collocated VR twin with low end-to-end latency, supporting the broader vision of using the physical car as a tangible interface in training and demonstration scenarios.
Towards Emotion-Aware Olfactory VR: Preliminary Results of a Multimodal Biofeedback Approach for Sense of Presence
This work-in-progress investigates the application of artificial intelligence (AI) and multimodal biofeedback for emotion recognition and objective validation of the sense of presence in virtual reality (VR). Using synchronized physiological signals, such as eye tracking, electrocardiogram (ECG), and galvanic skin response (GSR) from the VREED dataset, we trained models based on Russell’s affective model. Preliminary results indicate that eye-tracking metrics are particularly effective in emotion prediction and also show strong potential for objectively assessing the users’ subjective sense of presence. These models are being integrated into the SOFIA Framework as a foundation for adaptive and dynamic virtual environments. Although this stage of the project does not yet include olfactory experiments, the findings provide the basis for future integration of scent delivery to further enhance realism and user immersion. Future work will also explore real-time validation tests, integrate EEG data for deeper analysis, and expand the repertoire of olfactory stimuli.
A Multisensory AI-based Framework for Accessible Navigation of Visually Impaired Users in Virtual Environments: Preliminary Results
Virtual reality has the potential to deliver highly immersive experiences, but for individuals with visual impairments, these environments often remain inaccessible and exclusionary. This paper introduces an AI-driven framework that redefines how such users interact with 3D virtual worlds. The system employs Vision-Language Models (VLMs) for real-time semantic scene understanding, translating visual information into auditory cues and haptic feedback. This multisensory approach allows users to perceive spatial layouts, recognize objects, and navigate with greater autonomy. By bridging the gap between visual content and non-visual perception, the framework turns virtual reality into a more inclusive, equitable, and engaging medium.
Hybridizing Real and Virtual Worlds: A Workflow-Based Approach Using 3D Scanners and Printers
Extended Reality (XR) is an immersive technology that integrates physical and digital environments. XR applications are being increasingly adopted across various sectors, including education, healthcare, entertainment, and industry. These applications leverage diverse interaction modalities, including gestures, voice commands, haptic feedback, and motion-based interfaces, allowing users to manipulate virtual objects, navigate simulated environments, and interact with digital content. The choice of interaction depends directly on factors such as the level of immersion, available technological resources, and the physical conditions of the environment. To achieve a convincing sense of immersion, virtual objects and environments must exhibit visual and geometric properties consistent with the physical world. This work in progress investigates an integrated model that combines tools and techniques for digitizing real objects and manufacturing their virtual counterparts. The research assesses both the quality of the generated models and their suitability for use in immersive XR environments. The proposed workflow comprises two independent initial stages: (i) the virtualization of physical objects and (ii) the manufacturing of objects represented in the Metaverse.
A Gamified VR Puzzle Game for Interactive Geography Education
Cartographic literacy is central to spatial reasoning in Brazil’s early-elementary curriculum, yet rote instruction often limits engagement and understanding. GeoConnect addresses this deficit through a gamified VR puzzle in which students assemble the nation’s macroregions, states, and abbreviations in an immersive classroom. The system integrates progressive tasks, multimodal feedback, and immersive 360° virtual tours to deepen contextual learning, all aligned with BNCC competencies. Initial user feedback confirmed the application’s engaging educational character and informed key interface refinements, validating GeoConnect as a promising model for enhancing cartographic autonomy through immersive, hands-on interaction.
Handwritten Text Entry in Virtual Reality Using Gesture Recognition and Word Prediction
This work presents an approach for text entry in virtual reality (VR) environments, using handwritten letters drawn in the air as a form of natural interaction. The system was developed for the Meta Quest 2 device and is composed of different integrated modules: real-time capture of gestures performed by the user, character recognition using a convolutional neural network (CNN) trained with the EMNIST dataset, and the construction of words through a Trie structure, which enables efficient term search based on recognized letters. Furthermore, the final selection of words is performed based on their usage frequency, which allows prioritizing more probable terms within a common linguistic context. The method allows for complete word input in VR, with consistent performance in the identification of individual letters and automatic suggestion generation, demonstrating that it can provide a fluid, intuitive experience compatible with the immersive interaction proposal in three-dimensional environments.
Simulador para Treinamento de Primeiros Socorros em Realidade Virtual
Apresenta-se um simulador em Realidade Virtual (RV) para treinamento de primeiros socorros no ambiente escolar, em conformidade com a Lei Lucas. O protótipo, desenvolvido no Unity para o HMD Meta Quest 2, adota estrutura modular: apresentação/ambientação, tutorial guiado e cenários de emergência sorteados (p.ex., engasgo, crises convulsivas, queimaduras, fraturas e parada cardiorrespiratória). As interações utilizam objetos 3D de um kit de primeiros socorros, incluindo Desfibrilador Externo Automático (DEA) e bolsa-válvula-máscara (BVM), com feedback em tempo real e telemetria (tempo de resposta, sequência e acertos). A efetividade será avaliada por instrumentos padronizados, sendo esse o System Usability Scale (SUS), Simulator Sickness Questionnaire (SSQ) e o index of User Experience in immersive Virtual Reality (iUXVR), além de métricas de tarefa e questionário pós-experiência. O objetivo é ampliar o preparo e a autonomia dos usuários para respostas críticas na escola.
AR Portion: Dynamic solution for visualizing food portions in nutritional tables
This work proposes the concept of an Android application, based on augmented reality, to make the presentation of nutritional information tables on products interactive and accessible, given that label information is often displayed in reduced sizes, making it difficult to read and understand. The solution overcomes the limitations of physical labels by displaying interesting information based on the portion consumed. Developed with Unity 2022.3.20f1 and ARCore SDK, this application integrates image tracking and surface detection for an enhanced interactive experience.
Immersive Environment with Virtual Reality and Eyetracking in the Public Sector: Modernization of the TCE-GO Server onboarding and Training Process
The combination of virtual reality (VR) and biofeedback technologies, such as eye tracking, offers new possibilities for measuring user presence and attentional focus in immersive environments. In the context of institutional training, this synergy proves particularly promising. This study presents a proposed VR-based onboarding and training platform for new employees of the Court of Accounts of the State of Goiás (TCE-GO), with a focus on visual attention measurement. By employing 3D modeling, integration with eye tracking technology, and data analysis through AI models, the project aims not only to familiarize new employees with the court’s workflows but also to train technical skills and objectively assess their levels of engagement. The research is grounded in the Design Science Research (DSR) methodology, encompassing the design and development of the onboarding environment. Expected outcomes include increased efficiency and scalability in the training process, as well as a pioneering application of VR and biofeedback in employee training for Courts of Accounts.