Constructing An Auditory Notation in Software Engineering: Understanding UML Models With Voice And Sound

Abstract

Sound is crucial to how we interact with the world around us, providing feedback and contextualising information. However, when discussed in software, it is not given the same importance as vision. Neglecting this channel results in untapped possibilities that could enhance the user experience, and the exclusion of many visually impaired people from activities related to software engineering, since the visual notations and well-accepted tools in this field are not supportive of audio, such as UML. Several technologies have been developed and integrated into prototypes. Still, it became evident during our research that, among other factors, their usability is greatly impacted by unsuitable choices of sound and voice symbolism, as well as wrong interac- tion dialogues that can become too cumbersome to be used. Sound should be analysed in the context of software engineering, as it has the unexplored potential to significantly contribute to how we construct and interact with the software while allowing blind and visually impaired people to be part of these activities. For this purpose, we are interested in building a foundational framework to substanti- ate decisions when designing an auditory notation, and a tool that performs diagrammatic readings in UML, intended to validate these proposals. Supported by the semiotics of the audible field and music symbology, combined with the insights provided by Moody’s Physics of Notations, the findings of other research and developed tools concerning these topics, along with experimental studies that we carried out and are presented in this document. We believe that this work can be instrumental in creating a structured and intuitive auditory notation for software engineering, complemented by a tool built in the right direction for accessibility. Furthermore, it is an approach that aims to join both the visual and hearing senses in a manner that benefits a large and diverse population of experienced software engineers and novices alike, heightening the visual notation in the process.

O som é crucial para a forma como interagimos com o mundo ao nosso redor, fornecendo feedback e contextualizando informação. No entanto, quando este é discutido em software, não lhe é dada a mesma importância que à visão. Negligenciar este canal resulta em possibilidades inexploradas que poderiam melhorar a experiência do utilizador, e na exclusão de pessoas com deficiências visuais de actividades relacionadas com engenharia de software, uma vez que as notações visuais e as ferramentas bem aceites neste domínio não suportam áudio, como é o caso do UML. Diversas tecnologias foram desenvolvidas e integradas em protótipos, mas durante a nossa pesquisa tornou-se evidente que, para além de outros factores, a sua usabilidade é bastante impactada por escolhas inadequadas de simbolismo relativamente ao som e voz, bem como diálogos de interação errados que se podem tornar demasiado incómodos para serem utilizados. O som deve ser analisado no contexto de engenharia de software, pois tem o potencial de contribuir para a forma como construímos e interagimos com software, permitindo ainda que pessoas com deficiências visuais façam parte destas atividades. Para esta finalidade, queremos construir uma framework para fundamentar decisões na construção de uma notação auditiva, em conjunto com uma ferramenta que efectua leituras diagramáticas em UML, destinada à validação destas propostas. Tendo por base a compreensão das semióticas do domínio audível e simbologia musical, combinado com os conhecimentos fornecidos pelo Physics of Notations de Moody, as descobertas de outros tra- balhos e ferramentas desenvolvidas neste âmbito, juntamente com estudos experimentais que realizámos, apresentados neste documento. Acreditamos que este trabalho possa ser fundamental na criação de uma notação auditiva estruturada e intuitiva para engenharia de software, complementada por uma ferramenta construída na direção certa para a acessibilidade. Além disso, é uma aborda- gem que visa a união dos sentidos de visão e audição, de forma a beneficiar uma ampla e diversa população de engenheiros de software experientes e novatos, elevando a notação visual no processo.