Usability Evaluation of OFLAT Platform

Abstract

In Formal Languages and Automata Theory (FLAT), interactive tools are critical because mathematical concepts have an algorithmic exposition that significantly benefits from presentations. Learning concepts and techniques crucially requires the understanding and visualization of algorithms. Given these concerns, the OFLAT application was developed. To be valid, it is necessary to offer a rich set of features that is intuitive and easy to use, supporting the students’ learning process. This research aims to understand and summarize the existing similar tools and how this type of assessment was made to those tools, compare the OFLAT platform with similar existing ones, and apply similar and other methods to make the assessment and present improvement suggestions for this application. Firstly, a systematic mapping study is made to gather information about similar existing tools and their assessments. Then, the evaluation of OFLAT is made through empirical studies (a controlled experiment and surveys to users) to systematically evaluate the platform, using techniques and methodologies of Software Engineering, in terms of its usability and, in general, its quality. The assessment results in a qualitative and quantitative evaluation with the participation of students enrolled in the Theory of Computation (TC) course. These results show that OFLAT promotes the level of correctness of actions (is more effective), promotes good usability, and does not require much effort. As a result of this study, guidelines for improving OFLAT user’s experience were obtained. It was concluded that the current version of OFLAT being evaluated is less error-prone and provides a better user experience than the previous version. With two iterations, we observe that OFLAT is converging to a better usable tool than the previous version in comparison to the competing solutions.

Na área de Linguagens Formais e Teoria dos Autómatos (FLAT, em inglês), é particularmente importante o uso das ferramentas interativas, porque os conceitos matemáticos têm uma exposição algorítmica que beneficia muito com as apresentações executáveis. A aprendizagem dos conceitos e técnicas requerem crucialmente a compreensão e visualização dos algoritmos. Dadas estas preocupações, foi desenvolvida a aplicação OFLAT. Para ser útil, é necessário não só que ofereça um conjunto rico de funcionalidades mas também que seja intuitivo e fácil de usar e acompanhe o processo de aprendizagem dos alunos em FLAT. Este estudo tem como objetivo permitir entender e resumir as funcionalidades das ferramentas semelhantes, comparar a plataforma OFLAT com outras similares, aplicar métodos semelhantes (e/ou outros) para fazer a avaliação e apresentar sugestões de melhorias para esta ferramenta. Primeiramente, foi feito um estudo e mapeamento sistemático para reunir informações sobre ferramentas semelhantes existentes e os seus métodos de avaliação. Em seguida, a avaliação ao OFLAT é feita através de estudos empíricos (experiência controlada e inquéritos aos utilizadores) para avaliar sistematicamente a plataforma, utilizando técnicas e metodologias de Engenharia de Software, ao nível da sua usabilidade e, em geral, da sua qualidade. O estudo resulta numa avaliação qualitativa e quantitativa, com a participação dos estudantes inscritos na unidade curricular Teoria da Computação (TC). Esses resultados mostram que o OFLAT promove o nível de correção das ações (é mais eficaz), promove uma boa usabilidade e não requer muito esforço. Como resultado deste estudo, foram obtidas orientações para melhorar a experiência do utilizador do OFLAT. Concluiu-se que a versão atual do OFLAT em avaliação é menos propensa a erros e proporciona uma melhor experiência de utilização do que a versão anterior. Com duas iterações, observamos que o OFLAT está a convergir para uma ferramenta melhor utilizável do que a versão anterior em comparação com as soluções concorrentes.