Multimodal Interaction Techniques for Chatbots

Abstract

Chatbots have become popular and are being used in the most diverse areas. The most common use for chatbot are the ones integrated in our smartphones, like Google Assistant and Siri. This kind of technology evolved significantly in the past few years and now the users have the feeling to be talking to another human being. In a near future, most of the interaction between large organisations and their users will be mediated by AI agents. A market that benefited a lot from this arising technology are the e-commerce websites. Sometimes, it can be a struggle to find a product in a web site due to bad interface designs. When integrated in these websites, the clients have immediate access to a seller that is able to help them find the product they want or clarify some doubts that they might have. Despite the great evolution in the responsiveness of these systems, when talking about the User Interface (UI) of the systems, there are no major changes. Normally, chatbots are represented using the common chat box in the bottom right corner of the screen. In the scope of iFetch project, that the main focus is revolutionise the chatbot assistance in online sales, it is proposed for this dissertation the development of a user interface for a chatbot with multimodal interaction, making the user experience more interactive and engaging. This interface is a representation of a virtual room where the user can see the products that he/she wants to buy. The is also a component of image processing to be able to use the 2D images for the generation of their 3D representation.

Atualmente, a utilização de chatbots alargou-se para as mais diversas áreas. O exemplo mais comum são os chatbots integrados nos smartphones como o Google assistant ou a Siri. Esta tecnologia tem evoluído significativamente nos últimos anos, dando a sensação ao utilizador que está a falar com outro ser humano. Num futuro próximo, a maioria das interações entre os clientes e as empresas será feito através de agentes AI. Uma área que tem beneficiado muito com a introdução desta tecnologia, são os websites de vendas online. Por vezes, poderá ser complicado um utilizador encontrar o produto que pretende no site da loja, devido ao mau design da interface. Assim, os chatbot permitem que os seus clientes tenham acesso rápido a um vendedor a qualquer momento, que os ajudará a encontrar o artigo pretendido e tirar possíveis dúvidas que tenham. Apesar de ser notória uma grande evolução na capacidade de resposta destes sistema, no que toca a interface digital dos chatbots, não se tem notado grande inovação. A maioria dos chatbots que encontramos hoje em dia, são a típica caixa de texto que se encontra no canto inferior do ecrã. Assim, dentro do contexto do projecto iFetch, que pretende desenvolver um chatbot para a assistência no mundo das vendas online, surge este trabalho cujo objetivo passa por desenvolver uma interface inovadora multimodal que permita tornar a experiência dos utilizadores do website mais interativa. Esta interface consistirá numa loja virtual onde o utilizador poderá visualizar os produtos que pretende comprar. Existe também uma componente de processamento de imagem para que seja possível a visualização das imagens 2D em manequins 3D.