A carregar...
Publicação
HANDLING CHANGE IN A PRODUCTION TASKBOT. EFFICIENTLY MANAGING THE GROWTH OF TWIZ, AN ALEXA ASSISTANT
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 9.45 MB | Adobe PDF |
Autores
Orientador(es)
Resumo(s)
A Conversational Agent aims to converse with users, with a focus on natural behaviour
and responses. They can be extremely complex as there are several parts which constitute
it, several courses of action and infinite possible inputs. As so, behaviour checking is
essential, especially if used in a production context, as wrong behaviour can have big
consequences. Nevertheless, developing a robust and correctly behaving Task Bot, should
not hinder research and must allow for continuous improvement of vanguard solutions.
Hence, manual testing of such a complex system is bound to encounter several limits,
either on the extension of the testing or on the time consumption of developers’ work.
As so, we propose the development of a tool to automatically test, with a much broader
test surface, these highly sophisticated systems. We introduce a solution, which leverages
past conversation replay and mimicking to generate synthetic conversations. This allows
for time-savings on quality assurance and better change handling.
A key part of a Conversational Agent is the retrieval component. This is responsible
for the correct retrieval of information, that is useful to the user. In task-guiding assistants,
the retrieval element should not narrow the user’s behaviour, by omitting tasks that
could be relevant. However, achieving perfect information matching to a user’s query is
arduous, since there could be a plethora of words the user could say in order to attempt
to accomplish an objective. To tackle this, we make use of a semantic retrieval algorithm
adapting it to this domain by generating a synthetic dataset.
Um Agente Conversacional visa ter conversas com utilizadores, focando-se no comportamento e nas respostas naturais. Estes podem ser, no entanto, extremamente complexos. São várias as partes que os constituem, os fluxos possíveis e os pedidos que o utilizador pode fazer. Assim, a verificação de comportamento é essencial, especialmente se usada em um contexto de produção, pois o comportamento errado pode ter grandes consequências. No entanto, o desenvolvimento de um Task Bot robusto e de comportamento correto não deve prejudicar a pesquisa e deve permitir a melhoria contínua das soluções. Portanto, testagem manual de um sistema tão complexo depara-se com vários limites, seja na extensão do teste ou no consumo de tempo do trabalho dos developers. Assim, propomos também o desenvolvimento de uma ferramenta para testes automáticos, com uma frente de teste muito mais ampla, para estes sistemas sofisticados. Apresentamos uma solução que aproveita a repetição e a simulação de conversas anteriores para gerar conversas sintéticas. Isso permite reduzir o tempo gasto na verificação de qualidade e permite melhor adaptação a mudanças. Uma parte fundamental de um agente conversacional é o retriever. Esta é a componente responsável pela obtenção de informação relevante. Nos assistentes que têm como objetivo a orientação de tarefas, o retriever não deve restringir o comportamento do utilizador, ao omitir tarefas que possam ser relevantes. No entanto, obter uma correspondência perfeita de informações com o pedido do utilizador é árduo, pois pode haver uma infinidade de formas que o utilizador pode formular o seu pedido pretendendo o mesmo objetivo. Para ultrupassar este problema, utilizamos um algoritmo de retrieval semântico, adaptando-o ao domínio em questão através da geração de um conjunto de dados sintético.
Um Agente Conversacional visa ter conversas com utilizadores, focando-se no comportamento e nas respostas naturais. Estes podem ser, no entanto, extremamente complexos. São várias as partes que os constituem, os fluxos possíveis e os pedidos que o utilizador pode fazer. Assim, a verificação de comportamento é essencial, especialmente se usada em um contexto de produção, pois o comportamento errado pode ter grandes consequências. No entanto, o desenvolvimento de um Task Bot robusto e de comportamento correto não deve prejudicar a pesquisa e deve permitir a melhoria contínua das soluções. Portanto, testagem manual de um sistema tão complexo depara-se com vários limites, seja na extensão do teste ou no consumo de tempo do trabalho dos developers. Assim, propomos também o desenvolvimento de uma ferramenta para testes automáticos, com uma frente de teste muito mais ampla, para estes sistemas sofisticados. Apresentamos uma solução que aproveita a repetição e a simulação de conversas anteriores para gerar conversas sintéticas. Isso permite reduzir o tempo gasto na verificação de qualidade e permite melhor adaptação a mudanças. Uma parte fundamental de um agente conversacional é o retriever. Esta é a componente responsável pela obtenção de informação relevante. Nos assistentes que têm como objetivo a orientação de tarefas, o retriever não deve restringir o comportamento do utilizador, ao omitir tarefas que possam ser relevantes. No entanto, obter uma correspondência perfeita de informações com o pedido do utilizador é árduo, pois pode haver uma infinidade de formas que o utilizador pode formular o seu pedido pretendendo o mesmo objetivo. Para ultrupassar este problema, utilizamos um algoritmo de retrieval semântico, adaptando-o ao domínio em questão através da geração de um conjunto de dados sintético.
Descrição
Palavras-chave
Conversational Agents Semantic Retrieval Continuous Development Information Retrieval Task Bots Synthetic Conversation Generation