A carregar...
Publicação
Human-Computer Interaction and Biosignals: Evaluating Human Learning Processes
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 10.71 MB | Adobe PDF |
Autores
Orientador(es)
Resumo(s)
In recent years, the widespread adoption of e-learning has led to a surge in solutions for
delivering and accessing educational content online. However, the challenge of monitoring
learners’ cognitive states in real-time becomes pronounced in distance-learning scenarios
where tutors are absent. Suboptimal cognitive states can impede the learning process,
prompting the need for innovative approaches to incorporate cognitive monitoring in
e-learning environments.
In this sense, this work developed 3 different studies: 1) attention classification using
biosignals and machine learning; 2) cognitive fatigue detection using functional near-
infrared spectroscopy (fNIRS); 3) complex learning states (Neutral, Interest/Flow, Surprise,
Boredom, Distraction, Confusion, Eureka, and Frustration) classification using both a
myriad of biosignals and Human-Computer Interaction (HCI) metrics. In each of those,
different cognitive tasks to monitor the distinct states were applied: 1) N-Back, Mental
Subtraction, and a programming language lesson to detect attention; 2) Corsi-Block task,
a concentration task, and a lesson about the electrocardiogram (ECG) that helped to elicit
cognitive fatigue; 3) a modified version of the ECG lesson combined with a self-reporting
stage to classify the complex learning states reported by the participants. In the three
studies, six different biosignals were monitored - fNIRS, electroencephalogram (EEG),
respiratory inductance plethysmography (RIP), ECG, electrodermal activity (EDA), and
an accelerometer - as well as HCI metrics, namely, mouse-tracking.
Attention and cognitive fatigue detection using machine learning was possible with
some restrictions. Personalized user-tuned classifiers were required to properly detect
those cognitive states due to individual differences between participants. Furthermore,
different biosignals and combinations were revealed to be suited differently for each
participant. Analogously, the classification of the complex learning states detection in
the third study was studied under various conditions, where the user-tuned classification
of the gathered similar states was revealed to be the best approach. In this case, the
mouse-tracking features were undoubtedly the best-performing features, reaching an
F1-Score of 0.87 in this task.This work and the presented results demonstrate that cognitive and learning monitoring is possible with minimal intrusion in e-learning contexts, allowing the development
of solutions that integrate them and adjust to users in real-time.
Nos últimos anos, a ampla adoção do ensino eletrónico (e-learning) tem gerado um au- mento do número de soluções para a divulgação e acesso de conteúdo educacional online. No entanto, o desafio de monitorizar em tempo real os estados cognitivos dos alunos torna-se evidente em cenários de ensino à distância, onde os tutores estão ausentes. Esta- dos cognitivos subótimos podem prejudicar o processo de aprendizagem, evidenciando a necessidade de abordagens inovadoras para incorporar monitorização cognitiva em ambientes de e-learning. Desta forma, neste trabalho desenvolvemos três estudos distintos: 1) classificação de atenção utilizando biossinais e aprendizagem automática; 2) deteção de fadiga cognitiva usando espectroscopia funcional de infravermelho próximo (fNIRS); 3) classificação de estados complexos de aprendizagem (Neutro, Interesse, Surpresa, Aborrecimento, Distra- cão, Confusão, Eureca e Frustração) utilizando uma variedade de biossinais e métricas de Interação Humano-Computador (HCI). Em cada um deles, aplicámos diferentes tarefas cognitivas para monitorizar os estados distintos: 1) Tarefa N-Back, Subtração Mental e uma lição sobre uma linguagem de programação para detetar atenção; 2) tarefa Corsi-Block, uma tarefa de concentração e uma lição sobre o sinal de eletrocardiograma (ECG) que ajudou a elicitar fadiga cognitiva; 3) uma versão modificada da lição de ECG combinada com uma etapa de auto-análise para classificar os estados complexos de aprendizagem relatados pelos participantes. Nos três estudos, monitorizámos seis biossinais diferen- tes - fNIRS, eletroencefalograma (EEG), pletismografia de impedância respiratória (RIP), ECG, atividade eletrodérmica (EDA) e um acelerometria - além de métricas de HCI, nomeadamente, movimentos do rato. A deteção de atenção e fadiga cognitiva utilizando aprendizagem automática foi pos- sível com algumas restrições. Verificámos que classificadores personalizados ajustados ao utilizador eram necessários para detetar adequadamente esses estados cognitivos de- vido às diferenças individuais entre os participantes. Além disso, diferentes biossinais e combinações mostraram ser mais adequados de maneiras distintas para cada participante. Analogamente, estudámos a classificação de estados complexos de aprendizagem no ter- ceiro estudo sob várias condições, onde a classificação ajustada ao utilizador da agregação de estados semelhantes mostrou ser a melhor abordagem. Nesse caso, as características do movimento do rato foram indiscutivelmente as mais eficazes, alcançando um F1-Score de 0.87 nessa tarefa. Este trabalho e os resultados apresentados demonstram que a monitorização cognitiva e de aprendizagem é possível com um mínimo de intrusão em contextos de e-learning, permitindo o desenvolvimento de soluções que os integrem e se ajustem aos utilizadores em tempo real.
Nos últimos anos, a ampla adoção do ensino eletrónico (e-learning) tem gerado um au- mento do número de soluções para a divulgação e acesso de conteúdo educacional online. No entanto, o desafio de monitorizar em tempo real os estados cognitivos dos alunos torna-se evidente em cenários de ensino à distância, onde os tutores estão ausentes. Esta- dos cognitivos subótimos podem prejudicar o processo de aprendizagem, evidenciando a necessidade de abordagens inovadoras para incorporar monitorização cognitiva em ambientes de e-learning. Desta forma, neste trabalho desenvolvemos três estudos distintos: 1) classificação de atenção utilizando biossinais e aprendizagem automática; 2) deteção de fadiga cognitiva usando espectroscopia funcional de infravermelho próximo (fNIRS); 3) classificação de estados complexos de aprendizagem (Neutro, Interesse, Surpresa, Aborrecimento, Distra- cão, Confusão, Eureca e Frustração) utilizando uma variedade de biossinais e métricas de Interação Humano-Computador (HCI). Em cada um deles, aplicámos diferentes tarefas cognitivas para monitorizar os estados distintos: 1) Tarefa N-Back, Subtração Mental e uma lição sobre uma linguagem de programação para detetar atenção; 2) tarefa Corsi-Block, uma tarefa de concentração e uma lição sobre o sinal de eletrocardiograma (ECG) que ajudou a elicitar fadiga cognitiva; 3) uma versão modificada da lição de ECG combinada com uma etapa de auto-análise para classificar os estados complexos de aprendizagem relatados pelos participantes. Nos três estudos, monitorizámos seis biossinais diferen- tes - fNIRS, eletroencefalograma (EEG), pletismografia de impedância respiratória (RIP), ECG, atividade eletrodérmica (EDA) e um acelerometria - além de métricas de HCI, nomeadamente, movimentos do rato. A deteção de atenção e fadiga cognitiva utilizando aprendizagem automática foi pos- sível com algumas restrições. Verificámos que classificadores personalizados ajustados ao utilizador eram necessários para detetar adequadamente esses estados cognitivos de- vido às diferenças individuais entre os participantes. Além disso, diferentes biossinais e combinações mostraram ser mais adequados de maneiras distintas para cada participante. Analogamente, estudámos a classificação de estados complexos de aprendizagem no ter- ceiro estudo sob várias condições, onde a classificação ajustada ao utilizador da agregação de estados semelhantes mostrou ser a melhor abordagem. Nesse caso, as características do movimento do rato foram indiscutivelmente as mais eficazes, alcançando um F1-Score de 0.87 nessa tarefa. Este trabalho e os resultados apresentados demonstram que a monitorização cognitiva e de aprendizagem é possível com um mínimo de intrusão em contextos de e-learning, permitindo o desenvolvimento de soluções que os integrem e se ajustem aos utilizadores em tempo real.
Descrição
Palavras-chave
Biosignals Human-Computer Interaction Learning Cognitive Monitoring Machine Learning