Caparica | Alunos da FCT NOVA vencem competição internacional da Amazon

Uma equipa do Departamento de Informática | NOVA LINCS, da Faculdade Ciências e Tecnologia da Universidade NOVA de Lisboa | FCT NOVA, cujo campus é no Monte da Caparica, alcançou o primeiro lugar no Alexa Prize TaskBot Challenge 2 da Amazon, ganhando um prémio de 500 mil dólares. Esta é a segunda edição da competição internacional que procura desenvolver soluções de Inteligência Artificial (IA) conversacional de última geração.

O Alexa Prize TaskBot Challenge 2 é uma competição universitária que pede aos estudantes de todo o mundo que resolvam um dos problemas mais difíceis da IA ​​conversacional: criar experiências de IA conversacional que respondam às necessidades dos utilizadores em constante mudança, enquanto concluem tarefas complexas. A expectativa é que o TaskBot, agente de conversação da Alexa, tenha uma comunicação eficaz e seja capaz de guiar o utilizador na execução de tarefas manuais, desde cozinhar a fazer origamis.

O TaskBot é o primeiro desafio de IA conversacional a incorporar experiências multimodais. Este ano, as equipas concorrentes foram desafiadas a encontrar soluções que incorporassem mais recursos visuais em cada conversa. A equipa portuguesa, com o nome de guerra “TWIZ”, orientada pelos professores João Magalhães e David Semedo e, liderada pelo aluno Rafael Ferreira, desenvolveu uma solução multimodal avançada e intuitiva: as técnicas de processamento de modelos de linguagem conseguem ensinar os utilizadores, através do diálogo, a realizarem tarefas manuais e a responder perguntas sobre o conteúdo de vídeos. Por exemplo, o agente pode ensinar um utilizador a completar uma tarefa manual complexa, tais como cozinhar, pintar, arranjar objectos, etc., e ainda dialogar em detalhe sobre as instruções com suporte de vídeo.

“Estou extremamente feliz com a criatividade da equipa, ao desenhar o TWIZ LLM”, declarou José Magalhães. “Conversas sobre conteúdos de vídeo elevam o CX (customer experience) a um nível totalmente novo e estou muito orgulhoso por ter ajudado a criar um diálogo em vídeo pioneiro no Prémio Alexa. Penso que ainda há muito para explorar neste campo”

“Os diálogos do utilizador no Alexa TaskBot são únicos e lançam uma nova luz sobre a execução de tarefas manuais”, comentou Rafael Ferreira, líder da equipa da FCT NOVA. “Aproveitámos estes diálogos e aprendemos que o uso da nossa solução permitiu orientar as conversas de uma forma mais contextual e perspicaz.”

Na final da competição, cinco equipas universitárias foram seleccionadas com base no feedback dos clientes e no mérito científico dos artigos técnicos produzidos, entre outros critérios, sendo que estes finalistas participaram na última fase de interacções ao vivo do TaskBot Challenge 2. Os clientes do Alexa interagiram com os taskbots das universidades com a frase “Alexa, vamos trabalhar juntos” (Alexa, let’s work together) nos dispositivos Amazon Echo ou Fire TV. As avaliações e o feedback dos clientes ajudaram as equipas universitárias a melhorarem os seus bots à medida que a competição ia decorrendo. 

A equipa da FCT NOVA vencedora é composta por: Rafael Ferreira, Diogo Tavares, Diogo Silva, Rodrigo Valério, Inês Simões, Vasco Ramos, e João Bordalo. No ano passado, a equipa da FCT NOVA participou na primeira edição do concurso da Amazon e ficou em segundo lugar.

Amazon, Caparica, Departamento de Informática, Faculdade de Ciências e Tecnologia, FCT-NOVA, Monte da Caparica, NOVA Lincs, Universidade Nova de Lisboa