Comunique-se: iluminando o cérebro e rastreando o olhar

Na primeira coluna Comunique-se da Rede CpE, pesquisadores contextualizam três novas perspectivas de estudos em neurociência e educação que estão usando tecnologias como o rastreamento ocular (eye-tracking).

Amanda Yumi Ambriola Oku¹
Candida Barreto¹ ²
Raimundo da Silva Soares Jr¹
João Ricardo Sato ¹

¹Centro de Matemática, Computação e Cognição (CMCC), Universidade Federal do ABC (UFABC)
² South Africa National Research Foundation Research Chair at the University of Johannesburg, Faculty of Education

Acesse a versão PDF deste artigo.

Resumo

As tecnologias usadas na neurociência

Pesquisas na educação têm a neurociência como forte aliada em novas descobertas. Neste texto, você verá como utilizamos tecnologias de rastreamento ocular (eye-tracking) e técnicas ópticas de imagens cerebrais (espectroscopia funcional de infravermelho próximo, conhecido pela sigla fNIRS) para explorar temas como resolução de problemas matemáticos e a interação entre o professor e o aluno. 

Com equipamentos especiais, o que é possível detectar nos alunos?

Este texto apresenta como desenvolvemos pesquisas por meio de tecnologias inovadoras (fNIRS e rastreamento ocular) para observar o desempenho de alunos na resolução de problemas e para investigar a interação entre aluno-professor por meio de rastreamento dos olhos e sinais cerebrais.

Realizamos três experimentos com grupos e situações distintas, todas devidamente aprovadas pelo comitê de ética da Universidade Federal do ABC:

1. A) Uso do rastreamento ocular na resolução de problemas matemáticos para observar a direção dos olhos durante a resolução de exercícios, com crianças de dez anos, utilizando um computador (DA SILVA SOARES JR. et al., 2021);
2. B) Uso de um aparelho chamado Espectroscopia Funcional de Infravermelho Próximo (fNIRS) para prever o desempenho de alunos de 18 a 30 anos em testes realizados em uma videoaula (OKU et al., 2021);
3. C) Um terceiro estudo para identificar como sinais cerebrais de professores podem ser utilizados como indicativos de sinais cerebrais de alunos em idade pré-escolar, quando ambos os grupos estão engajados em uma atividade de interação social (BARRETO et al., 2021).

Nos três estudos, nosso objetivo era obter resultados a partir dos dados, respondendo às seguintes perguntas:

1) No estudo A – O rastreio ocular de alunos de dez anos resolvendo problemas de matemática é relevante na visão de professores?

2) No estudo B – É possível prever o esforço e desempenho de estudantes durante videoaulas a partir das imagens cerebrais?

3) No estudo C – A partir da coleta simultânea dos sinais cerebrais do professor e do aluno, é possível identificar se os sinais dos professores podem ser utilizados como indicativos dos sinais de seus alunos quando ambos estão engajados em uma atividade de interação social?

Como desenvolvemos nossa pesquisa

No estudo A, utilizamos o dispositivo de rastreamento ocular, que detecta a pupila dos olhos e calcula a direção do olhar ao longo de uma tarefa (SALEMA et al., 2019). Foram apresentadas questões de matemática num monitor para crianças de dez anos enquanto o movimento dos olhos era registrado. O equipamento de rastreamento (ou eye-tracking, em inglês) era composto por uma câmera posicionada abaixo da tela de um computador – no qual a criança respondia às questões apresentadas –, com emissão de luz infravermelha que refletia nos olhos para detectar com precisão a movimentação ocular. Realizamos o experimento em uma escola, onde os alunos eram chamados individualmente para realizarem testes de matemática. Em seguida, apresentamos os dados de rastreamento ocular sem qualquer tipo de identificação, para que profissionais de educação estimassem o desempenho das crianças. Essa experiência permitiu entender melhor a relevância e usabilidade desse tipo de tecnologia na visão dos profissionais com experiência em sala de aula.

Outra forma de tentar prever o desempenho de alunos durante uma tarefa é com o aparelho de fNIRS, que utilizamos nos estudos B (OKU et al., 2021) e C (BARRETO et al., 2021). O método é considerado confortável, seguro e portátil, pelo qual se coletam dados através de uma touca especial com emissores e detectores de luz. Essa luz é denominada no espectro “infravermelho próximo” por se situar entre a luz vermelha que enxergamos e a luz infravermelha, que não enxergamos (como a luz do controle remoto de uma televisão). Essa luz é transmitida para dentro do crânio e nos permite observar as regiões cerebrais ativadas durante a realização de tarefas a partir da atividade hemodinâmica (SCHERER et al., 2009).

No estudo B, foram observados 18 estudantes universitários da região metropolitana de São Paulo com idades entre 18 e 30 anos enquanto eles assistiam a uma videoaula de introdução à astronomia, com questões que apareciam no vídeo durante a aula. Os dados da região do córtex pré-frontal foram registrados com fNIRS e analisados com algoritmos de aprendizagem de máquinas (IZBICKI, 2021). Esses algoritmos consistiram em ensinar o computador a prever resultados dos alunos a partir de exemplos dados, analisando apenas os sinais cerebrais captados nos momentos em que o conteúdo de cada questão era apresentado em aula. Dessa forma, foi possível acompanhar a interação do aluno com o conteúdo de uma aula exposta. Aqui vai um exemplo de como funcionou na prática: o conteúdo da questão de número 1 era apresentado entre os segundos 30 e 40 do vídeo. O que fizemos? Analisamos a atenção do aluno exatamente naquele momento, e os modelos matemáticos buscavam prever se o aluno acertaria ou não e quais áreas do cérebro estariam mais envolvidas no processo.

A interação entre indivíduos também é possível de ser estudada com fNIRS, foco de nosso estudo C (BARRETO et al., 2021), no qual realizamos coleta de sinais cerebrais de dois indivíduos simultaneamente – uma técnica chamada hyperscanning. Alguns estudiosos defendem a hipótese de que educadores que conhecem bem os seus alunos são capazes de orientar melhor o educando, o que potencializa os processos de ensino e aprendizagem (OLIVEIRA, 2016). Do ponto de vista comportamental, é evidente que essa relação entre ambos é um objeto de estudo instigante e isso nos levou a questionar os correlatos neurais envolvidos no processo de interação. Baseados em estudos inovadores sobre aprendizado de máquinas e sincronização cerebral de indivíduos em interação social, buscamos utilizar ferramentas para a investigação da hipótese de predição do professor sobre o estado do aluno. Em outras palavras, avaliamos se os sinais cerebrais de professores poderiam ser utilizados para prever os sinais cerebrais de alunos quando ambos estavam engajados em uma atividade de interação social.

Quais resultados obtivemos nos últimos anos

Os estudos realizados mostram perspectivas de como tecnologias de coleta de dados podem auxiliar na extração de informações importantes a respeito do aluno de forma acessível e por meio da simulação de uma atividade do dia a dia, como assistir a uma aula.

No estudo A, (DA SILVA SOARES JR. et al., 2021), mostramos que o rastreamento ocular seria uma boa ferramenta de auxílio nas escolas para que professores pudessem conhecer melhor a forma como seus alunos pensam durante a resolução de problemas. Os vídeos de rastreio ocular foram suficientes para que a maioria dos professores identificassem de forma correta o desempenho dos alunos em cada exercício. Além disso, esses profissionais tiveram expectativas diferentes em relação aos locais onde os alunos olharam mais no teste de matemática e puderam compreender melhor como os alunos analisaram problemas. Por fim, os relatos dos professores que assistiram aos vídeos de rastreio ocular das crianças sugerem que este método pode ser uma boa forma de se pensar sobre o pensamento – o que também é chamado de metacognição -, além de poder exercer um papel muito importante no desenvolvimento do ensino e da aprendizagem.

Os modelos criados no estudo B (OKU et al., 2021) permitiram identificar corretamente acertos e erros de estudantes em 66% dos casos avaliados, apenas com os níveis de atenção dos sinais cerebrais dos estudantes. Além da previsão de sucesso, foi possível analisar que as regiões do córtex pré-frontal com maior relevância nos modelos são pertencentes ao córtex pré-frontal dorsolateral, região associada ao processo cognitivo, flexibilidade cognitiva, planejamento, raciocínio abstrato, entre outros processos (BANDEIRA et al., 2021). Estes modelos nos permitiram confirmar que o uso de aprendizagem de máquinas na modelagem de dados neurais permite inferir novos resultados em estudos relacionados à educação.

Da mesma forma, no estudo C, os modelos de aprendizagem de máquinas nos dados de hyperscanning com fNIRS (BARRETO et al., 2021) foram capazes de utilizar os dados dos professores para a previsão dos sinais dos respectivos estudantes. Esses resultados se destacaram principalmente na região cerebral chamada junção temporo-parietal (TPJ, na sigla em inglês), associada a questões como empatia e autoconhecimento. Os resultados deste trabalho abrem portas para novas abordagens visando a compreensão aprofundada dos mecanismos neurais associados às interações sociais, fundamentais para pesquisas em neurociência e educação.

Quais as principais conclusões que pudemos tirar?

Com as técnicas utilizadas, é possível identificar informações de utilidade prática no ensino. Estudos indicam que as técnicas de rastreamento ocular são uma boa ferramenta de auxílio para professores conhecerem melhor a forma com que seus alunos pensam durante a resolução de problemas (BROCKINGTON, 2021). Ainda que a ferramenta ofereça também outros recursos, os vídeos de rastreio ocular foram suficientes para que professores identificassem se os alunos acertaram ou não as questões do exercício em nosso estudo (DA SILVA SOARES JR. et al., 2021). Assim, considerando os próprios relatos dos professores, podemos concluir que o sistema de rastreio ocular pode ser uma ferramenta muito útil no contexto educacional ao revelar a forma dos alunos pensarem durante atividades de leitura e raciocínio a partir do movimento ocular. Essas informações podem ser utilizadas pelos professores na elaboração de atividades escolares cada vez mais atrativas ao olhar de quem aprende.

Já com as técnicas de neuroimagem com fNIRS e aprendizagem de máquinas, pudemos identificar que, além de ser possível estimar o desempenho de estudantes em tarefas e as principais áreas do córtex pré-frontal relacionadas ao desempenho (OKU et al., 2021), foi possível utilizar os dados dos professores para a previsão dos sinais de seus estudantes (BARRETO et al., 2021).

Como esse trabalho poderá impactar a educação agora ou no futuro?

Diversos artigos enfatizam a importância da neurociência na educação. É unânime ao dialogar com educadores que se trata de uma área em ascensão e que abre novos horizontes para a melhoria no ensino. No entanto, pouco se divulga sobre quais pesquisas são realizadas, seus respectivos métodos para identificar correlatos na interação entre aluno e professor ou mesmo quais regiões corticais estão envolvidas durante a realização de tarefas.

Os estudos de espectroscopia funcional de infravermelho próximo e eyetracker adicionam novas variáveis para a investigação em educação, as quais não eram possíveis antes do avanço de tais tecnologias. Em curto prazo, vê-se que essas abordagens permitem a investigação dos correlatos neurais relacionados aos processos de ensino-aprendizagem. Além disso, tais abordagens trazem medidas úteis para as pesquisas em educação, como a probabilidade de êxito em atividades ou o envolvimento dos alunos em tarefas. A longo prazo, essas informações poderão ser utilizadas para a criação de políticas públicas e metodologias voltadas para o desenvolvimento do educando a partir do uso de tecnologias inovadoras em escolas.

Agradecimentos

Fundação de Amparo à Pesquisa do Estado de São Paulo (19/17907-5, 18/04654-9, 18/21934-5).

Referências para consultas

DA SILVA SOARES JR, Raimundo et al. Student’s Perspective and Teachers’ Metacognition: Applications of Eye-Tracking in Education and Scientific Research in Schools. Frontiers in Psychology, v.12, 2021. Disponível em < https://dx.doi.org/10.3389%2Ffpsyg.2021.673615>. Acesso em 25 nov. 2021

OLIVEIRA, Wilandia Mendes. Uma abordagem sobre o papel do professor no processo ensino/aprendizagem, 2010. Revista Eletrônica – Instituto de Ensino Superior de Londrina, v.27, p.12, 2016. Disponível em: <https://www. inesul. edu. br/revista/arquivos/arq-idvol_28_1391209402. pdf>. Acesso em 25 nov. 2021.

OKU, Amanda Yumi Ambriola; SATO, João Ricardo. Predicting student performance using machine learning in fNIRS data. Frontiers in human neuroscience, v. 15, p. 18, 2021. Disponível em < https://doi.org/10.3389/fnhum.2021.622224>. Acesso em 25 nov. 2021.

SALEMA, Vitor; RODRIGUEZ, Carla; SATO, Joao. Eye-tracking aplicado a recursos pedagógicos visuais e multimídia: um mapeamento sistemático. In: Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação-SBIE). 2019. p. 1780. Disponível em http://dx.doi.org/10.5753/cbie.sbie.2019.1780. Acesso em 25 nov. 2021.

IZBICKI, Rafael; DOS SANTOS, Tiago Mendonça. Aprendizado de máquina: uma abordagem estatística. Rafael Izbicki, 2020, 1ᵃ edição. 2020, 272 páginas. ISBN: 978-65-00-02410-4. Disponível em < http://www.rizbicki.ufscar.br/ame/>. Acesso em 25 nov. 2021.

SCHERER, Lilian Cristine; KAHLAOUI, Karima; ANSALDO, Ana Inés. Espectrografia Funcional de Infravermelho Próximo (fNIRS): a técnica e sua aplicação em estudos da linguagem. Neuropsicologia Latinoamericana,  Calle ,  v.1, n.1, p.57-62, jan.2009. Disponível em <http://pepsic.bvsalud.org/scielo.php? script=sci_arttext&pid=S2075-94792009000100007&lng=pt&nrm=iso>. Acesso em  30  ago.  2021.

BARRETO, Candida et al. A new statistical approach for fNIRS hyperscanning to predict brain activity of preschoolers’ using teacher’s. Frontiers in human neuroscience, v. 15, p. 181,2021. Disponível em < https://doi.org/10.3389/fnhum.2021.622146>. Acesso em 25 nov. 2021.

BROCKINGTON, Guilherme. Neurociência e Ensino de Física: Limites e possibilidades em um campo inexplorado. Revista Brasileira de Ensino de Física, v. 43, 2021. Disponível em https://doi.org/10.1590/1806-9126-RBEF-2020-0430. Acesso em 25 nov. 2021.

(Ilustrações e diagramação: Mateus Henrique)