O que aprendi ao inverter minha sala de aula

Experimentei sala de aula invertida nas edições 2019-2020 e 2020-2021 de nosso Teste e Qualidade de Software (CSE1110). Esta foi a primeira e a segunda vez que experimentei “de verdade”. Pedi aos alunos que lessem o material, resolvessem alguns exercícios e fizessem perguntas no fórum online antes da palestra; a palestra em si seria usada apenas para debate.

No primeiro ano em que fiz isso, não tinha certeza se funcionaria. Meu pensamento honesto era que os alunos não fariam suas tarefas antes da aula. Tive medo de não ter perguntas para responder ou temas para debater; Até me certifiquei de ter os slides que usei nos anos anteriores como plano de backup caso isso não funcionasse. Eu não poderia estar mais errado!

Um grande número de alunos realmente lê as notas da aula antes da aula. Veja os números abaixo, referentes a 2020 e 2021, respectivamente. Note-se que a maioria dos alunos afirma ter lido as notas de aula antes de todas as nossas 13 aulas em 2020 (obtive 329 respostas entre cerca de 500 alunos que frequentam o curso), e a maioria dos alunos também afirma ler as notas antes da aula em 2021 (número de respondentes na figura), embora de forma menos expressiva quando comparado com o ano anterior. Essa é, pelo menos para mim, a lição mais importante aprendida aqui. Claro que também existe um número não negligenciável de alunos que nunca lêem as notas de aula, mas prefiro ver isso pelo lado positivo.

Por outro lado, resolver os exercícios antes da aula é definitivamente feito com menos frequência. Você vê os dados brutos nas figuras abaixo. Ao refletir sobre o primeiro ano, diria que ofereci muitos exercícios e muitos deles envolviam codificação. Isso significa que os alunos não poderiam simplesmente “acordar uma hora antes da aula e ler”. Mudei isso no segundo ano: as questões antes da palestra eram, em sua maioria, questões curtas de múltipla escolha. Mesmo sendo muito mais rápidos nas respostas, os alunos ainda não parecem se envolver com elas. Curiosamente, como mostrarei mais tarde, a resolução de exercícios era muito popular quando se tratava de estudar para o exame.

Eu também disse aos alunos na aula introdutória que não daria “nenhum material novo” per se nas aulas; em vez disso, serviriam para responder perguntas e debater temas mais avançados. Portanto, o lado negro dentro de mim esperava que os alunos não assistissem às palestras. Sem ter números concretos, tenho sim uma frequência maior no início do curso, com mais de 300 participantes me assistindo no Zoom, mas no final esse número caiu para uma média de 150. Isso aconteceu nos dois anos e se reflete nas respostas da pesquisa. Dito isto, não assistir às aulas faz parte da cultura dos nossos alunos, pois muitos deles preferem aproveitar esse tempo para estudar. No entanto, não percebi uma grande queda na frequência em comparação com as palestras tradicionais onde as pessoas tinham que estar presentes para ouvir a informação. Além disso, eu definitivamente reconheci muitos alunos que acompanharam todas as palestras (algo complicado de fazer no ambiente on-line, pois todos estavam com as webcams desligadas e interagiam principalmente por chat).

Curiosamente, minha percepção foi que o nível das perguntas que os alunos me fizeram durante a palestra foram definitivamente um nível mais alto do que nos anos em que não inverti a sala de aula. Algumas questões eram tão mais avançadas que, muitas vezes, tive que improvisar novos exemplos para expressar meu ponto de vista. Minha conjectura aqui é que todos os alunos agora conhecem o básico antes de ingressar na minha palestra e, portanto, levam as perguntas para o próximo nível.

O número de perguntas no fórum também foi muito alto no primeiro ano. No final do biénio 2019-2020, tivemos 201 perguntas e 443 respostas (nunca tive tantas perguntas no fórum online antes). Muitas perguntas aconteceram antes da palestra, embora eu não tenha números concretos para compartilhar. Fiz questão de responder a essas perguntas todas as manhãs antes do início da palestra e usei essas perguntas como pontos de discussão na palestra. Curiosamente, o número de perguntas diminuiu na edição 2020-2021. Não tenho números concretos em mãos, mas definitivamente houve menos perguntas. Vejo duas explicações para isso. Primeiro, adotamos o StackOverflow como um sistema de perguntas e respostas. Embora tenha notado um aumento na qualidade das respostas fornecidas pelos próprios alunos, talvez os alunos sintam um pouco mais de medo de postar uma pergunta que perdure por todas as próximas edições do curso. Em segundo lugar, os alunos estão agora mais habituados a estudar online. Quando perguntei na aula por que havia tão poucas perguntas, eles mencionaram que muitas delas realmente acontecem em seu canal privado do Discord. Parte do meu plano para o terceiro ano será convencê-los de que é realmente importante construir uma base de conhecimento.

Outro ponto interessante, e provavelmente muito contextual ao nosso programa de ciência da computação, é que os alunos não trabalharam na tarefa laboratorial opcional que oferecemos. 2020 foi o primeiro ano que ofereci como opcional (ou seja, não faz parte da nota), seguindo nossos novos regulamentos que não permitem trabalhos de casa obrigatórios. Embora eu tenha dito aos alunos que o trabalho de laboratório lhes daria uma perspectiva mais prática sobre o tema e que os TAs estavam disponíveis para ajudá-los com qualquer dúvida, você pode ver na figura abaixo que apenas alguns alunos realmente trabalharam em todas as três partes do projeto de trabalho de laboratório (opcional). No segundo ano, decidi abandonar completamente a tarefa e focar em “exercícios mais focados”. Isso pareceu funcionar, pois a maioria dos alunos resolveu exercícios relacionados a todas as aulas. Esse parece ser o caminho e pretendo melhorar ainda mais nosso conjunto de exercícios.

Talvez outra coisa que não surpreende é que uma grande parte dos alunos não passa todas as horas que deveriam no curso. CSE1110 é um curso de 5 ECTS, o que significa que os alunos devem dedicar cerca de 14 horas semanais ao curso, por exemplo, acompanhando aulas, lendo, resolvendo exercícios, estudando. Como você pode ver abaixo, apenas alguns alunos chegam às 14 horas. Meu pressentimento diz que o quarto trimestre (trimestre onde meu curso acontece) é movimentado para os alunos, já que eles têm dois cursos teóricos básicos de ciência da computação. Muitas vezes os vejo gastando muita energia nesses outros cursos (são bem difíceis!) enquanto entro no laboratório. Não tenho certeza se aumentar o número de atividades é uma boa ideia, dada a agenda bastante lotada. Talvez eu deva apenas aceitar que eles não passarão todas as horas que precisam. Observo também que alguns deles ultrapassam as 15 horas, o que também não é o ideal. Eu deveria entender por que esse é o caso.

Por fim, perguntei aos alunos como estudaram para o exame final. Embora não seja realmente uma surpresa, resolver exercícios e reler as notas de aula eram práticas de estudo populares. O interessante, porém, é que eles preferem não resolver as questões que coloco nas notas de aula (que são bastante variadas), mas questões que compartilho explicitamente como “essas questões são semelhantes às questões do exame”, que são um pouco mais focadas nos tipos de perguntas que posso fazer durante os exames. Este é novamente outro regulamento que temos aqui: temos que oferecer alguns exames simulados, e os alunos aproveitam isso. Minha lição aprendida aqui é apenas oferecer mais “práticas de exame” com mais perguntas. Verdade seja dita, essas perguntas não são tão ruins, pois são principalmente trechos de código onde peço aos alunos que escrevam testes, e eles precisam aproveitar JUnit e/ou Mockito para testá-los. Em breve investirei em outros tipos de testes (por exemplo, testes de integração, testes Selenium, etc). Além disso, gostei que eles realmente releram minhas notas de aula, mostrando que todo o esforço que fiz para construí-las está valendo a pena. Finalmente, parece que os alunos preferem reler as notas de aula em vez de assistir novamente aos vídeos. Além das notas textuais, também compartilhei vários vídeos. Isso também é bom para mim, pois evoluir notas de aula textuais é muito mais fácil do que evoluir vídeos.

O que eu tive que mudar no meu curso para invertê-lo? Três coisas:

• Primeiro, criar notas de aula. Foi muito trabalho, para ser honesto. No entanto, sinto que o custo será compensado com o tempo, pois poderei reutilizá-los facilmente nos próximos anos. (Bem, dado o quanto meus alunos gostaram, decidi escrever um livro adequado sobre o assunto, o que dá muito trabalho novamente; então, siga-me para novidades em breve). Algumas novidades: estou trabalhando em um livro completo sobre testes de software que será publicado pela Manning em 2021. Manterei vocês informados.

• Segundo, confiar que os alunos farão a sua parte. Foi muito difícil para mim ir às primeiras palestras sem um longo conjunto de slides. Eu estava com muito medo de ficarmos ali em silêncio durante toda a palestra. Porém, quanto mais o tempo passava, mais eu via que realmente podia confiar neles. Além disso, como as notas da aula estavam disponíveis no GitHub, orientei os alunos a enviar pull requests sempre que encontrassem algo não tão claro. Ao longo do trimestre, recebi mais de 100 PRs de alunos! Embora eu tenha dito que os alunos ganhariam pontos extras por isso, prefiro acreditar que alguns deles estavam realmente empenhados em simplesmente melhorar o material. Além disso, certifique-se de não ter o cenário perfeito em mente. Por exemplo, vimos que os alunos não fazem exercícios antes da aula. Talvez eu devesse apenas aceitar isso e focar em outras maneiras de eles exercitarem seus conhecimentos.

• Terceiro, reservar tempo para responder às perguntas. Todo o tempo que não gastei preparando slides, tive que gastar respondendo perguntas no fórum. Eu queria proporcionar aos alunos uma experiência incrível, então li todas as perguntas que foram postadas e respondi a grande maioria delas (as outras foram respondidas por algum monitor). No entanto, responder às perguntas não demorou muito tempo. Acho que 30 minutos antes de cada palestra geralmente é suficiente. Também passo algum tempo elaborando alguns slides de última hora com os principais pontos que observei no fórum.

Por fim, devo dizer que estou gostando muito da experiência da sala de aula invertida. Em ambos os anos, sinto que foi bom para mim e para os alunos. Não me senti entediado em nenhuma das palestras (um sentimento comum quando você está dando a mesma palestra pela enésima vez).

Agradecimentos: Isso não seria possível sem a ajuda de tantas pessoas. Primeiro, Frank Mulder, meu parceiro neste curso. Além disso, devo agradecer a Wouter Polet e Sará Juhosová, meus monitores responsáveis (Wouter sendo meu monitor responsável pela terceira vez consecutiva). Além disso, a Marsha Ginsberg, pelas muitas melhorias gramaticais nas próprias notas de aula. Finalmente, a todos os alunos CSE1110 de 2019-2020 e 2020-2021 por serem tão gentis.