Boa tarde, amigos!
Tive a mesma dúvida e me lembrei de uma biblioteca bacana no python que havia utilizado para uma automatização.
Me refiro a biblioteca OS.
O problema que está ocorrendo com você é que, ao criar o arquivo .txt, ele não está indo direto para a pasta do seu projeto, você vai precisar acessa-la e fazer os passos do professor, e é ai que entra a biblioteca OS.
No prompt do PYTHON importe a biblioteca: import os -> agora para que você entenda, digite os.getcwd() esse comando vai te mostrar em qual pasta você está, no meu caso apareceu ('C:\Users\55129\AppData\Local\Programs\Python\Python311'). Certo... você precisará usar outro comando da biblioteca OS os.chdir(r'C:\Users\55129\PycharmProjects\Alura') <- Dentro das aspas coloque o caminho que está seu projeto desta aula, conforme eu fiz no os.chdir... verifique novamente com o os.getcwd() , se estiver no caminho correspondente, deu tudo certo... pode dar sequencia na aula do professor arquivo = open("palavras.txt", "w") conforme ele mensiona.
Dê uma boa olhada nesta biblioteca, é possivel fazer grandes coisas com ela.
Espero ter ajudado, bons estudos!