Priscila verifique no meu GitHub https://github.com/Antonino-Marques-Jares/Qualidade-de-Dados-com-Biblioteca-Pydeequ/tree/main
Pelo que entendi o conflito é com a versão python , pyspark e pydeequ e tem que ter arquivo winutils.exe compativel e configuração de variavel de ambiente.
No meu projeto local apontamos a variável 'HANDOOP_HOME' para a pasta 'handoop\bin' que se encontra no projeto desta forma não tem que configurar no windows.
Apenas siga os passos:
1 - Instale em seu computador python 3.11.6
2 - Crie maquina virtual - "py -3.11 -m venv .venv"
3 - Atualizando pip - "python -m pip install --upgrade pip"
4 - Certifique-se que seu ambiente virtual (venv) esteja ativo antes das instalações
5 - Execute em seu terminal - "pip install -r requirements.txt" # Vai baixar as bibliotecas que instalei do requirements.txt
6 - Talvez seja nescessário reiniciar o VS Code
7 - Execute tudo
Conte com o apoio da comunidade Alura na sua jornada. Abraços e bons estudos!