Sugestão para quem estiver tendo erros ao executar o script main.py

Assim como eu, algumas outras pessoas tiveram erros ao executar o script main.py, apesar de estar seguindo corretamente o passo a passo da instrutora, tanto no script como nas permissões.

Após buscar um pouco pude encontrar o problema (acredito que várias pessoas possam ter o mesmo erro). Acessei os logs de erros dentro da pasta s3 que criamos, dentro de containers e abri o log chamado stdout e vi o seguinte:

Fui verificar o schema da tabela bronze, e vi que o nome correto para essa coluna é sla_target_dt.

Depois rodei de novo e obtive um novo erro que foi a coluna ontime. O nome atual é on_time.

Basta ajustar no script todos os lugares de target_dt para sla_target_dt, e ontime para on_time, clonar o cluster e adicionar o step novamente.

Aparentemente, desde que o curso foi gravado, o nome dessas colunas foram alterados no dataset que baixamos do site.

Espero que ajude quem estiver com este erro também :)