Você está vendo a versão anterior da nova experiência da Alura que estamos preparando para você. Em breve, ela ganha uma identidade visual novinha totalmente pensada em potencializar seus estudos!
Bom dia tudo bem? Estou tentando executar o script do execicio porem apresenta erro de identificação entre letras maiusculas e minusculas. Eu pedi para o Claude revistar a estrutura da tabela que subi e de fato as colunas estao em letra maiuscula tudo certinho, mas quando executo o script nao consegue identificar. Refiz o processo duas vezes porem permanece com os mesmos erros (desde o input das tabelas no s3, reexecucao no crawler e run no script). O que eu devo fazer?
Oioi, Bianca! Tudo bem? Espero que sim.
Vendo o erro da imagem (UNRESOLVED_COLUMN.WITHOUT_SUGGESTION) é sobre o AWS Glue não conseguir localizar a coluna comentario durante a execução do script. O problema pode ser causado não necessariamente a diferença entre letras maiúsculas e minúsculas.
Foi bom você ter refeito os passos novamente, podemos descartar essa sugestão, rs. Mas, recomendo verificar o nome da coluna diretamente no Data Catalog do Glue e confirme se é comentario mesmo, sem variações como Comentario, COMENTARIO, comentários, espaço extras ou outro caractere.
E veja também se alguma transformação anterior do script remove, renomeia ou selecione apenas algumas colunas antes da linha 31. A mensagem mostra que a falha ocorreu exatamente nessa linha.
Execute o código abaixo para imprimir o esquema do DataFrame e tenta acessar a coluna comentario. Se ela não existir naquele momento da execução, o Glue exibirá uma mensagem indicando quais colunas estão disponíveis.
# Exibe o schema do DataFrame
df.printSchema()
# Exibe as 5 primeiras linhas da coluna "comentario"
df.select("comentario").show(5)
Caso tenha alguma etapa de renomeação, execute:
df = df.withColumnRenamed("Comentario", "comentario")
Outro detalhe importante é que o Crawler atualiza apenas o esquema da tabela no Glue Data Catalog. Se o script estiver lendo outro caminho no S3 ou utilizando uma tabela diferente da atualizada pelo Crawler, o esquema carregado durante a execução poderá ser diferente daquele que você verificou.
Como a exceção informa Failed Line Number: 31, também vale comparar essa linha com o código apresentado na aula para confirmar se a referência à coluna comentario está exatamente igual ao restante do pipeline.
Espero que dê certo!
Conte com o apoio da comunidade Alura na sua jornada. Abraços e bons estudos!