0
respostas

Erro ao criar arquivo Parquet com dataframe Estabelecimentos

Boa noite, pessoal.

Tudo bem ?

Estou com um pequeno problema aqui, ao efetuar a criação do arquivo Parquet de Estabelecimentos:

Insira aqui a descrição dessa imagem para ajudar na acessibilidadePelo que vi na mensagem de erro, ele comenta sobre eu estar criando o arquivo Parquet no Spark 3.0, em relação ao formato de data, se ele for lido pelo Spark de versão 2.x, o qual pode causar erro.

Estou usando o spark mais atual, no caso o 3.0. Nesse caso, teria alguma forma de confirmar que o arquivo será lido também pela mesma versão do Spark 3.0 ?

Estou fazendo uma busca na net pra tentar solucionar também.

Obrigado.

Quer mergulhar em tecnologia e aprendizagem?

Receba a newsletter que o nosso CEO escreve pessoalmente, com insights do mercado de trabalho, ciência e desenvolvimento de software