1
resposta

Não estou conseguindo ler arquivo json

Olá fiz o mesmo código da aula e nn tou conseguindo ler o arquivo, aparece este erro :

Since Spark 2.3, the queries from raw JSON/CSV files are disallowed when the
referenced columns only include the internal corrupt record column
(named _corrupt_record by default). For example:
spark.read.schema(schema).csv(file).filter($"_corrupt_record".isNotNull).count()
and spark.read.schema(schema).csv(file).select("_corrupt_record").show().
Instead, you can cache or save the parsed results and then send the same query.
For example, val df = spark.read.schema(schema).csv(file).cache() and then
df.filter($"_corrupt_record".isNotNull).count().
1 resposta

Olá, Filipe! Tudo bem com você?

Desculpa pela demora em dar um retorno.

Somente com o trecho do erro apresentado não foi possível determinar onde está o erro. Você conseguiria compartilhar um print do seu código com a mensagem de erro? dessa forma podemos ser mais assertivos na resposta.

Aguardo retorno.