Oii, Alexander! Tudo bem?
Agradeço por aguardar o nosso retorno.
Para encontrar o DBSF dentro do Azure Databricks, recomendo que siga os passos da atividade Mudança na criação do Cluster e ativação do DBFS, pois ao realizar os testes os passos continuam os mesmos, está certinho.
A criação da tabela realmente está um pouco diferente da aula. Para isso, preparei o tutorial abaixo para você seguir após realizar os passos da ativação do DBFS:
Ainda na guia de tabela no DBFS, clique com o botão direito do mouse sobre o arquivo csv, selecione copiar caminho e, em seguida, Formato da API do Spark. Guarde esse caminho em um bloco de notas.
Agora, no menu na lateral, clique em Espaço de trabalho, depois, Criar notebook:
dbutils.fs.rm('/user/hive/warehouse/data_csv', recurse=True)
# Para este procedimento funcionar o arquivo data.csv deve estar carregado no DBFS no endereço especificado na variável `file_location`
file_location = '/FileStore/tables/data.csv'
file_type = 'csv'
infer_schema = 'true'
first_row_is_header = 'true'
delimiter = ';'
df = spark\
.read\
.format(file_type)\
.option('inferSchema', infer_schema)\
.option('header', first_row_is_header)\
.option('sep', delimiter)\
.load(file_location)
table_name = 'data_csv'
df.write.format('parquet').saveAsTable(table_name)
- Antes de executar o código acima, em
file_location = '/FileStore/tables/data.csv', vamos substituir pelo caminho que copiamos no passo 1. Por exemplo, o meu caminho ficou assim:
file_location = 'dbfs:/FileStore/tables/data__3_.csv'
- Após o caminho ajustado do arquivo, execute o código apertando
Shift + Enter ou apertado a setinha no canto direito da célula dó código.
Pronto, a tabela foi criada no notebook e você poderá seguir com as aulas.
Espero ter ajudado, qualquer dúvida é só compartilhar no fórum. Estaremos por aqui.
Até mais, Alexander!
Caso este post tenha lhe ajudado, por favor, marcar como solucionado!
