Entrar Ainda não tem acesso?
2
respostas

Referente ao curso Databricks: conhecendo a ferramenta; módulo:Usando SQL no Databricksn

por Wagner Alexandre Graciano
| 66.9k xp | 2 posts

[DATASCIENCE] [DATABRICKS] Estou usando o Databricks Free Edition em uma nuvem AWS e por algumas vezes me aparece pedindo a referencia do volume AWS. Já pedi ajuda no Genie mas, ele não lê o ID desse volume, podem me ajudar?

Segue a reprodução do erro: The error is due to the missing cloud file system scheme in the LOCATION clause. You need to specify the full path including the scheme (e.g., dbfs:/ for Databricks File System).

Here is the corrected SQL code:

%sql
CREATE TABLE usuarios(
  idade int,
  estado string,
  salario float
)
  ROW FORMAT DELIMITED 
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
  STORED AS textfile
  LOCATION 'dbfs:/FileStore/tables/aula-databricks/usuarios/'


This code specifies the full path including the dbfs:/ scheme for the LOCATION clause.
2 respostas
por NATHALIA QUEIROZ
| 3222.4k xp | 7458 posts
Alura Scuba Team

Ei, Wagner! Tudo bem?

Agradeço por aguardar o nosso retorno.

Este erro é sobre a falta do esquema do sistema de arquivos na nuvem e para resolver isso é preciso adicionar o caminho completo, incluindo o esquema dbfs:/ na cláusula LOCATION. Dessa forma o Databricks localizará da forma certa o volume e criar a tabela.

Por exemplo, se o seu código estiver como o da aula:

%sql
CREATE TABLE usuarios(
  idade int,
  estado string,
  salario float
)
  ROW FORMAT DELIMITED 
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
  STORED AS textfile
  LOCATION '/FileStore/tables/aula-databricks/usuarios/'

Reescreva, adicionando dbsf:/ em LOCATION, por exemplo:

CREATE TABLE usuarios (
    idade int,
    estado string,
    salario float
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS textfile
LOCATION 'dbfs:/FileStore/tables/aula-databricks/usuarios/'

Para expandir os seus conhecimentos, recomendo a documentação Databricks no AWS.

Espero que dê certo e qualquer dúvida, compartilhe no fórum.

Até mais, Wagner!

Caso este post tenha lhe ajudado, por favor, marcar como solucionado!

por Wagner Alexandre Graciano
| 66.9k xp | 2 posts

Bom dia, Nathália, obrigado pela resposta. Porém, eu estou usando o Databricks Free Edition que é muito bom, mas, eu não estou com recursos nas contas da AWS ou Azure. Por isso não consigo setar um DBFS. Também notei que é melhor eu fazer os exercícios direcionando a criação de arquivos no Volume ao invés do AWS; isso me ajudou a não mais receber erros de DBFS e gerar bancos exclusivamente dentro do Databricks sem usar AWS ou Azure.