1
resposta

ERRO NA IMPORTAÇÃO DA BASE DE DADOS PYTHON

Gente, estou fazendo um projeto em python com uma base de dados relativamente grande (cerca de 800 mega) com uma planilha em csv. Os dados chegam a ser carregados, no entanto, cada vez que eu carrego aparece um número diferente de linhas totais importadas. Tentei ajustar para que o programa pulasse as linhas com erros, mas isso continua acontecendo.

Isso significa que se eu rodar a primeira vez ele carrega 17.000 linhas por exemplo e se rodo de novo pode carregar 400.000 (quando na realidade o número correto seria mais de 1 milhão de linhas). Já tentei importar por tempo (chunk), mas dá o mesmo erro. Estou tentando uma outra alternativa de importar apenas os 500.000 primeiros dados, mas ainda não consegui. Alguma luz?

Muito obrigada!!

1 resposta

Oii, Luiza! Tudo bem?

Desculpa pela demora em responder a você.

Realmente é uma base bem expressiva, esse problema pode ter vários motivos, mas uma possibilidade é que o arquivo CSV que você está tentando importar possa ter algumas inconsistências, como linhas em branco, caracteres especiais, ou formatação inconsistente que podem estar causando problemas na importação.

Como sugestão, uma solução possível é tentar limpar o seu arquivo CSV antes de importá-lo. Isso pode ser feito de algumas formas, mas um método simples seria:

  • Abrir o arquivo em um editor de texto como o Notepad++ ou Sublime Text.
  • E após, usar a função de busca para encontrar e remover quaisquer caracteres ou linhas problemáticas, como, por exemplo, o método re.

Segue um artigo que aborda o uso da RegEx em Python que pode servir de apoio para os seus estudos:

Outra opção seria tentar usar a biblioteca pandas para importar o seu arquivo CSV. Ela é uma ferramenta eficiente para lidar com grandes conjuntos de dados e pode ser capaz de lidar com as inconsistências do seu arquivo CSV de uma maneira mais robusta.

Recomendo ter a documentação do Pandas para aprofundar os seus conhecimentos para aplicar com eficiência em seu projeto.

Ambas páginas podem abrir em Inglês, caso não se sinta confortável com o idioma, clique com o botão direito do mouse em qualquer parte da página e escolha a opção "Traduzir para o português".

Espero ter ajudado com as dicas.

Continue se dedicando aos estudos e qualquer dúvida, compartilhe no fórum.

Bons estudos, Luiza!

Quer mergulhar em tecnologia e aprendizagem?

Receba a newsletter que o nosso CEO escreve pessoalmente, com insights do mercado de trabalho, ciência e desenvolvimento de software