Você está vendo a versão anterior da nova experiência da Alura que estamos preparando para você. Em breve, ela ganha uma identidade visual novinha totalmente pensada em potencializar seus estudos!
Olá, pessoal!
Pensando na análise de dados, quando trabalhamos com arquivos muito grandes que podem estourar a memória RAM do computador, quais são os métodos e boas práticas mais utilizados no mercado para lidar com esse problema? Existe alguma função nativa do Pandas?
Ei! Tudo bem, Luísa?
Essa é uma preocupação muito comum e super importante quando trabalhamos com análise de dados no mundo real! O Pandas carrega todos os dados diretamente na memória RAM, o que pode se tornar um problema com arquivos muito grandes.
Felizmente, existem excelentes práticas de mercado e funções nativas do Pandas para gerenciar e otimizar o uso da memória. Aqui estão as principais:
pd.read_csv(). Em vez de carregar o arquivo inteiro de uma vez, o Pandas lê o arquivo em blocos (lotes) menores.import pandas as pd
# Lê o arquivo em lotes de 10.000 linhas por vez
for lote in pd.read_csv('dados_gigantes.csv', chunksize=10000):
# Processa cada lote individualmente (filtragem, agregação, etc.)
print(lote.shape)
usecols, você carrega apenas o que realmente vai usar, economizando muita memória RAM.# Carrega apenas as duas colunas especificadas
df = pd.read_csv('dados_gigantes.csv', usecols=['id_cliente', 'valor_venda'])
Mude para category: Se você tem uma coluna de texto com muitas repetições (ex: "Estado", "Gênero"), altere o tipo para category. O ganho de memória é massivo.
Reduza a precisão: Altere de int64 para int32 ou int8, se os números forem menores.
Você conhecia algumas dessas possibilidades?