Como saber se os dados são duplicados?

Olá Kleber! Tudo ok contigo?

Essa questão pode parecer confusa, mas vou tentar esclarecer isso para você.

Quando falamos de um dado ser duplicado em um DataFrame, estamos nos referindo a uma linha inteira (ou seja, uma amostra) que é exatamente igual a outra. Isso significa que todos os valores em todas as colunas para duas ou mais linhas são idênticos.

Aqui temos um exemplo de DataFrame e Dados Duplicados:

Vamos criar um DataFrame inicial e adicionar uma linha duplicada para ilustrar o conceito de dados duplicados.

• Passo 1: Criar um DataFrame:

import pandas as pd

# Criar um DataFrame com algumas colunas e linhas
df = pd.DataFrame({
    'Nome': ['Alice', 'Bob', 'Charlie', 'Alice', 'David'],
    'Idade': [25, 30, 35, 25, 40],
    'Cidade': ['São Paulo', 'Rio de Janeiro', 'São Paulo', 'São Paulo', 'Salvador']
})

print("DataFrame Inicial:")
print(df)

Aqui, temos um DataFrame com informações sobre pessoas, incluindo seus nomes, idades e cidades.

• Passo 2: Adicionar uma Linha Duplicada:

# Adicionar uma linha duplicada
df = df.append(df.loc[0], ignore_index=True)

print("\nDataFrame com Linha Duplicada:")
print(df)

Agora, adicionamos uma linha duplicada ao DataFrame, replicando a primeira linha.

OBS: Em algumas versões você pode obter um erro usando esse método append, isso ocorre em vista que em versões mais recentes do pandas, o método append foi substituído por concat para concatenar DataFrames. Então vamos ajustar o código para refletir isso:

# Adicionar uma linha duplicada
df = pd.concat([df, df.loc[0]], ignore_index=True)

print("\nDataFrame com Linha Duplicada:")
print(df)

• Passo 3: Verificar Linhas Duplicadas:

# Verificar linhas duplicadas usando o método duplicated()
duplicadas = df.duplicated()

print("\nLinhas Duplicadas (True se duplicada, False se única):")
print(duplicadas)

# Contar o número de linhas duplicadas usando o método sum()
num_duplicadas = duplicadas.sum()
print("\nNúmero de Linhas Duplicadas:", num_duplicadas)

Nessa parte, usamos o método duplicated() para obter uma série booleana indicando quais linhas são duplicadas. Em seguida, usamos sum() para contar o número total de linhas duplicadas.

• Passo 4: Remover Linhas Duplicadas:

# Remover linhas duplicadas usando o método drop_duplicates()
df_sem_duplicatas = df.drop_duplicates()

print("\nDataFrame sem Linhas Duplicadas:")
print(df_sem_duplicatas)

Finalmente, usamos drop_duplicates() para remover as linhas duplicadas do DataFrame.

Espero que isso esclareça a sua dúvida sobre dados duplicados. Lembre-se, um dado (ou linha, ou amostra) duplicado em um DataFrame é aquele que é idêntico a outro em todas as colunas.

Era isso. Se precisar eu estarei por aqui!

Abraços e bons estudos!