[Projeto] Tratamento de dados

#Importando programas que vou utilizar
import pandas as pd
import json

#Lendo arquivo vom json
with open('/content/cursos_cadastrados.json', 'r' ) as file:
  dados_json = json.load(file)

#Normalizando dados
dados = pd.json_normalize(dados_json)
dados


#Contando quantidade de dados nulos
dados.isnull().sum().sum()

#Valores nulos
dados[dados.isna().any(axis=1)]

#Apagar dados nulos
dados.dropna(inplace=True)

dados

#Qual coluna é duplicada
dados.duplicated()

#Remover coluna duplica
dados.drop_duplicates(inplace=True)
dados

#Verificando linha com 'instrutor.nome'
dados[dados['instrutor.nome'] == ""]

#Verificando linha com 'data_conclusao'
dados[dados['data_conclusao'] == ""]

#Substituindo strings vazias por valores nulos
dados.replace('', pd.NA, inplace=True)
dados

#Apagando linhas com valores nulos
dados.dropna(inplace=True)
dados

#Resetando o index
dados.reset_index(drop=True, inplace=True)
dados


#Verificando dados
dados.info()

#Transformando Dtype 
dados['preco'] = pd.to_numeric(dados['preco'], errors='coerce')

dados['concluintes'] = pd.to_numeric(dados['concluintes'], errors='coerce')

#Transformando Dtype datetipe
dados['data_inicio'] = pd.to_datetime(dados['data_inicio'])

dados['data_conclusao'] = pd.to_datetime(dados['data_conclusao'])

#Verificando dados após modificações 
dados.info()