alguem sabe diser se é possivel e se sim como faço uma integraçao de carga de tabelas no sistema do cloudera HUE e fazer a utilizaçao de uma carga incremental ?
alguem sabe diser se é possivel e se sim como faço uma integraçao de carga de tabelas no sistema do cloudera HUE e fazer a utilizaçao de uma carga incremental ?
Ei, Lucas! Tudo bem?
Uma sugestão para realizar essa integração de carga de tabelas do Oracle para o Cloudera, você pode usar ferramentas como o Apache Sqoop, por exemplo:
Instale e configure o Apache Sqoop certificando de que o Sqoop está instalado no seu ambiente Cloudera. Você também precisará dos drivers JDBC para o Oracle.
Use o Sqoop para se conectar ao seu banco de dados Oracle. Você precisará fornecer a URL de conexão, nome de usuário e senha.
Para fazer uma carga incremental, o Sqoop oferece a opção --incremental. Você pode especificar se a carga incremental será baseada em um valor de coluna crescente (por exemplo, uma coluna de data ou ID) usando --check-column e --last-value.
Considere automatizar o processo de carga incremental através de scripts agendados, por exemplo.
Após a importação, você pode usar o Cloudera HUE para visualizar e gerenciar os dados que foram importados para o HDFS.
Na documentação Cloudera, possui um artigo Usando o banco de dados oracle com HUE que vai te auxiliar também.
Lucas, como faz parte de um projeto externo aos cursos, lembre-se de adaptar os comandos às suas necessidades específicas e ao seu ambiente de trabalho, no qual não temos total conhecimento. E espero que essas dicas sejam um bom ponto de partida para te auxiliar.
Até mais, Lucas!
Caso este post tenha lhe ajudado, por favor, marcar como solucionado!