Boa tarde, tenho um cenário aqui que estou tentando fazer.

Atualmente tenho eventos do Kafka que estão sendo salvos em um bucket s3 que seria a pasta "bronze". Eu estava tentando tranformar esses dados dentro do glue script com python mas da muito problema. O melhor cenário para isso seria fazer realmente por dentro do glue ou ter uma lambda ou step functions que recebe um bucket notification, realiza o refinamento e adequação desses dados e salva em parquet ou melhor seria dentro do glue realmente com um schedule e depois o crawler para catálogar?

Obrigado.