ola comunidade!
gostei muuti do conteudo e entendo que o foco seja no deploy de modelo dentro da infra estutrutura Aws. porem senti falta de uma explicacao dos SDKs recomendados para as outras etapas de um projeto ML, como o tratamenti e feature enfineering dos dados de entrada do modelo (nao estou falando sobre treino, mas sim das pistas de entrada de dados out-of-time).
bom, gostaria de saber quais sao as ferramentas mais adequadas para fazer os tratamentos dos dados antes da inferencia.
para explixar melhor vou exemplificad com a dificuldade que estou enfrentando na empresa a qual trabalho. atualmente utilizamos uma instacia ec2 do sagemaker como sandbox e para rodadas de modelos em producao. Entendo que essa pratica pode ser muito custosa, mas por outro lado nos da liberdade para fazer todo o pipeline por la (import dados via s3, enriquecimentos de dados (merges), tratamentos, feat eng, rodada modelo e export S3.
Gostaira de saber qual seria a ferramenta aws mais apropriada para ler os arquivos do s3, trata-los e reinseri-los no s3. Para posterior uso no modelo.
obrigado!
