Dado que o objetivo é usar dados do twitter para fazer análise de sentimentos, tentaria entender qual é o melhor formato de dados que eu precisaria extrair e como essa análise de sentimento seria feita.
Já sabemos que a frequência é diária, mas tentaria entender qual seria o melhor horário para rodar esse pipeline.
Além disso, tentaria entender métricas de monitoramento desse pipeline (Observabilidade de Dados) como forma de ver monitorar se o pipeline está seguindo um comportamento "padrão"
Além da necessidade do presente, eu conversaria com pessoas do negócio tentando explorar possíveis evoluções nessa solução como forma de, dependendo do horizonte de tempo, preparar um pipeline mais robusto.
Na minha visão a "equação fundamental" seria entender o tempo que eu teria para entregar uma V1 para verificar qual seria a melhor solução possível. Depois dessa V1, pensaria em evoluções que seguissem as expectativas da área de negócio.
