Sim, já participei de um projeto que usava machine learning de forma bastante improvisada. Na época, o foco era apenas "fazer o modelo funcionar", ou seja, entregar uma previsão aceitável com alguma métrica razoável. O problema é que o código era todo feito em um notebook, sem estrutura, sem testes, sem controle de versão dos dados ou do modelo, e tudo era executado manualmente. No começo parecia que estava tudo indo bem, mas depois de um tempo começaram a surgir erros, resultados inconsistentes e ninguém conseguia entender o que tinha mudado ou por quê.
Essa experiência me ensinou uma lição importante: fazer o modelo funcionar é só uma parte do trabalho. Colocar um sistema de ML de verdade no ar envolve muito mais. É preciso pensar em reprodutibilidade, manutenção, versionamento de dados e modelos, testes automatizados, monitoramento, e principalmente em como o modelo vai se comportar no mundo real com dados novos.
Hoje entendo que um projeto de ML bem-feito precisa seguir princípios de engenharia de software, ter pipelines automatizados, integração com sistemas de produção e visibilidade sobre o que está acontecendo. A diferença entre um experimento e um sistema de ML real está justamente na disciplina técnica e na capacidade de manter e escalar o que foi construído.