Olá, Evandro. Tudo bem?

Existem várias ferramentas e recursos que podem te ajudar a começar a estudar sobre isso.

Para o Instagram, uma ferramenta bastante utilizada é o Integromat (agora chamado de Make), que permite criar automações sem a necessidade de programação. Você pode, por exemplo, configurar para que novas mensagens diretas recebidas no Instagram sejam respondidas automaticamente com uma mensagem padrão.

Já para o WhatsApp, o Twilio é uma plataforma que oferece APIs para enviar e receber mensagens, incluindo a criação de chatbots para respostas automáticas. Outra opção é o WhatsApp Business API, que pode ser usado para criar soluções de automação.

Não achei na plataforma um curso específico para isso.

Espero ter ajudado.