Porque o Google dá muita importância ao erro 404?

Você tem razão. É requisição errada do cliente ou quebra na estrutura. Exemplo: o Google indexou a pagina contato.php e por algum motivo ela foi removida da raiz do site.... Logo o Google espera que o servidor possua uma regra para tratar o erro 404, seja exibindo uma pagina personalizada ou configurar uma pagina principal para jogar o cliente caso não encontre o que ele pediu.

Exemplos: A Alura trata o erro em uma pagina interna Coloquei propositalmente um link quebrado: https://www.alura.com.br/teste%20erro

Já a empresa que eu trabalho optou por direcionar a pagina home os links quebrados http://www.girassolagricola.com.br/link%20quebrado

Espero ter contribuido para o entendimento.

Se eu remover uma página qualquer do meu site, os mecanismos de pesquisa ainda estão indexando para essa página? Isso tem a ver com o sitemap ou robot.txt? No caso basta eu atualizar o sitemap e tudo resolvido? Ou eu terei que fazer um redirecionamento? Se sim, como faço esse redirecionamento?

Tanto o sitemap quanto o robot são formas de ajusar o Google. Se você envia um sitemap atualizado o sistema da Google coloca seu pedido de atualização em uma fila que pode ou não demorar paea indexar ou remover as paginas. O Robot é uma forma semelhante, mais primitiva que define se sua pagina deve ou não ser indexada ou removida.

Mas mesmo que não configure o google ainda assim verificara inevitavelmente seu site, só não terá prioridade na lista de sites a serem indexados ou dos sites a serem removidos da indexação.....