Olá, Davi.

Tudo bem?

Pensando no funcionamento não há diferença, os dois irão submeter o formulário. Se atributo type estiver ausente da tag <button>, o comportamento padrão será de submit.

A diferença fica na declaração das tags e na área visual.

A tag <input> contém um atributo de valor value que é exibido e geralmente não é fechada ou é auto fechada. Exemplo:

<input type="submit" value="Submit" />

Note que o value do <input> que é enviado ao servidor é sempre igual ao texto exibido no botão, acoplando a parte visual com uma implementação que dependa desse valor. Não é uma boa prática, sendo que botões com imagens eram usados como alternativas.

Por outro lado, <button> tem um conteúdo entre a tag de abertura e fechamento, sendo mais flexível do que a tag tradicional, permitindo, por exemplo, imagens e mais estilos visuais. Exemplo:

<button type="submit" name="myButton" value="foo">Click me</button>

Espero ter ajudado. Qualquer dúvida manda aqui de novo! Valeu Davi.