Olá galera da Alura, tive dois erros ao buildar a imagen, o primeiro referente a minha versão do jdk, que não bastou mudar a versão para 11, e o segundo ao criar o user e grupo com mesmo nome, acredito que se deva pelo fato das atualizações do docker.
Então vou compartilhar para vocês, como ficou meu Dockerfile e consegui criar a imagem:
FROM adoptopenjdk/openjdk11:latest
RUN adduser --system --group spring
USER spring:spring
ARG JAR_FILE=target/*.jar
COPY ${JAR_FILE} app.jar
ENTRYPOINT ["java", "-jar", "/app.jar"]