Bom dia William
Testei aqui numa aplicação com e sem Spring Web e só funcionou utilizando a dependência abaixo. Além disso, vou deixar as configs complementadores do JPA/Hibernate caso queira/precise utilizar.
URL que testei: http://localhost:8080/h2-console
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
# datasource
spring.datasource.driverClassName=org.h2.Driver
spring.datasource.url=jdbc:h2:mem:testdb
spring.datasource.username=sa
spring.datasource.password=
# jpa
spring.jpa.database-platform=org.hibernate.dialect.H2Dialect
spring.jpa.hibernate.ddl-auto=update
spring.jpa.properties.hibernate.show_sql=true
spring.jpa.properties.hibernate.format_sql=true
# h2
spring.h2.console.enabled=true
spring.h2.console.path=/h2-console
Bons estudos!!