Pela mensagem de erro o comando java utilizado está com algo errado, talvez seja o \ ao invés do / ?
-javaagent:opentelemetry/opentelemetry-javaagent.jar
java -javaagent:opentelemetry/opentelemetry-javaagent.jar -Dotel.service.name=api-cursos -Dotel.traces.exporter=otlp -Dotel.metrics.exporter=none -Dotel.integration.jdbc.datasource.enabled=true -Dotel.instrumentation.jdbc.datasource.enabled=true -Dotel.exporter.otlp.endpoint=http://localhost:4318 Dotel.exporter.otlp.protocol=http/protobuf -jar target/*.jar