JPA é uma especificação, mas nós usamos, na verdade, alguma implementação dessa especificação, tal como o Hibernate. Então é como se a JPA fosse uma interface para persistência de dados, e bibliotecas como o Hibernate implementam os métodos dessa interface?
Exatamente. Na verdade, o Java inteiro é um conjunto de Interfaces (como todo ele mesmo). As empresas implementam as JVM's (Java Virtual Machines). Além do Hibernate, temos também JDBC ou mesmo JDBI.
Espero ter ajudado. Se tiver mais dúvidas, é só pedir.