Oi Gabriel! Vou tentar esclarecer sua dúvida.
Classes são uma forma do mundo de Orientação a Objetos de representar coisas da vida real. Então, você pode pensar numa classe como uma receita de um bolo, e com o conteúdo que você coloca nela (atributos, métodos) você pode criar o bolo (objeto). Classes não são objetos, são apenas as receitas para criar o objeto.
A função class
define uma classe, da mesma forma que um def
define uma função e um método. O que vem depois do class
é o nome da classe, no caso do exemplo da aula, Conta (prestando atenção na palavra capitalizada. É um paradigma do mundo OO criar classes com a primeira letra de cada palavra maiúscula).