Estou com dúvida no curso de Introdução ao jQuery, no exercício do capítulo Criando elementos dinamicamente.

Qual a dúvida?

Para criar um novo elemento no jQuery, a sintaxe é a semelhante a de selecionar um elemento, porém ao invés de usar um seletor você irá utilizar a tag do html que você quer criar. Por exemplo:

// para selecionar um elemento pelo id
var elemento = $("#idDoElemento");
// para selecionar um elemento pela classe
var elemento = $(".classeDoElemento");
// para criar um elemento de lista, como no exercício
var elemento = $("<li>");

Você também pode definir os atributos do elemento na hora que criá-lo:

// criando elemento de lista
// e definindo class = itemLista e id = item1
var elemento = $("<li>",{"class":"itemLista",
                         "id":"item1"});

Mas lembre-se que esse modelo é só pra criar o elemento, resta ainda adicioná-lo a outro elemento.

// criando o elemento li
var elemento = $("<li>");
// adicionando o elemento li a minha lista com id #lista
$("#lista").append( elemento );
// ou 
elemento.appendTo("#lista");

Se ainda restarem dúvidas, dê uma olhada na documentação do jQuery. Ela é bem completa, e cheia de exemplos, porém está em inglês. Também procure no Stack Overflow, agora também em português, que é um fórum só de perguntas e respostas sobre linguagens de programação. Espero que eu tenha ajudado.