o comando COPY do dockerfile, cria uma pasta no container?

Sim, será criado um diretório no container, porém, sua localização depende do parâmetro WORKDIR. No caso acima (COPY . ./app) o ./ é um caminho relativo, que utiliza o paramento WORKDIR para criar. Então, por exemplo, se a imagem que você está utilizando possui o WORKDIR com valor /aqui(varia dependndo da imagem utilizada no argumento FROM) o seu comando acima criaria o diretório /aqui/app e não /app. Também é possível utilizar o argumento WORKDIR no seu dockerfile especificando um local para executar as instruções, ou então, utilizar caminhos absolutos. Assim, para criar um diretório /app seria necessário passar o caminho completo, a partir do diretório raíz do sistema (/). O comando para isso seria: COPY . /app, sem o . (ponto).

https://docs.docker.com/engine/reference/builder/#copy