Fala Leandro, tudo bem?

O break funciona apenas em loopings! Nesse caso, para parar a função você pode utilizar a palavra return, assim:

function desenhaCirculo(evento) {

        var x = evento.pageX - tela.offsetLeft;
        var y = evento.pageY - tela.offsetTop;

        if (evento.shiftKey) 
           raio = raio + 10;

        if(raio > 40 && raio < 10)
            return;

        if(evento.altKey)
            raio = raio + 10;

        pincel.fillStyle = 'blue';
        pincel.beginPath();
        pincel.arc(x, y, raio, 0, 2 * 3.14);
        pincel.fill();

    }

Passamos return pois toda função se encerra ao encontrar um return, essa palavra serve justamente para retornar algo, porém como não estamos passando nada para ser retornado, a função simplesmente parará. Leia sobre o break e o return na documentação do JavaScript para que possa entender melhor como ambos funcionam!

Espero ter ajudado, bons estudos :D