Fiz um pouco diferente e deu certo, limitando com if, else a parte de não poder desenhar dentro da função lidaComMovimentoDoMouse.
Muito bom o exercício, quebrei bastante a cabeça!
<meta charset="UTF-8">
<canvas width="600" height="400"></canvas>
<script>
var x;
var y;
function desenhaQuadrado(x, y, tamanho, cor) {
pincel.fillStyle = cor;
pincel.fillRect(x, y, tamanho, tamanho)
pincel.fill();
}
function desenhaCirculo(x, y, raio, cor) {
pincel.fillStyle = cor;
pincel.beginPath();
pincel.arc(x, y, raio, 0, 2 * 3.14);
pincel.fill();
}
function desenhaPaletaDeCores() {
desenhaQuadrado(xVermelho, yQuadrados, tamanhoQuadrados, 'red');
desenhaQuadrado(xVerde, yQuadrados, tamanhoQuadrados, 'green');
desenhaQuadrado(xAzul, yQuadrados, tamanhoQuadrados, 'blue');
}
function lidaComMovimentoDoMouse(evento) {
x = evento.pageX - tela.offsetLeft;
y = evento.pageY - tela.offsetTop;
if(x < 3*tamanhoQuadrados && y < tamanhoQuadrados){
}else if(desenha) {
desenhaCirculo(x, y, 5, corAtual);
}
}
function habilitaDesenhar() {
desenha = true;
}
function desabilitaDesenhar() {
desenha = false;
}
var tela = document.querySelector('canvas');
var pincel = tela.getContext('2d');
pincel.fillStyle = 'lightgray';
pincel.fillRect(0, 0, 600, 400);
var desenha = false;
var corAtual = 'blue';
var xVermelho = 0;
var xVerde = 50;
var xAzul = 100;
var yQuadrados = 0;
var tamanhoQuadrados = 50;
desenhaPaletaDeCores(); // mostra os quadrados de seleção de cores
tela.onmousemove = lidaComMovimentoDoMouse;
tela.onmousedown = habilitaDesenhar;
tela.onmouseup = desabilitaDesenhar;
function mudaCor(){
if( (x > xVermelho) // parâmetro da vermelha
&& (x < xVermelho + tamanhoQuadrados )
&& (y > yQuadrados)
&& (y < tamanhoQuadrados) ) {
corAtual = 'red';
}
if( (x > xVerde) // parâmetro da verde
&& (x < xVerde + tamanhoQuadrados)
&& (y > yQuadrados)
&& (y < tamanhoQuadrados) ) {
corAtual = 'green';
}
if( (x > xAzul) // parâmetro da azul
&& (x < xAzul + tamanhoQuadrados)
&& (y > yQuadrados)
&& (y < tamanhoQuadrados) ) {
corAtual = 'blue';
}
}
tela.onclick = mudaCor;
</script>