Olá André, tudo ok por aí ?

Gostaria de pedir desculpas pela demora em obter um retorno!

Sobre o que você trouxe aqui em seu tópico o código que você fez está quase completo, mas ele somente precisa de umas pequenas mudanças para funcionar como você descreveu, as mudanças são essas:

• Primeiramente precisamos não permitir que desenhem por cima da nossa paleta de cores, para tal assumirei que se alguém estiver entre X=0 e X=3*tamanhoQuadrados e entre Y=0 e Y=tamanhoQuadrados não poderá desenhar, mesmo que pressione o botão do mouse. Para isso, vou criar uma função chamada podeDesenharNaArea, que retornará true caso seja possível e false caso não seja. Ela receberá como parâmetro as coordenadas x e y do mouse, dessa forma:

    function podeDesenharNaArea(x, y) {
        if(x >= 0 && x < 3*tamanhoQuadrados && y >= 0 && y < tamanhoQuadrados) {
            return false;
        } else {
            return true;
        }
    }

• Eu também chamei ela dentro da function lidaComMovimentoDoMouse(), dessa forma:

function lidaComMovimentoDoMouse(evento) {
        var x = evento.pageX - tela.offsetLeft;
        var y = evento.pageY - tela.offsetTop;

        // usando a nova função
        if(desenha && podeDesenharNaArea(x,y)) {
            desenhaCirculo(x, y, 5, corAtual);
        }
    }

• Após isso precisamos detectar qual quadrado foi clicado e escolher automaticamente uma cor. Para isso criaremos uma função selecionaCor, que será associada ao evento onclick da nossa tela. Primeiro vou declarar a função sem instruções dentro do seu bloco, e vou associá-la ao evento onclick da tela, bem assim:

function selecionaCor(evento) {

        var x = evento.pageX - tela.offsetLeft;
        var y = evento.pageY - tela.offsetTop;

        // agora que sei onde o usuário clicou, posso verificar em qual cor da paleta ele esta clicando!
    }

• Também será necessário vincular a função à função de tela que recebe o onclick:

    tela.onclick = selecionaCor;

• Agora vamos implementar a lógica de colisão (Caso queira essa parte de forma detalhada é só falar que eu explico, ok).

• Nosso código final fica assim:

<meta charset="UTF-8">

<canvas width="600" height="400"></canvas>

<script>

    function desenhaQuadrado(x, y, tamanho, cor) {

        pincel.fillStyle = cor;
        pincel.fillRect(x, y, tamanho, tamanho)
        pincel.fill();
    }

    function desenhaCirculo(x, y, raio, cor) {

        pincel.fillStyle = cor; // o padrão é blue
        pincel.beginPath();
        pincel.arc(x, y, raio, 0, 2 * 3.14);
        pincel.fill();

    }

    function desenhaPaletaDeCores() {

        desenhaQuadrado(xVermelho, yQuadrados, tamanhoQuadrados, 'red');
        desenhaQuadrado(xVerde, yQuadrados, tamanhoQuadrados, 'green');
        desenhaQuadrado(xAzul, yQuadrados, tamanhoQuadrados, 'blue');

    }

    function lidaComMovimentoDoMouse(evento) {

        var x = evento.pageX - tela.offsetLeft;
        var y = evento.pageY - tela.offsetTop;

        // usando a nova função
        if(desenha && podeDesenharNaArea(x,y)) {

            desenhaCirculo(x, y, 5, corAtual);
        }
    }

    function habilitaDesenhar() {

        desenha = true;
    }

    function desabilitaDesenhar() {

        desenha = false;
    }

    function podeDesenharNaArea(x, y) {

         if(x >= 0 && x < 3*tamanhoQuadrados && y >= 0 && y < tamanhoQuadrados) {
            return false;
        } else {
            return true;
        }
    }

function selecionaCor(evento) {

        var x = evento.pageX - tela.offsetLeft;
        var y = evento.pageY - tela.offsetTop;

        // cada condição muda a variável `corAtual`

        // começamos pela condição do y que é igual em todos os casos
        if (y > yQuadrados && y < yQuadrados + tamanhoQuadrados) {

            if (x > xVermelho && x < xVermelho + tamanhoQuadrados) {

                corAtual = 'red';

            } else if (x > xVerde && x < xVerde + tamanhoQuadrados) {

                corAtual = 'green';

            } else if (x > xAzul && x < xAzul + tamanhoQuadrados) {

                corAtual = 'blue';
            }
        }
    }

    var tela = document.querySelector('canvas');
    var pincel = tela.getContext('2d');
    pincel.fillStyle = 'lightgray';
    pincel.fillRect(0, 0, 600, 400);

    var desenha = false;
    var corAtual = 'blue';
    var xVermelho = 0;
    var xVerde  = 50;
    var xAzul = 100;
    var yQuadrados = 0;
    var tamanhoQuadrados = 50;

    desenhaPaletaDeCores();

    tela.onmousemove = lidaComMovimentoDoMouse;

    tela.onmousedown = habilitaDesenhar;

    tela.onmouseup = desabilitaDesenhar;

    tela.onclick = selecionaCor;

</script>

Em geral era isso, caso precise de mais algo recorra ao fórum!

Um abraço e bons estudos.