[Dúvida] Qual é a fórmula da função ReLU? E qual é a lógica dela?

Nesse curso, a professora explicou sobre a função de ativação ReLU. Porém, eu fiquei com algumas dúvidas que gostaria de perguntar:

Imagem que a professora citou Tirei print dessa imagem mostrada no vídeo pra perguntar: Eu sei na ReLU, para qualquer número negativo, a sáida Y é sempre zero. Mais e quando o número é positivo?

Eu sempre imaginei que quando o número X fosse positivo, a saida Y seria o própio número(X). Mais nesse gráfico, quando o número X foi 1.5, a saída foi 3, e quando foi 3.8, a saída foi 4, e eu não entendi o por que. Então fiquei um pouco confuso, e comecei a me perguntar: Será que existe alguma regra diferente que eu não conheço na fórmula da função ReLU para casos onde o número é positivo e decimal?

Eu sempre imaginei que a fórmula da função fosse ReLU fosse assim:


f(x) = max (0, x)

Ou seja, se X for negativo, a saída de Y é zero. Se X for um número positivo(não importando se é decimal ou não), a saída de Y vai ser o própio número X.

PERGUNTAS:

Na fórmula da imagem, será que existe alguma regra diferente que eu não conheço na fórmula da função ReLU para casos onde o número é positivo e decimal?
Na outra fórmula que citei acima "f(x) = max (0, x)", ela está correta? Ou está faltando alguma coisa? talves alguma outra regra?

Ooi, William! Como vai?

A fórmula matemática da função ReLU é: ReLU(x)=max(0,x)

Isso significa que, para qualquer valor de entrada x, a função ReLU retorna x se x for maior que 0, e retorna 0 caso contrário. Em outras palavras:

Se x ≤ 0, então ReLU(x) = 0
Se x > 0, então ReLU(x) = x

O seu raciocínio sobre a função ReLU está correto, a ReLU, para valores positivos de x, mantém o valor original. Na aula, foi usado um exemplo para ilustrar a função, e nesse exemplo, foi escolhido um valor para y que não é exatamente igual a x.

Na função ReLU, se x for 1.5, y também será 1.5. Na aula, foi usado um valor diferente para y apenas para mostrar como a função se comporta graficamente, mostrando que números positivos se mantêm positivos.

Continue firme nos estudos, William! Você está indo bem!

Abraço!

Caso este post tenha lhe ajudado, por favor, marcar como solucionado ✓. Bons Estudos!

Mergulhe em programação