Curso oferecido pela deeplearning.ai no Coursera
É quando classificamos algo de forma binária (0 ou 1). Imagine que estamos classificando se uma dada imagem contém um gato, então a resposta pode ser 0: não contém um gato ou 1: contém um gato.
Uma forma de classificação binária é a Regressão Logística
Dado um conjunto de dados de tamanho $m$: $\{(x^{(1)},y^{(1)}),\dots,(x^{(m)},y^{(m)}\}$, queremos que a classificação $\hat{y}$ seja tal que: $\hat{y}^{(i)}\approx y^{(i)}$
Para isto estimam-se parâmetros $w\in\mathbb{R}^{n_x}$ e $b\in\mathbb{R}$ tal que:
$$ \hat{y}=\sigma(w^Tx+b) $$
Onde $\sigma(x)$ é a função sigmoide (função de ativação)
$$ \sigma(x)=\frac{1}{1+e^{-x}} $$
E $n_x$ o número de parâmetros (features), neste caso apenas 1
Define-se também uma função erro
<aside> 💬 Uma função erro é uma função que representa o erro entre a classificação e o valor real de 1 exemplo de treinamento
</aside>
Para a regressão logística é comum definir a função erro como:
$$ \mathcal{L}(\hat{y},y) = -(y\log{\hat{y}}+(1-y)\log{(1-\hat{y})}) $$
Através disso é possível definir a função custo: