Função de custo na regressão linear OLS

Estou um pouco confuso com uma palestra sobre regressão linear dada por Andrew Ng no Coursera sobre aprendizado de máquina. Lá, ele deu uma função de custo que minimiza a soma dos quadrados como:

$$\frac{1}{2m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2$$

Eu entendo de onde vem o . Eu acho que ele fez isso para que, quando ele executasse derivada no termo quadrado, os 2 no termo quadrado fossem cancelados com a metade. Mas não entendo de onde vêm os .$\frac{1}{2}$$\frac{1}{m}$

Por que precisamos fazer ? Na regressão linear padrão, não temos, simplesmente minimizamos os resíduos. Por que precisamos aqui?$\frac{1}{m}$

Como você percebe, certamente não precisamos do fator para obter regressão linear. É claro que os minimizadores serão exatamente os mesmos, com ou sem ele. Um motivo típico para normalizar por é para que possamos visualizar a função de custo como uma aproximação ao "erro de generalização", que é a perda quadrada esperada em um novo exemplo escolhido aleatoriamente (não no conjunto de treinamento):$1/m$$m$

Suponha que sejam amostrados iid de alguns distribuição. Então, para grande , esperamos que m $(X,Y),(X^{(1)},Y^{(1)}),\ldots,(X^{(m)},Y^{(m)})$$m$

$$\frac{1}{m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 \approx \mathbb{E}\left(h_\theta(X)-Y\right)^2.$$

Mais precisamente, pela Lei Forte dos Grandes Números, temos com probabilidade 1.

$$\lim_{m\to\infty} \frac{1}{m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 = \mathbb{E}\left(h_\theta(X)-Y\right)^2$$

Nota: Cada uma das instruções acima refere-se a qualquer , escolhido sem observar o conjunto de treinamento. Para aprendizado de máquina, queremos que essas instruções sejam válidas para alguns escolhidos com base em seu bom desempenho no conjunto de treinamento. Essas alegações ainda podem ser mantidas nesse caso, embora seja necessário fazer algumas suposições sobre o conjunto de funções , e precisaremos de algo mais forte do que a Lei de grandes números. $\theta$$\hat{\theta}$$\{h_\theta \,|\, \theta \in \Theta\}$

Você não precisa . A função de perda tem o mesmo mínimo, independentemente de você incluir o ou suprimi-lo. Se você incluí-lo, obtém a boa interpretação de minimizar (metade) o erro médio por ponto de dados. Em outras palavras, você está minimizando a taxa de erro em vez do erro total.$\frac{1}{m}$

Considere comparar o desempenho em dois conjuntos de dados de tamanhos diferentes. A soma bruta de erros ao quadrado não é diretamente comparável, pois conjuntos de dados maiores tendem a ter mais erro total devido ao seu tamanho. Por outro lado, o erro médio por ponto de dados é .

Você pode elaborar um pouco?

Certo. Seu conjunto de dados é uma coleção de pontos de dados . Depois de ter um modelo , o erro de mínimos quadrados de em um único ponto de dados é$\{ x_i, y_i \}$$h$$h$

$$(h(x_i) - y_i)^2$$

é claro que isso é diferente para cada ponto de dados. Agora, se simplesmente resumirmos os erros (e multiplicarmos pela metade pela razão que você descreve), obteremos o erro total

$$\frac{1}{2} \sum_i (h(x_i) - y_i)^2$$

mas se dividirmos pelo número de somas, obtemos o erro médio por ponto de dados

$$\frac{1}{2m} \sum_i (h(x_i) - y_i)^2$$

O benefício do erro médio é que, se tivermos dois conjuntos de dados e de tamanhos diferentes , poderemos comparar os erros médios, mas não os erros totais. Pois se o segundo conjunto de dados for, digamos, dez vezes o tamanho do primeiro, esperaríamos que o erro total fosse cerca de dez vezes maior para o mesmo modelo. Por outro lado, o erro médio divide o efeito do tamanho do conjunto de dados e, portanto, esperamos que modelos de desempenho semelhante tenham erros médios semelhantes em diferentes conjuntos de dados.$\{ x_i, y_i \}$$\{ x'_i, y'_i \}$