Como calcular o número de recursos com base na resolução da imagem?

18

Acabamos de abordar a Hipótese não linear de redes neurais de Andrew Ng, e tivemos uma pergunta de múltipla escolha para determinar o número de recursos para uma imagem da resolução 100x100 das intensidades de escala de escala .

E a resposta foi 50 milhões, x $5$ $10^7$

No entanto, anteriormente, para uma imagem em escala de cinza de 50 x 50 pixels. o número de recursos é 50x50 (2500)

Por que seria x vez de ? $5$ $10^7$ $10,000$

No entanto, ele diz que inclui todos os termos quadráticos ( ) como recursos $x_ix_j$

Suponha que você esteja aprendendo a reconhecer carros a partir de imagens de 100 × 100 pixels (escala de cinza, não RGB). Deixe os recursos serem valores de intensidade de pixel. Se você treina a regressão logística, incluindo todos os termos quadráticos ( ) como recursos, sobre quantos recursos você terá? $x_ix_j$

e no slide anterior sobre 100x100, que os recursos quadráticos ( x ) = 3 milhões de recursos, mas ainda não consigo a conexão. $x_i$ $x_j$

feature-selection image-processing

— Iancovici
fonte

16

Talvez um caso mais simples torne as coisas mais claras. Digamos que escolhemos uma amostra de 1x2 de pixels em vez de 100x100.

Pixels de exemplo da imagem

+----+----+
| x1 | x2 |
+----+----+

Imagine ao plotar nosso conjunto de treinamento, percebemos que ele não pode ser separado facilmente com um modelo linear; portanto, optamos por adicionar termos polinomiais para melhor ajustar os dados.

Digamos que decidimos construir nossos polinômios incluindo todas as intensidades de pixel e todos os múltiplos possíveis que podem ser formados a partir deles.

Como nossa matriz é pequena, vamos enumerá-las:

x_{1}, x_{2}, x_{1}^{2}, x_{2}^{2}, x_{1} \times x_{2}, x_{2} \times x_{1}

$x_1,\ x_2,\ x_1^2,\ x_2^2,\ x_1 \times x_2,\ x_2 \times x_1$

A interpretação da sequência de recursos acima pode ver que existe um padrão. Os dois primeiros termos, grupo 1, são recursos que consistem apenas na intensidade de pixels. Os dois termos a seguir, grupo 2, são características que consistem no quadrado de sua intensidade. Os dois últimos termos, grupo 3, são o produto de todas as combinações de intensidades em pares (dois) de pixels.

grupo 1: $x_1,\ x_2$

grupo 2: $x_1^2,\ x_2^2$

grupo 3: $x_1 \times x_2,\ x_2 \times x_1$

Mas espere, há um problema. Se você observar os termos do grupo 3 na sequência ( e ), notará que eles são iguais. Lembre-se do nosso exemplo de moradia. Imagine ter dois recursos x1 = metragem quadrada e x2 = metragem quadrada, para a mesma casa ... Isso não faz nenhum sentido! Ok, então precisamos nos livrar do recurso duplicado, digamos arbitrariamente . Agora podemos reescrever a lista de recursos do grupo três como: $x_1 \times x_2$ $x_2 \times x_1$ $x_2 \times x_1$

grupo 3: $x_1 \times x_2$

Contamos os recursos nos três grupos e obtemos 5.

Mas este é um exemplo de brinquedo. Vamos derivar uma fórmula genérica para calcular o número de recursos. Vamos usar nossos grupos originais de recursos como ponto de partida.

$size group 1 + size group 2 + size group 3 = m \times n + m \times n +m \times n = 3 \times m \times n$

Ah! Mas tivemos que nos livrar do produto duplicado no grupo 3.

Portanto, para contar adequadamente os recursos do grupo 3, precisaremos de uma maneira de contar todos os produtos exclusivos em pares na matriz. O que pode ser feito com o coeficiente binomial, que é um método para contar todos os possíveis subgrupos exclusivos de tamanho k de um grupo igual ou maior de tamanho n. Portanto, para contar adequadamente os recursos do grupo 3, calcule . $C(m \times n, 2)$

Portanto, nossa fórmula genérica seria:

m \times n + m \times n + C (m \times n, 2) = 2 m \times n + C (m \times n, 2)

$m \times n + m \times n +C(m \times n, 2) = 2m \times n + C(m \times n, 2)$

Vamos usá-lo para calcular o número de recursos em nosso exemplo de brinquedo:

2 \times 1 \times 2 + C (1 \times 2, 2) = 4 + 1 = 5

$2 \times 1 \times 2 + C(1 \times 2, 2) = 4 + 1 = 5$

É isso aí!

— Anwar A. Ruff
fonte

2

Gostaria que essa explicação tivesse sido dada na palestra!

— Ian Walker-Sperber

Eu estou querendo saber como devemos saber isso no curso sem ser explicado

— Mohammed Noureldin 26/02

6

Se você estiver usando todos os recursos lineares e quadráticos, o número total deve ser:

100*100 + 100*100 + C(100*100,2) = 50015000
10000   + 10000   + 49995000     = 50015000
xi         xi^2       xixj

— lennon310
fonte

1

Você pode explicar um pouco mais? você está dizendo xi + xi ^ 2 + xixi? Xi = 100 e xj = 100? por que xi e xi ^ 2 são ambos 100 * 100? O que é C (100 * 100,2)?

— 21913 Iancovici

4

(1) existem totalmente 100 * 100 pixels; se você estiver usando intensidade como recursos, haverá 100 * 100 recursos no total, ou seja, xi; e (ii) você também pode usar a densidade de potência como um recurso, que é (xi, xi) ou xi. ^ 2, ainda 100 * 100 no total; finalmente (iii) se você usar as correlações entre dois pixels, haverá C pares de pixels no total, isto é (xi, xj), C é uma combinação em matemática ( mathworld.wolfram.com/Combination.html )

— lennon310

Obrigado, uma última pergunta é por que xi = xi ^ 2 nesse contexto?

— Iancovici

Eu usei xi para representar um pixel e xi ^ 2 significa usar pares do mesmo pixel (xi, xi). O número de pixels únicos é o mesmo de pares do mesmo pixel. Não tem nada a ver com a intensidade do pixel. Desculpe pela confusão.

— lennon310

Mesma pergunta, alguns anos depois. Não devemos levar em conta também os possíveis valores de intensidade (de 0 a 255)?

— albus_c

0

A idéia de ( ) / 2 também pode funcionar para obter os recursos quadráticos. Portanto, se n = 2500, sabemos que x (i) = 2500 e substituindo x na fórmula dará 50 milhões $x^2$

— Opetunde Adepoju
fonte

2

2500^{2} / 2 \approx 3

$2500^2/2 \approx 3$

50

$50$

0

O @whuber 50 milhões chega quando você tem uma imagem de 100 * 100 pixels. onde quadrado (100 * 100) = 100000000 (10 milhões) e quadrado (100 * 100) / 2 = 5 milhões. Espero que isso responda.

— Tahir Ahmad
fonte

Esta é uma resposta a um comentário e não uma resposta a esta pergunta.

— Michael R. Chernick 28/07