Como o redimensionamento de uma imagem afeta a matriz intrínseca da câmera?

18

Eu tenho uma matriz de câmera (conheço parâmetros intrínsecos e extrínsecos) conhecidas por imagens de tamanho HxW. (Eu uso essa matriz para alguns cálculos que preciso).

Quero usar uma imagem menor, digamos: (metade do original). Que mudanças eu preciso fazer na matriz para manter a mesma relação? $\frac{H}{2}\times \frac{W}{2}$

I têm, como a parâmetros intrínsecos, ( , rotação e tradução) $K$ $R$ $T$

cam = K \cdot [R T]

$\text{cam} = K \cdot [R T]$

K = (\begin{matrix} a_{x} & 0 & u_{0} \\ 0 & a_{y} & v_{0} \\ 0 & 0 & 1 \end{matrix})

$K = \left( \begin{array}&a_x &0 &u_0\\0 &a_y &v_0 \\ 0 &0 &1\end{array} \right)$

$K$ é 3 * 3, pensei em multiplicar , , e por 0,5 (o fator em que a imagem foi redimensionada), mas não tenho certeza. $a_x$ $a_y$ $u_0$ $v_0$

— matlabit
fonte

13

Nota: Isso depende de quais coordenadas você usa na imagem redimensionada. Estou assumindo que você está usando um sistema baseado em zero (como C, ao contrário Matlab) e 0 é transformado em 0. Além disso, estou assumindo que você não tem inclinação entre coordenadas. Se você tem uma inclinação, ela deve ser multiplicada também

Resposta curta : Supondo que você esteja usando um sistema de coordenadas no qual , sim, você deve multiplicar por 0,5 $u' = \frac{u}{2} , v' = \frac{v}{2}$ $a_x,a_y,u_0,v_0$

Resposta detalhada A função que converte um ponto nas coordenadas mundiais em coordenadas da câmera é: $P$ $(x,y,z,1)->(u,v,S)$

(\begin{array}{ccc} a_{x} & 0 & u_{0} \\ 0 & a_{y} & v_{0} \\ 0 & 0 & 1 \end{array}) (\begin{array}{ccc} R_{11} & R_{12} & R_{13} & T_{x} \\ R_{21} & R_{22} & R_{23} & T_{y} \\ R_{31} & R_{32} & R_{33} & T_{z} \\ 0 & 0 & 0 & 1 \end{array}) (\begin{array}{ccc} x \\ y \\ z \\ 1 \end{array})

$\left( \begin{array}{ccc} a_x & 0 & u_0 \\ 0 & a_y & v_0 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{ccc} R_{11} & R_{12} & R_{13} & T_x \\ R_{21} & R_{22} & R_{23} & T_y \\ R_{31} & R_{32} & R_{33} & T_z \\ 0 & 0& 0 & 1 \end{array} \right) \left( \begin{array}{ccc} x \\ y \\ z \\ 1 \end{array} \right)$

Onde , uma vez que as coordenadas são homogêneas. $(u,v,S)->(u/S,v/S,1)$

Em resumo, isso pode ser escrito como que é o produto das duas matrizes mencionadas acima e é o i ' th linha da matriz . (O produto é um produto escalar). $u= \frac{m_1 P}{m_3 P} , v = \frac{m_2 P}{m_3 P}$
$M$ $m_i$ $M$

O redimensionamento da imagem pode ser pensado em:

u^{'} = u / 2, v^{'} = v / 2

$u'=u/2, v'=v/2$

portanto

u^{'} = (1 / 2) \frac{M_{1} P}{M_{3} P} v^{'} = (1 / 2) \frac{M_{2} P}{M_{3} P}

$u' = (1/2) \frac {M_1 P} {M_3 P} \\ v' = (1/2) \frac {M_2 P} {M_3 P}$

A conversão de volta para a forma de matriz nos fornece:

(\begin{array}{ccc} 0.5 & 0 & 0 \\ 0 & 0.5 & 0 \\ 0 & 0 & 1 \end{array}) (\begin{array}{ccc} a_{x} & 0 & u_{0} \\ 0 & a_{y} & v_{0} \\ 0 & 0 & 1 \end{array}) (\begin{array}{ccc} R_{11} & R_{12} & R_{13} & T_{x} \\ R_{21} & R_{22} & R_{23} & T_{y} \\ R_{31} & R_{32} & R_{33} & T_{z} \\ 0 & 0 & 0 & 1 \end{array}) (\begin{array}{ccc} x \\ y \\ z \\ 1 \end{array})

$\left( \begin{array}{ccc} 0.5 & 0 & 0 \\ 0 & 0.5 & 0 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{ccc} a_x & 0 & u_0 \\ 0 & a_y & v_0 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{ccc} R_{11} & R_{12} & R_{13} & T_x \\ R_{21} & R_{22} & R_{23} & T_y \\ R_{31} & R_{32} & R_{33} & T_z \\ 0 & 0& 0 & 1 \end{array} \right) \left( \begin{array}{ccc} x \\ y \\ z \\ 1 \end{array} \right)$

Qual é igual a

(\begin{array}{ccc} 0.5 a_{x} & 0 & 0.5 u_{0} \\ 0 & 0.5 a_{y} & 0.5 v_{0} \\ 0 & 0 & 1 \end{array}) (\begin{array}{ccc} R_{11} & R_{12} & R_{13} & T_{x} \\ R_{21} & R_{22} & R_{23} & T_{y} \\ R_{31} & R_{32} & R_{33} & T_{z} \\ 0 & 0 & 0 & 1 \end{array}) (\begin{array}{ccc} x \\ y \\ z \\ 1 \end{array})

$\left( \begin{array}{ccc} 0.5 a_x & 0 & 0.5 u_0 \\ 0 & 0.5 a_y & 0.5 v_0 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{ccc} R_{11} & R_{12} & R_{13} & T_x \\ R_{21} & R_{22} & R_{23} & T_y \\ R_{31} & R_{32} & R_{33} & T_z \\ 0 & 0& 0 & 1 \end{array} \right) \left( \begin{array}{ccc} x \\ y \\ z \\ 1 \end{array} \right)$

Para informações adicionais, consulte Forsyth , capítulo 3 - Calibração geométrica da câmera.

— Andrey Rubshtein
fonte

Muito obrigado pela explicação !!! Não sei ao certo o que você quer dizer com sistema baseado em zero. Estou usando o matlab. Preciso de outros ajustes?

— matlabit

@matlabit, Se você estiver usando o Matlab, use a transformação com , pois ele possui indexação baseada em uma (Primeira elemento é 1, não 0). Tente calcular a matriz relevante neste caso. Se você não precisa de precisão sub-pixel, basta ignorá-lo e usar a fórmula que eu forneci.

u^{'} = (u - 1) / 2 + 1, v^{'} = (v - 1) / 2 + 1

$u' = (u-1)/2 + 1 , v' = (v-1)/2 + 1$

— precisa saber é o seguinte

8

Andrey mencionou que sua solução assume que 0 é transformado em 0. Se você estiver usando coordenadas de pixel, provavelmente isso não é verdade quando você redimensiona a imagem. A única suposição que você realmente precisa fazer é que sua transformação de imagem possa ser representada por uma matriz 3x3 (como Andrey demonstrou). Para atualizar a matriz da câmera, basta pré-multiplicá-la pela matriz que representa a transformação da imagem.

[new_camera_matrix] = [image_transform]*[old_camera_matrix]

Como exemplo, suponha que você precise alterar a resolução de uma imagem por um fator e esteja usando 0 coordenadas de pixel indexadas. Suas coordenadas são transformadas pelos relacionamentos $2^n$

$x' = 2^n*(x+.5)-.5$

$y' = 2^n*(y+.5)-.5$

isso pode ser representado pela matriz

$\left( \begin{array}{ccc} 2^n & 0 & 2^{n-1}-.5 \\ 0 & 2^n & 2^{n-1}-.5 \\ 0 & 0 & 1 \end{array} \right)$

então sua matriz de câmera final seria

$\left( \begin{array}{ccc} 2^n & 0 & 2^{n-1}-.5 \\ 0 & 2^n & 2^{n-1}-.5 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{ccc} ax & 0 & u_0 \\ 0 & ay & v_0 \\ 0 & 0 & 1 \end{array} \right)$

— Martelo
fonte

Você poderia explicar por que você adiciona 0,5 e depois subtrai 0,5? 0.5 aplica-se apenas à escala com um fator ? Caso contrário, como calcular esse número de sub-pixel?

2^{n}

$2^n$

— Gurumonster

1

Eu acho que o ponto é que o centro do pixel "0, 0" não está realmente em "0, 0" (= canto superior esquerdo do pixel), mas em "0,5, 0,5". Portanto, você deve contabilizar esse deslocamento antes e depois da transformação, e o fator é sempre 0,5, independentemente do fator de escala.

— Jan Rüegg 02/02

Sim, é exatamente isso

— Hammer