Calibração da câmera / modelo de câmera com furo de pino e elaboração da posição 3d

Eu tenho uma câmera calibrada e tenho os parâmetros intrínsecos. Eu também tenho os parâmetros extrínsecos relativos a um ponto (a origem do mundo) em uma superfície plana no mundo real. Este ponto que estabeleci como origem no mundo real coordena [0,0,0] com um normal de [0,0,1].

A partir desses parâmetros extrínsecos, posso determinar a posição e a rotação da câmera nas coordenadas 3d do plano mundial usando isso aqui: http://en.wikipedia.org/wiki/Camera_resectioning

Agora eu tenho um segundo ponto que extraí as coordenadas da imagem para [x, y]. Como obtenho agora a posição 3D deste ponto no sistema de coordenadas do mundo?

Acho que a intuição aqui é que preciso traçar um raio que vai do centro óptico da câmera (para o qual agora tenho a posição 3D conforme descrito acima), através do plano de imagem [x, y] da câmera e depois através do meu plano do mundo real, que defini no topo.

Agora eu posso cruzar um raio 3d de coordenadas mundiais com um avião, como eu sei normal e apontar para esse plano. O que não entendo é como descubro a posição e a direção 3d quando ela sai do plano da imagem através de um pixel. É a transformação através de diferentes sistemas de coordenadas que está me confundindo.

Se você tem os extrínsecos, é muito fácil. Ter extrínseca é o mesmo que ter "pose de câmera" e o mesmo que ter homografia. Verifique esta postagem no stackoverflow.

Você tem elementos extrínsecos, também chamados de pose da câmera, que são descritos como tradução e rotação:

$\displaystyle Pose =\begin{bmatrix}R|t \end{bmatrix} = \begin{bmatrix}R_{11} &R_{12}&R_{13}&t_x\\R_{21}&R_{22}&R_{23}&t_y\\R_{31}&R_{32}&R_{33}&t_z \end{bmatrix}$

Você pode obter Homografia da Pose desta maneira:

$\displaystyle H = \frac{1}{t_z}\begin{bmatrix}{R_{1x}}&{R_{2x}}&{t_x}\\{R_{1y}}&{R_{2y}}&{t_y}\\{R_{1z}}&{R_{2z}}&{t_z}\end{bmatrix}$

Em seguida, você pode projetar seus pontos 2D nos pontos 3D correspondentes, multiplicando a homografia pelos pontos:

$p_{2D}=\begin{bmatrix}x &y &1\end{bmatrix}\quad$ add$\quad z=1\quad$ para torná-los homogêneos

$p_{3D}=H*p_{2D}$

$p= p / p(z)\quad$ Normalize os pontos

Você tem duas opções: use retroprojeção ou projeção entre dois planos (homografia).

Na retroprojeção, você pega uma pseudo inversa da matriz da sua câmera e multiplica o resultado com sua apresentação homogênea do ponto da imagem:$P$

$\textbf{C}$$\textbf{X}$$\textbf{V} = \omega\begin{bmatrix}X & Y & Z & 1\end{bmatrix}^T$$\omega=1$

Se você tiver o plano poderá resolver a equação para .L ( t ) = Π $\Pi = \begin{bmatrix}\pi_1 & \pi_2 & \pi_3 & \pi_4\end{bmatrix}^T, \pi_1X + \pi_2Y + \pi_3Z + \pi_4 = 0$$\textbf{L}(t) = \Pi$$t$

Se você optar por usar a homografia, precisará calcular a matriz de homografia definida como projeção entre o plano da imagem e o plano do sensor da câmera:$3\times3$$H$

$\textbf{x}$

$H$

$d$$\textbf{T} = -R\textbf{C}$

Você não pode saber a posição 3d do segundo ponto. Pode ser qualquer um dos pontos no raio do centro da câmera até o infinito.

Você pode fazer o seguinte:

• Crie um espaço 3D predefinido que se assemelhe à cena da vida real
• Obtenha mais pontos de imagens de um ângulo diferente. Usando a interseção dos raios de diferentes ângulos, é possível obter uma aproximação do ponto 3D.