Estimativa de posição 3D usando câmera 2D

Eu tenho uma câmera (iPhone), tenho um objeto de controle 3D na imagem que conheço muito bem suas propriedades. (Meu objeto de controle). Há também um objeto secundário em movimento. O objetivo final é estabelecer a trajetória 3D do objeto em movimento por um determinado período de tempo. (Rastreamento)

Eu gostaria de perguntar, eu poderia descobrir?

• Distância do telefone ao objeto de controle (para discussão, vamos supor que a câmera esteja a uma certa altura e a uma certa distância, nenhum deles é conhecido, mas a câmera é perpendicular à superfície conhecida)

• O objeto secundário onde eu posso localizar o objeto em cada quadro subseqüente. Meu objetivo é estimar sua trajetória 3D, como indiquei acima.

Pergunta de bônus, podemos tornar o sistema de forma que a distância do telefone ao objeto de controle possa ser definida (embora não seja a preferida), isso me ajudaria com o segundo ponto?

Se o seu objeto possui 6 pontos conhecidos (coordenadas 3D conhecidas, e Z ), é possível calcular a localização da câmera relacionada ao sistema de coordenadas dos objetos.$X, Y$$Z$

Primeiro alguns princípios.

$(X,Y,Z)$$\omega$$\textbf{X} = \omega \begin{bmatrix}X & Y & Z & 1\end{bmatrix}^T$$\omega=1$$\textbf{X} \leftarrow \frac{\textbf{X}}{\omega}$$\textbf{x} = \omega\begin{bmatrix}X & Y & 1\end{bmatrix}$$\omega, X,Y$$Z$

$3\times4$

$$\textbf{x} = P\textbf{X}$$

$\textbf{x}$$\textbf{X}$

Lembramos que o produto cruzado entre dois vetores vetores pode ser definido como multiplicação de vetores matriciais, de modo que:

$$\textbf{v} \times \textbf{u} = \\ ( \textbf{v} )_x \textbf{u} = \\ \begin{bmatrix} 0 & -v_3& v_2 \\ v_3 & 0 & -v_1 \\ -v_2 & v_1 & 0 \end{bmatrix} \textbf{u}$$

$\textbf{v} \times \textbf{v} = \textbf{0}$

$P$$\textbf{x}$

$$(\textbf{x})_x\textbf{x} = (\textbf{x})_xP\textbf{X} = \textbf{0}$$

Aha! O resultado deve ser vetor zero. Se agora abrirmos a equação, obtemos:

$$\begin{bmatrix} 0 & -w& y \\ w & 0 & -x \\ -y & x & 0 \end{bmatrix} \begin{bmatrix} P_{1,1} & P_{1,2} & P_{1,3} & P_{1,4} \\ P_{2,1} & P_{2,2} & P_{2,3} & P_{2,4} \\ P_{3,1} & P_{3,2} & P_{3,3} & P_{3,4} \end{bmatrix} \textbf{X} \\ = \begin{bmatrix} P_{3,4} W y - P_{2,1} X w - P_{2,2} Y w - P_{2,4} W w + P_{3,1} X y - P_{2,3} Z w + P_{3,2} Y y + P_{3,3} Z y \\ P_{1,4} W w + P_{1,1} X w - P_{3,4} W x + P_{1,2} Y w - P_{3,1} X x + P_{1,3} Z w - P_{3,2} Y x - P_{3,3} Z x \\ P_{2,4} W x + P_{2,1} X x - P_{1,4} W y - P_{1,1} X y + P_{2,2} Y x - P_{1,2} Y y + P_{2,3} Z x - P_{1,3} Z y \end{bmatrix} = \textbf{0}$$

$P$

$$\tiny \begin{bmatrix} 0 & 0 & 0 & 0 & - X\, w & - Y\, w & - Z\, w & - W\, w & X\, y & Y\, y & Z\, y & W\, y\\ X\, w & Y\, w & Z\, w & W\, w & 0 & 0 & 0 & 0 & - X\, x & - Y\, x & - Z\, x & - W\, x\\ - X\, y & - Y\, y & - Z\, y & - W\, y & X\, x & Y\, x & Z\, x & W\, x & 0 & 0 & 0 & 0 \end{bmatrix} \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

$\textbf{P}_n$$n$$P$

Pequena pausa para que possamos reunir nossos pontos fortes. Observe que a equação da matriz anterior deve ser formada para cada correspondência 3D-> 2D conhecida (deve haver pelo menos 6 delas).

$2\times12$$A$

$$A\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

$$\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

Felizmente, podemos usar a decomposição de valor singular (SVD) para forçar

$$\| \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} \|=1$$

$A$$P$$\begin{bmatrix} \textbf{P}_1 & \textbf{P}_2 & \textbf{P}_3 \end{bmatrix}^T$$P$

$P$

$$P = K\begin{bmatrix}R & -R\textbf{C}\end{bmatrix}$$

$\textbf{C}$$P$$P$

(Hartley, Zisserman - Geometria de Múltiplas Vistas em Visão Computacional)

$X$

$$\textbf{x}_1 = P_1 \textbf{X} \\ \textbf{x}_2 = P_2 \textbf{X} \\ $$

$$(\textbf{x}_1)_xP_1\textbf{X} = \textbf{0} \\ (\textbf{x}_2)_xP_2\textbf{X} = \textbf{0} \\ $$

E assim por diante.