Como funciona a fusão de sensores? Eu quero entender a matemática / física / algoritmos

Os algoritmos de fusão de sensores podem fornecer uma orientação 3D mais precisa (e possivelmente uma posição?) De um dispositivo combinando leituras de um acelerômetro, giroscópio e magnetômetro.

Alguém pode explicar, ou fornecer links, explicando os detalhes por trás disso? Quero entender a matemática e a física, para que, se eu tiver dados brutos do sensor 9-DOF, possa implementar a fusão do sensor. Suponha que eu tenha conhecimentos suficientes de álgebra linear, cálculo etc.

Felicidades!

A fusão de sensores para orientação 3D tem como objetivo unir várias fontes de dados (sensores) para extrair informações mais precisas.

Mais especificamente, no caso de IMUs , você pode associar muitas medições (tecnicamente DoM e não DoF) para obter dados de orientação e posição (esse é o tecnicamente DoF).

Suponha que você tenha um sistema com acelerômetro, girômetro, magnetômetro, barômetro e GPS (recursos comuns para celulares de última geração e alguns recursos de placas de hardware). Aqui está o que você realmente tem:

• Você tem medição de aceleração, mas se estiver em movimento, não poderá separar qual é o componente de gravidade da aceleração e a aceleração de movimento real (a menos que você não esteja realmente se movendo e apenas a gravidade permaneça). Você pode supor que seu movimento varia mais rapidamente que a mudança de gravidade e aplicar um filtro para separar os componentes de alta frequência dos de baixa frequência, mas ainda assim não obterá bons resultados onde a suposição não se aplica (por exemplo, virar). Você também não pode simplesmente subtrair a gravidade de onde você pensa que é, simplesmente porque isso faz parte do resultado da orientação, não uma entrada. De qualquer forma, mesmo se você sabia onde a gravidade está apontando, você só vai saber onde para baixo é, mas você não saberá onde está (seu ângulo no plano perpendicular ao) vetor de gravidade.

• Você tem um girômetro que registra a proporção da curva. É não um giroscópio. Um giroscópio realmente resultaria em uma informação de atitude, enquanto você precisa integrar a saída do girosímetro para obter essa informação. O problema com esse tipo de sensor é que, primeiro, você não tem uma orientação inicial (a menos que assuma uma e as suposições tenham problemas como acima); e, segundo e mais importante, você tem preconceito e ruído (do sensor, numérico etc.), o que atrapalha qualquer integrador.

• Você tem um magnetômetro. O campo magnético da Terra é muito fraco e, portanto, sujeito a muito ruído ambiente. Pense em todos os emissores de RF como WiFi, telefone celular, rádio FM, walkie-talkies e até mesmo os mais improváveis, como rádios HAM, rádios de avião, rádios piratas e TVs / monitores. Se você acha que sua TV de tela plana de economia de energia não mexe com uma bússola, pense novamente. Então, é barulhento como o inferno. As bússolas analógicas de ímã e óleo corrigem isso imergindo a agulha em um fluido viscoso que age como um filtro passa-baixo mecânico e, por isso, não é rápido o suficiente e, mesmo assim, você ainda terá leituras erradas se estiver perto de uma linha de energia.

• Você tem um barômetro. Você pode estimar a altura com essas informações, mas na verdade é apenas uma estimativa. Assim, cuidado com os efeitos atmosféricos (se houver vento, há diferença de pressão em algum lugar) e você deve ter em mente que seus dados são relativos a alguma referência, mas não necessariamente fundamentados . Lembre-se de que geralmente a referência é no nível do mar e, ei, o nível do mar muda o tempo todo com as marés. Portanto, fornece algumas dicas sobre um único eixo de posição e geralmente é bom apenas para detectar variações.

• Você tem GPS. No entanto, o sinal de GPS é obtido dos satélites no espaço. Você realmente esperava obter informações de posição em milímetros com isso? Você pode até conseguir isso se ficar parado por muitos minutos ou até horas filtrando, mas a precisão de um metro é bastante padrão para a maioria dos receptores de GPS civis e suficiente para a maioria das aplicações comerciais. De qualquer forma, mesmo que você não tenha ruído de posição, falta de sinal em espaços fechados ou mau tempo, você ainda obterá apenas informações de posição, nada como atitude.

Com tudo isso em mente, a fusão de sensores em si é a combinação de todos os dados que você obtém para tentar obter mais precisão. Comparar o movimento comum a diferentes sensores com características diferentes é fundamental. Mas, como é, há muitas maneiras de fazer isso e cada implementação geralmente difere da outra na implementação. Algumas ideias:

• Filtrar coisas. O filtro passa-baixo e passa-alto pode melhorar os dados (cancelando algum ruído) e pode separar o que é uma informação em duas.

• A filtragem de Kalman (de várias formas) é bastante comum para limpar algum ruído e unir várias fontes, porque é computacionalmente rápida e também pode ser usada como preditor / corretor e para compensar diferenças de atraso de dados entre sensores.

• Use o conhecimento do problema para aprimorar as equações de comparação. Use a orientação atual mais estimativas futuras para prever a gravidade; integrar a aceleração para obter velocidade; integre-se novamente para obter a posição, use o GPS para corrigi-lo, filtrar e derivar de volta para obter estimativas; o GPS também possui algumas informações de velocidade dos efeitos doppler, então use isso; use a diluição da posição do GPS para estimar quão precisos são os seus dados de GPS; integrar o girômetro para corrigir o próximo vetor gravitacional; passe baixo o magnetômetro e use como uma referência norte fraca, com a declinação magnética corrigida da posição do GPS; use as informações do barômetro desde o início para obter um nível aproximado do solo e derivar os dados de pressão para aprimorar as informações da posição Z. Crie seu próprio método.

• Filtre tudo, mas não filtre muito ou você não obterá informações úteis.

• Mesmo que o "Sensor Fusion" seja vendido como um método pronto, é quase um problema em aberto. Mesmo o uso de métodos estabelecidos ainda exigirá bastante ajuste para obter os melhores resultados, explorar diferentes características do sensor e obter melhores dados.

Os sensores fornecem informações analógicas ou digitais sobre uma realidade difícil de entender. Assim como seus sentidos.

Os sensores são projetados para capturar uma parte especial de um fenômeno mensurável: elétrico, químico, físico ... Assim como seus sentidos. Os cinco habituais são visão, audição, toque, olfato e paladar, mas há mais nas habilidades humanas.

Entender um fenômeno físico por meio do processamento de sinais é como tentar distinguir os principais ingredientes da receita da refeição que você pediu em um restaurante na noite passada. Você não sabe o que aconteceu na cozinha, mas escolheu o que pedir e viu, provou, cheirou e até tocou o prato.

Cada um dos seus sentidos e compreensão lhe deu dicas ou conhecimentos, mas você nunca pode ter certeza, pois alguns cozinheiros dominam a decepção. O que você vê como uma marmelada verde artificial feita de morangos pode ter gosto de geléia de maçã.

Com base na sua experiência culinária, a combinação de todos os seus sentidos pode aproximá-lo da receita real, desde que:

1. você pode usar seus sentidos com bastante frequência: se você der apenas uma mordida a cada 10 dias, é improvável que você obtenha o menu. Isso é amostragem de dados;
2. cada sentido é sensível o suficiente. Essa é a sensibilidade do sensor;
3. sua lista de sentidos está quase completa e a cobertura é suficiente para o seu propósito. Se você não puder mais provar o açúcar, não poderá cozinhar algumas refeições para pessoas que ainda podem prová-lo. Este é o período de medição;
4. você é capaz de inferir ou modelar alguns dos processos dos quais você não conhece. Isso é modelagem.

A fusão de sensores é a arte e a ciência de combinar dados sensoriais, conhecimentos e modelos de fontes diferentes, para que as informações resultantes tenham mais validade ou menos incerteza do que as fontes individuais.

Exemplos: o ato de calcular a média dos dados do sensor para o mesmo sinal determinístico, com diferentes realizações estocásticas de um termo de ruído, é a operação mais básica de fusão do sensor. Com o modelo de ruídos gaussianos independentes de desvio , a média produz teoricamente um desvio (menos incerto). A combinação de três canais (vermelho, azul, verde) oferece uma imagem colorida (mais válida que uma escala de cinza monocanal).$N$$\sigma$$\frac{\sigma}{\sqrt{N}}$

O primeiro exemplo combina informações de um único modelo de sensor. O segundo, de sensores que operam no mesmo domínio (ondas eletromagnéticas), mas em diferentes partes do espectro. Em geral, a fusão opera em diferentes sensores com diferentes taxas, faixas, domínios e principalmente unidades.

O problema depende muito do fenômeno que você está olhando, dos sensores disponíveis e das informações que você está procurando.

A física informa as informações em potencial que você pode obter de seus sensores. A matemática pode modelar como eles são relacionados ou complementares, ou o que é informação irrelevante (ruído). Os algoritmos combinarão o conhecimento anterior da melhor maneira possível, em termos de precisão, exatidão ou velocidade.

O tópico está relacionado aos domínios de fusão de sensores , fusão de dados ou integração de informações , com uma breve visão geral em Princípios e técnicas para fusão de dados de sensores . Muitos outros livros estão disponíveis, como no livro Melhor para aprender a fusão de sensores, especificamente em relação à integração IMU e GPS .

Em relação ao seu problema real, um primeiro passo consistiria em entender quais são as diferenças entre um giroscópio, acelerômetro e magnetômetro? o que poderia ajudá-lo a avançar um pouco mais nas técnicas. E alcance o objetivo da fusão: usando as diferenças dos sensores, some os dados da maneira mais inteligente .

Roger R Labbe Jr explica isso em seu fantástico livro " Kalman and Bayesian Filters in Python " como

Você não pode descartar nenhuma informação, mesmo que seja barulhenta.

Dois gaussianos são sempre melhores que um na estrutura bayesiana. Se você multiplicar dois gaussianos, terá uma matriz de covariância menor.