Selecionar (e dimensionar) o sistema de arquivos correto é mais importante do que qualquer outra coisa, não apenas por segurança, mas por vários outros motivos que as pessoas geralmente não reconhecem. Sem um sistema de arquivos, todo o processamento seria nulo.
Resposta muito bem colocada por Olli, e o OP é muito antigo, mas os sistemas de arquivos são o meu ponto de partida que eu não poderia ficar de fora. superuser.com não é algo que visitei antes, não sou administrador, mas me inscrevi e vou visitar mais.
As coisas mudaram muito desde 2011, mas mesmo naquela época eu formatei os cartões USB FAT e usei drives USB para transportar arquivos 4Gb +. O motivo, é claro, era a compatibilidade, não a segurança (tanto para S no SD, mas eu uso senhas no meu 7z), e eu nunca carreguei nada maior que um ISO de CD, eles eram principalmente para scripts SQL e diferenças diárias de hora em hora. instantâneos de banco de dados criptografados espremidos até quase a morte pelo 7-Zip.
Hoje em dia eu uso qualquer SD mais rápido do que qualquer um que eu conheça. Eu tenho um pendrive em algumas máquinas de produção no meu empregador para backup automatizado por hora, FAT formatado. Eu fico de olho neles todos os dias e - você adivinhou - faça backup deles religiosamente à mão (eles são seguros para a construção de itens ITAR). O SSD nivelou parte do campo de jogo, mas ainda não confio neles tanto quanto no HD comum e o SD é pior que o óptico. Eles vão mal em um instante e a perda é total.
Qualquer sistema de arquivos que convida o sistema operacional host a gravar aleatoriamente nele (NTFS, Lixeira) é uma má notícia para um SD. Além disso, desmontar ajuda muito, nenhum sistema operacional tentará acessar o armazenamento desmontado; portanto, qualquer sistema de arquivos funcionará desde que o SD inclua um script para desmontar a si próprio (um dos arquivos padrão em todos os SDs do meu).
A leitura de um SD ainda é lenta hoje, então eu recomendaria algo como despejo de disco (dd) para capturar a imagem inteira ao espelhar, em vez de arquivo por arquivo. O dd também avisa quando há algo errado, para que o seu gerenciador de arquivos não funcione no kaboom.
Obviamente, se seu objetivo principal é prolongar a vida útil de alguns centavos, você está tratando seus negócios da maneira errada. Faço o que não faço para prolongar a vida de um SD, mas para evitar que ele fique ruim quando não estou assistindo, e há a diferença.
Evito ext4 ou qualquer FS de registro no diário em SD porque não me importo quando eles escrevem mal para eles, mas com certeza dói quando um dia depois eu não consigo lê-los!