Isso significa que um aplicativo pode ler / gravar todo o conteúdo do seu cartão SD. Mesmo que o aplicativo não tenha essa permissão, ele ainda poderá ler o conteúdo do cartão sd. A concessão de permissões de modificação / gravação permitirá que o aplicativo crie, edite ou exclua arquivos.
Em 99,9% do tempo, é para que o aplicativo faça coisas como salvar dados no cartão sd. Por exemplo, podem ser imagens do aplicativo de papel de parede ou se o aplicativo é usado para fazer backup de suas mensagens sms para você, ou mesmo um aplicativo de podcast precisa salvar o arquivo mp3 no cartão sd.
Ultimamente, houve algum "barulho" em relação ao acesso dos usuários às suas fotos e outros dados no dispositivo. Você deve se lembrar que esses dispositivos não são telefones, são computadores que fazem chamadas telefônicas. Não é diferente se eu instalar um aplicativo no Windows / Linux / OSX, o aplicativo terá acesso a todos os arquivos do sistema aos quais tenho acesso.
Se você não confia em um aplicativo para instalá-lo no seu PC, não o instalaria. Você deve usar os mesmos pensamentos com o seu telefone, mas lembre-se de que você pode ter ainda mais informações pessoais no telefone do que no seu PC.