O exemplo que você deu de colher 4 amostras e calcular a média é como um filtro passa-baixo de pobre. Geralmente as coisas não são tão simples assim. Mas, para entender, há algum valor em usar esses exemplos simples.
Um filtro passa-baixo é como colher 4 amostras e fazer uma média. Ex:
samples = [6 1 -10 -4];
avg_value = mean(samples) = -1.75
O filtro passa-alto está removendo o termo "DC". Ou, de maneira mais geral, está removendo os dados que não estão mudando. Uma maneira simples de pensar nisso é subtrair seu valor médio de cada amostra. Ex:
samples = [6 1 -10 -4];
avg_value = mean(samples) = -1.75;
high_pass = samples-avg_value;
high_pass: [7.75 2.75 -8.25 -2.25]
Agora, se você tomar a média do sinal "passa alto", acaba recebendo 0.
Esses dois 'filtros' que mencionei são ao extremo, pois você tem um filtro que apenas fornece DC e outro filtro que apenas remove DC. Basicamente, o que você acaba obtendo é esse filtro ideal, onde o filtro passa-baixo fornece o verde e o filtro passa passa a amarelo.
A maioria dos filtros que você usará terá uma resposta mais parecida com esta para uma passagem baixa:
e isso para um passe alto: