Duas abordagens possíveis
1.Crie a fórmula como um valor de texto e, em seguida, converta para uma fórmula real, por exemplo, coloque esta fórmula em B1 e copie para baixo, tanto quanto você precisa
="=MEDIAN(A"&ROWS(B$1:B1)*8-7&":A"&ROWS(B$1:B1)*8&")"
Agora converta para texto fazendo isso
Copie a coluna B, clique com o botão direito e use Colar Especial> Valores> OK
Agora converta para uma fórmula fazendo isso
Selecione a coluna B e use Data> Text to columns> Finish
2. Use esta fórmula em B1 copiada para baixo
=MEDIAN(OFFSET(A$1,ROWS(B$1:B1)*8-8,0,8))
O primeiro método é um pouco mais complexo, mas você acaba com as fórmulas MEDIANAS exatas que você queria. A segunda abordagem é mais simples e dá os resultados corretos, mas não é óbvio, olhando para as fórmulas, o que cada um está fazendo