Estou perdendo uma explicação de por que as coisas não estão funcionando, e é por isso que estou postando uma resposta eu mesmo.
A função SUM
calcula apenas o número total de células e requer uma célula ou intervalo de células como parâmetros.
A função Concatenate
Retorna o texto e não uma célula ou intervalo de células.
Como nativamente o excel não é inteligente o suficiente para tentar se o texto contiver uma célula, o excel introduziu uma função que pode traduzir um texto contendo uma referência a uma célula para um intervalo real de células.
A função é chamada indirect
.
A função indirect
pode pegar uma célula ou texto como entrada e retorna um intervalo de células.
Sua fórmula se tornaria
=SUM($J$1, INDIRECT(CONCATENATE("$J$",VALUE(4-1))))
Ou, se você quiser copiar a célula para outra e transpor automaticamente a fórmula, ela se tornará
=SUM(J1, INDIRECT(CONCATENATE("J",VALUE(4-1))))