Eu não vi exatamente isso no Mathematica, mas acho que poder resolver um conjunto de equações para apenas um desconhecido pode ser suportado.
A maneira direta seria, obviamente, implementar os algoritmos de matriz inversa e fazê-los parar quando o elemento específico for determinado. Provavelmente seria interessante ver quais otimizações você pode ter para cada algoritmo se o objetivo é obter apenas um elemento.
Mas, de acordo com o primeiro parágrafo, uma idéia poderia ser expressar sua matriz inversa como desconhecida no sistema de equações e tentar resolver apenas o desconhecido de que você precisa (já que a solução de equações definidas para um único desconhecido deve ser suportada). Se você obtiver um desempenho melhor da memória e da CPU, pode ser seguro dizer que o Mathematica não resolveu toda a equação, mas apenas fez suas otimizações para determinar apenas o seu desconhecido. Você pode obter pior desempenho, é claro, já que não está usando algoritmos inversos diretamente. Se você decidir tentar, informe-nos se funcionou!