Java - 522 434 228 213 caracteres
Resolve verificando sistematicamente todas as n-tuplas inteiras possíveis por multiplicação direta até encontrar um que funcione.
A função assume matriz aumentada, A, vetor de solução de teste, x, e dimensão, n, como vetor de solução de entrada e saída, x. Observe que o vetor x é na verdade um maior que a dimensão para ajudar a percorrer as possíveis soluções. (Se eu declarasse as variáveis A, x, n, j, k, s como variáveis de instância, a função seria 31 caracteres menor - para um total de 182, mas isso parece inclinar muito as regras.)
int[]Z(int[][]A,int[]x,int n){int j,k,s;for(;;){for(j=0;j<n;j++){for(k=s=0;k<n;s+=A[j][k]*x[k++]);if(s!=A[j][n])j+=n;}if(j==n)return x;for(j=0;j<=n;j++)if(x[j]!=x[n]||j==n){x[j]++;for(k=0;k<j;x[k++]=-x[n]);j=n;}}}
Programa para teste (um pouco não-destruído):
import java.util.*;
class MatrixSolver{
public MatrixSolver() {
Scanner p=new Scanner(System.in); //initialize everything from stdin
int j,k,n=p.nextInt(),A[][]=new int[n][n+1],x[]=new int[n+1];
for(j=0;j<n;j++)for(k=0;k<=n;A[j][k++]=p.nextInt());
x=Z(A,x,n); //call the magic function
for(j=0;j<n;j++) System.out.print(x[j]+" "); //print the output
}
public static void main(String[]args){
new MatrixSolver();
}
int[]Z(int[][]A,int[]x,int n){
int j,k,s;
for(;;){
for(j=0;j<n;j++){ //multiply each row of matrix by trial solution and check to see if it is correct
for(k=s=0;k<n;s+=A[j][k]*x[k++]);
if(s!=A[j][n])j+=n;
}
if(j==n)return x; //if it is correct return the trial solution
for(j=0;j<=n;j++)if(x[j]!=x[n]||j==n){//calculate the next trial solution
x[j]++;
for(k=0;k<j;x[k++]=-x[n]);
j=n;
}
}
}
}
O programa recebe a entrada do stdin como números inteiros separados por espaço, como segue: primeiro, a dimensão do problema, segundo, as entradas da matriz aumentada por linha.
Exemplo de execução:
$java -jar MatrixSolver.jar
3 2 1 -1 8 -3 -1 2 -11 -2 1 2 -3
2 3 -1
Raspei vários caracteres seguindo o conselho de Victor sobre loops e "público", armazenando o RHS na matriz aumentada em vez de separadamente e adicionando uma entrada extra à minha solução de teste para simplificar a geração de cada nova solução de teste. O OP também disse que uma função é suficiente - não é necessário contar o programa inteiro.