A maneira de "iniciar" a matriz que você deseja é:
arr = np.empty((0,3), int)
Que é uma matriz vazia, mas tem a dimensionalidade adequada.
>>> arr
array([], shape=(0, 3), dtype=int64)
Não se esqueça de anexar ao longo do eixo 0:
arr = np.append(arr, np.array([[1,2,3]]), axis=0)
arr = np.append(arr, np.array([[4,5,6]]), axis=0)
Mas, @jonrsharpe está certo. De fato, se você for anexar um loop, seria muito mais rápido anexar a uma lista como no seu primeiro exemplo, depois converter para uma matriz numpy no final, já que você realmente não está usando numpy como pretendido durante o loop:
In [210]: %%timeit
.....: l = []
.....: for i in xrange(1000):
.....: l.append([3*i+1,3*i+2,3*i+3])
.....: l = np.asarray(l)
.....:
1000 loops, best of 3: 1.18 ms per loop
In [211]: %%timeit
.....: a = np.empty((0,3), int)
.....: for i in xrange(1000):
.....: a = np.append(a, 3*i+np.array([[1,2,3]]), 0)
.....:
100 loops, best of 3: 18.5 ms per loop
In [214]: np.allclose(a, l)
Out[214]: True
A maneira numpythonic de fazer isso depende da sua aplicação, mas seria mais como:
In [220]: timeit n = np.arange(1,3001).reshape(1000,3)
100000 loops, best of 3: 5.93 µs per loop
In [221]: np.allclose(a, n)
Out[221]: True