Se você procurar a definição de um vetor e um ponto, então um vetor é:
Uma quantidade, como velocidade, completamente especificada por uma magnitude e uma direção.
http://www.thefreedictionary.com/vector
E um ponto é:
Um objeto geométrico sem dimensão que não possui propriedades, exceto localização.
http://www.thefreedictionary.com/point
Então, você poderia dizer que um vetor é uma direção com escala e um ponto é um local.
Então, se você transformar um vetor, basta girá-lo e escalá-lo. Com um ponto, você também o converte (a rotação e o dimensionamento de um ponto estão em torno da origem, uma vez que emite apenas um local, o ponto em si não pode ser girado).
Na maioria das vezes, um vetor e um ponto são colocados no mesmo contêiner, um vetor com 4 componentes. A única diferença é o componente w. Se o componente w for 0, é uma direção. Se for 1, o vetor é um ponto.
A razão para isso pode ser encontrada na própria matriz. Ele utiliza a maneira como você multiplica um vetor com 4 componentes com uma matriz 4x4. Se você não sabe como isso funciona, sugiro um google rápido.
⎡⎣⎢⎢⎢rot+scalerot+scalerot+scale0rot+scalerot+scalerot+scale0rot+scalerot+scalerot+scale0translationtranslationtranslation1⎤⎦⎥⎥⎥
Como você pode ver, se o último componente for 0, você terá uma multiplicação com 0 e, portanto, o resultado será 0 e não haverá conversão.
Isso facilita na computação gráfica com objetos poligonais. Você tem a mesma matriz de transformação para transformar as posições, mas também as normais. Como os normais têm seu componente w definido como 0 e o componente w das posições é 1, os normais são apenas rotacionados (e também redimensionados, o que pode levar a coisas estranhas, portanto, na maioria das vezes, o normal é normalizado depois. Não é ' Na verdade, é recomendável usar a mesma matriz para posições e rotações por causa de coisas estranhas! Veja o comentário de @JarkkoL.) e as posições são traduzidas (e giradas e redimensionadas em torno da origem).
Espero não ter cometido um erro: P, e isso ajudou você!