Aqui está uma teoria deflacionária: algo é aleatório quando seu comportamento é modelado formalmente usando o mecanismo da teoria da probabilidade, um pedaço axiomatizado de matemática pura. Então, em certo sentido, a resposta para a primeira pergunta é bastante trivial.
Ao abordar a questão menos bem formulada "a aleatoriedade realmente existe?" é útil se perguntar se os vetores 'realmente' existem. E quando você tem uma visão disso, se pergunta: a) se é surpreendente ou não que os polinômios são vetores, b) se e como podemos estar errados sobre isso e, finalmente, c) se, por exemplo, forças na física são as coisas que vetores 'are' no sentido da pergunta. Provavelmente, nenhuma dessas perguntas ajudará muito a entender o que está acontecendo no fórum, mas trará os problemas relevantes. Você pode começar aqui e seguir as outras entradas da Enciclopédia Stanford sobre filosofia de probabilidade e estatística.
Há muita discussão lá, felizmente, não muito encontrada por aqui, sobre a existência e a relevância da aleatoriedade física 'real', geralmente da variedade quântica que algumas das quais são (úteis) apontadas por @dmckee nos comentários acima. Há também a ideia de que a aleatoriedade é uma espécie de incerteza. Dentro da estrutura mínima de Cox , pode ser razoável pensar em incertezas (adequadamente arrumadas) como isomórficas com probabilidades; portanto, essas incertezas são, em virtude dessa conexão, tratáveis como se fossem aleatórias. Claramente, a teoria da amostragem repetida também faz uso da teoria da probabilidade, em virtude da qual suas quantidades são aleatórias. Uma ou outra dessas estruturas abordará todos os aspectos relevantes da aleatoriedade que eu já vi nesses fóruns.
Existem divergências legítimas sobre o que deve e não deve ser modelado como aleatório, que você pode encontrar sob os estandartes Bayesiano e Frequentista, mas essas posições apenas sugerem, mas não determinam completamente o significado da aleatoriedade envolvida, apenas o escopo.