Para fins de análise de dados, você pode considerá-los efetivamente como matrizes, possivelmente multidimensionais. Assim, eles incluem escalares, vetores, matrizes e todas as matrizes de ordem superior.
A definição matemática precisa é mais complicada. Basicamente, a idéia é que os tensores transformam funções multilineares em funções lineares. Veja (1) ou (2) . (Funções multilineares são funções lineares em cada um de seus componentes, sendo um exemplo o determinante considerado como uma função de vetores de colunas.)
Uma conseqüência dessa propriedade matemática que define os tensores é que os tensores se transformam bem em relação aos jacobianos, que codificam transformações de um sistema de coordenadas para outro. É por isso que muitas vezes vemos a definição de tensor como "um objeto que se transforma de certa maneira sob mudanças de coordenadas" na física. Veja este vídeo, por exemplo, ou este .
Se estamos lidando com objetos suficientemente "agradáveis" (todas as derivadas que gostaríamos de existir e bem definidas são), todas essas formas de pensar sobre os tensores são essencialmente equivalentes. Observe que a primeira maneira de pensar nos tensores que mencionei (matrizes multidimensionais) ignora a distinção entre tensores covariantes e contravariantes. (A distinção se refere a como seus coeficientes mudam sob uma mudança de base do espaço vetorial subjacente, ou seja, entre vetores de linha e coluna essencialmente.) Veja estas outras perguntas sobre o StackExchange: (1) (2) (3) (4)
Para um livro usado por pesquisadores que estudam aplicações de tensores para redes neurais (por exemplo, na Technion em Israel), há os Espaços de Tensor e Cálculo Numérico de Wolfgang Hackbusch . Eu ainda não o li, embora alguns dos capítulos posteriores pareçam usar matemática avançada.