Como é o caso de muitos termos em computação; a origem da palavra está relacionada a mais propriedades físicas. O termo escalar é relativamente antigo em computação. Sua definição é menos rigorosa atualmente. Quando você armazena dados na memória do computador, esses dados podem caber em um endereço (1 byte *) ou não. Quando isso acontecia, era chamado de escalar; quando não era, era chamado de composto. Principalmente porque as CPUs podiam lidar apenas com um endereço / parte de dados (= 1 byte) por vez. Conforme afirmado por @Karl Bielefeldt; o termo foi realmente tirado da álgebra.
Chamamos uma string de string porque é uma string de caracteres. Um caractere é / era um escalar, enquanto uma string é / era um composto. Armazenar 1 dado (um dado) em vários endereços embaçou um pouco a linha. Pense assim: quando uma CPU podia processar um dado em uma instrução, era escalar.
Atualmente, um escalar é qualquer valor singular, e o que é um valor singular pode ser definido de maneira diferente entre diferentes idiomas. números inteiros, flutuantes, caracteres, seqüências de caracteres, booleanos e enumerações são, na maioria dos casos, escalares considerados hoje em dia. Matrizes, listas, árvores, objetos etc. não são.
(* Digo 1 byte para manter as coisas claras, mas tecnicamente estou falando dos dias em que 6 bits eram mais comumente usados em cartões perfurados, por exemplo, e mais tarde em tiras magnéticas)
Isenção de responsabilidade: não consigo encontrar nenhuma referência disso na internet, obtive as informações da escola e de livros antigos, entre os quais (penso): Tabelas Matemáticas e outras ajudas à computação de 1944. Dito isto, minha memória é não o que costumava ser; portanto, se alguém puder alterar / confirmar ou negar minha resposta, seria bom.