No Microsoft Office 365 Pro no Windows 10, encontrei duas maneiras diferentes de fazer isso, dependendo do que você acha mais fácil.
A primeira é selecionar todo o texto na célula e editar o espaço antes e depois para cima e para baixo na guia Layout (ver captura de tela) e ajustar os caracteres nas réguas conforme indicado acima para esquerda e direita.
A segunda opção é mover o mouse para a esquerda da tabela até que o ponteiro do mouse vire para uma seta voltada para a direita e, em seguida, clique uma vez para selecionar a tabela inteira. O menu Ferramentas de Tabela fica disponível. Clique na guia Layout azul escuro em Ferramentas de tabela (não na guia Layout azul médio mais claro para o documento geral) e clique em Margens de célula. Quando o pop-up Cell Margins for exibido (veja a captura de tela), você poderá editar a parte superior, inferior, esquerda e direita.