Ao migrar para um RTOS, geralmente lidamos com um aplicativo que possui muitas tarefas simultâneas que precisam ser agendadas de maneira ideal para que cada um cumpra seus prazos no prazo ou compartilhe recursos com segurança. A estrutura RTOS que você escolhe implementa um agendador de tarefas e seu trabalho (normalmente) é gravar essas tarefas individuais com um determinado conjunto de propriedades (período, prioridade, etc.) e depois entregá-lo ao agendador. Portanto, para a documentação, a abordagem que eu adotaria seria documentar cada tarefa cuidadosamente.
A maioria dos softwares incorporados e, até onde eu sei, a maioria dos RTOS não são escritos em uma linguagem orientada a objetos e, portanto, podem não se beneficiar de muitas coisas voltadas para isso, como diagramas de classes, por exemplo.
Ao documentar suas tarefas RTOS, no entanto, qualquer diagrama que descreva bem a tarefa seria um grande benefício. Eu imagino que um diagrama de sequência para cada tarefa possa ser muito útil, por exemplo. Junto com isso, você pode especificar seus requisitos rígidos, como período / frequência, prioridade, quaisquer recursos compartilhados que ele possa usar, requisitos de preferência, etc. Também vale a pena documentar como você configurou o RTOS e talvez um máquina de seu algoritmo de agendamento.
Aceite qualquer um desses conselhos da maneira que quiser, não mexo nas coisas do RTOS desde os meus dias de faculdade e nunca realmente "documentei" o trabalho.