O Minix é uma ótima opção e é descrito em uma das outras respostas.
Xinu
Considere também XINU - XINU não é Unix.
É também o UNIX escrito para trás.
Há um livro de Douglas Comer que eu pensei que estava bem escrito, bem ilustrado e com bom escopo.
Há um Xinu incorporado e um site sobre ensino com o Xinu.
http://xinu.mscs.mu.edu/Teaching_With_Xinu
FreeRTOS
Outro sistema operacional pequeno que adora muito hoje em dia é o FreeRTOS. Ele roda em quase tudo. Se você veio de Marte e tinha um processador ou placa de avaliação onde ele não é executado, você pode ler cerca de 10 páginas de documentação, modificar cerca de cinco arquivos relacionados a interrupções, temporizadores e UARTs e você estaria executando.
http://www.freertos.org/
Eles afirmam que suporta 31 arquiteturas e 18 cadeias de ferramentas. Minha experiência no final de 2009 foi boa e ouvi dizer que melhorou muito desde então.
Outros Links
Perguntas semelhantes sobre as quais podem ter informações úteis para você estão localizadas aqui:
/programming/254149/how-do-you-write-a-basic-operating-system
O Linux e muitos outros designs de sistemas operacionais são influenciados pelo UNIX, portanto, este vídeo em que os designers originais (Kernigan, Richie e Thompson e outros) é informativo e obtém as idéias de design diretamente da fonte.
http://techchannel.att.com/play-video.cfm/2012/2/22/AT&T-Archives-The-UNIX-System
Existe um livro de texto clássico, mas frequentemente revisado para sistemas operacionais:
Silberschatz, Galvin, Gagne: conceitos de sistema operacional, 7ª edição
Também pode haver edições mais recentes. Raramente vinculo a um livro através de um vendedor de livros, mas a visualização é muito generosa; portanto, para saber mais sobre sistemas operacionais, confira:
http://www.amazon.com/Operating-System-Concepts-Abraham-Silberschatz/dp/0470128720