O que você precisa fazer é projetar o sistema operacional. Mesmo que, por exemplo, você decida que deve ser um sistema semelhante ao UNIX, ainda há muitas decisões a serem tomadas. Quanto você quer que seja o UNIX? Quais partes do UNIX você gosta e quais você acha que precisam ser aprimoradas?
Se você não está decidido a ser semelhante ao UNIX, acaba tendo ainda mais perguntas a responder: os processos devem formar uma árvore ou são "planos"? Quais tipos de comunicação entre processos você deseja apoiar? Deseja que ele seja multiusuário ou apenas multi-tarefa (ou possivelmente uma tarefa)? Deseja que seja um sistema em tempo real? Que grau de isolamento você deseja fornecer entre as tarefas? Onde você deseja que caia na escala monolítica versus micro-kernel? Até que ponto (se houver) você deseja que ele suporte a operação distribuída?
Eu geralmente aconselham contra a estudar o kernel Linux para sua inspiração. Isso não é nada contra o próprio kernel do Linux, mas um simples fato de que o Linux se destina principalmente ao uso em produção, não à educação. Possui muita otimização, hacks de compatibilidade com versões anteriores, etc., extremamente úteis para produção, mas com maior probabilidade de distrair do que educar.
Se você encontrar, uma cópia do livro de Lion ( Comentário do Lions no UNIX 6ª Edição , com Código-Fonte , de John Lions) é um ponto de partida muito mais fácil. A 6ª Edição do UNIX ainda era pequena e simples o suficiente para ler e entender rapidamente, sem ser um sistema de brinquedos simplificado demais.
Se você planeja segmentar o x86 (pelo menos principalmente), convém consultar o MMURTL V 1.0 de Richard Burgess. Isso apresenta um sistema para o x86 que usa o hardware x86 muito mais do que os projetistas de CPU originalmente pretendiam - algo que os sistemas mais reais evitam em favor da portabilidade para outros processadores. Como você pode imaginar, isso tende a ser muito mais orientado para o final das coisas. As cópias impressas parecem caras e difíceis de encontrar, mas você pode fazer o download do texto e do código gratuitamente.
Felizmente, também existem muito mais possibilidades - Projeto e Implementação de Sistemas Operacionais , de Andrew Tanenbaum e Albert Woodhull, por exemplo.