Acho que sua ideia do ícone do livro vs botão liga / desliga não é ruim. Você provavelmente poderia encontrar algo um pouco mais simples e fácil de reconhecer em tamanho pequeno usando o mesmo conceito.
Minha primeira idéia foi usar uma bateria para uso offline, mesmo que seja usada para energia. Em um site ou aplicativo, pode fazer sentido, pois todo mundo sabe que o laptop ou o dispositivo está desconectado quando vir o ícone da bateria. Então talvez você possa usar essa ideia também.
E como outros exemplos, encontrei estes ícones:
Você pode usar um ícone de laptop e talvez mover o símbolo de conexão para dentro e para fora dele para indicar que está online ou offline. Ou símbolo semelhante e basta adicionar o símbolo de conexão conhecido ou um símbolo de plugue elétrico.
Você também pode usar código de cores diferentes para adicionar mais ênfase à parte de conexão do seu ícone; por exemplo, a parte da conexão pode ser cinza pálido quando está offline e colorida quando está online.
As pessoas se acostumam a esses símbolos, não importa o que você escolher. Desde que seja visível em tamanhos pequenos.
PS: Eu não desenhei esses ícones, você precisará comprá-los ou criar sua própria versão, se quiser usá-los. A maioria deles são arquivos de baixa resolução de sites de imagens e alguns foram modificados levemente.