Para entrar na Espanha ou na França, é preciso a devida autorização. Mas a questão tem muito a ver com o mundo "idealizado", onde há "muros (virtuais)" nos limites, e o controle personalizado e de imigração em todos os pontos de entrada e exatamente no ponto de limite.
Isto é falso. Existem vários tipos de limites, e muitas vezes não muito definidos. O mais conhecido é o limite territorial / geográfico. Isso não poderia ser tão bem resolvido. Por exemplo, entre a Suíça e a França, e entre a Suíça e a Alemanha, alguns limites estão "no meio" de um rio, e isso muda dinamicamente de acordo com a quantidade de água que flui nesses rios. Ou, de tempos em tempos, a Suíça e a Itália ratificam novas linhas de fronteira: a fronteira oficial está na divisão de drenagem, mas, de acordo com o derretimento das geleiras, isso muda em outros momentos.
O caso nesta questão é semelhante: a fronteira territorial muda com o tempo.
Personalizado tem limites próprios. Em algum momento, algumas aldeias estão fora da zona personalizada do país. Isso acontece principalmente em aldeias / ilhas remotas. Mas também há zona de livre comércio (principalmente nos pontos de entrada comercial). Não é tão relevante nesse caso (mas se você colocar um pouco de álcool ou trocar mercadorias na ilha, seria interessante ver como o costume espera que você pague / não pague impostos de importação.
Para esta pergunta, a fronteira relevante é sobre "imigração" / fronteira policial. Essa fronteira não está muito bem definida e está ligada às tradições locais (que foram ratificadas pelos países). Isso geralmente é concedido aos enclaves e à navegação fluvial nas águas limítrofes, mas também ao acesso a alguns caminhos e pastagens para comunidades locais específicas.
Não vejo diferença enquanto você caminhava entre a França e a Espanha nos Pirineus: é seu dever ir ao escritório e à polícia da alfândega na primeira vila que encontrar, se precisar (carimbos de entrada, impostos). O mesmo nesta ilha: você precisa, eventualmente, se reportar às autoridades relativas. Estar na ilha é como atravessar uma ponte (nos limites) ou seguir uma estrada que leva ao escritório de polícia / imigração: você não precisa de visto: quando você entra no escritório, pode pedir informações e verificar se pode entrar. No caso contrário, você deve deixar o país da mesma rota. Nota: essa zona não é de forma alguma uma "zona de ninguém". Você não tem permissão para ficar lá. Você pode ser forçado a ir ao escritório de imigração ou retornar.
[Se você quiser acampar em tal ilha ou em qualquer zona de fronteira, apenas notificar a delegacia local [neste caso, de ambos os países] realmente o ajudará, para que você não tenha o controle da polícia durante a noite (eles irão já sabe se você é um "imigrante legal").]