Eles são diferentes. A razão pela qual as pessoas usam os termos de forma intercambiável é que, em muitas passagens de fronteira (especialmente nos aeroportos), um conjunto de pessoas lida com ambos.
Alfândega é sobre as coisas que você está trazendo para o país. É permitido, você deve pagar imposto, ser confiscado e queimado, etc. Por padrão, nenhuma das suas coisas é permitida, mesmo que você seja um cidadão que volta para casa.
A imigração é sobre uma pessoa que está visitando, imigrando ou retornando para casa. Por padrão, os visitantes são (tecnicamente) afastados, a menos que tenham um bom motivo e atendam a outros critérios (por exemplo, visitantes do Canadá podem ser afastados se tiverem antecedentes criminais) e aqueles que moram aqui são admitidos. Os imigrantes são admitidos se a papelada que eles fizeram com antecedência está correta.
Ambos os processos envolvem "quem é você, de onde você vem, por que você está vindo aqui, por que você estava lá" e assim por diante. Ambos envolvem uma pessoa uniformizada, seu passaporte e provavelmente sua bagagem. Por exemplo, se você diz que está visitando por 3 dias, mas trouxe semanas em roupas - provavelmente todas as suas - junto com bens mais permanentes, como livros, álbuns de fotos e CDs, um oficial de imigração pode suspeitar que você esteja se mudando para cá. Os agentes aduaneiros podem querer inspecionar sua bagagem quanto a contrabando, e sua explicação para sua visita pode fazer a diferença entre ser inspecionada ou não. Como resultado, eles são considerados um processo único na mente da maioria das pessoas.
Para aumentar a complicação, muitas companhias aéreas não permitem que você embarque, a menos que você as convença de que vai entrar no seu destino, e alguns aeroportos (especialmente na Europa) desejam consultar seu passaporte e outras documentações relacionadas à imigração várias vezes antes você chega ao portão de embarque. Nada disso conta como "desembaraço aduaneiro e imigração", mas com certeza pode parecer.