Não. Os modems telefônicos analógicos (também conhecidos como modems POTS - "Serviço Telefônico Antigo Simples") funcionavam porque quando a rede telefônica tradicional (também conhecida como PSTN - "Rede Telefônica Pública Comutada") digitalizava o áudio, com amostras de 8 bits 8.000 vezes por segundo, para um total de 8 bits * 8 kHz = áudio digital de 64.000 bps. Não foi possível utilizar completamente esses 64kbps para dados devido a problemas com a conversão analógica <-> digital (ADC / DAC), mas se você tivesse um modem digital em uma linha telefônica digital (como um canal B ISDN) , você pode enviar a 53-56kbps através de um único DAC. Mas a partir da linha analógica, você poderia enviar apenas 33,8 kbps através de um único ADC.
Mas o problema com os telefones celulares é que eles nunca forneceram um canal de áudio digital completo de 64kbps, como o PSTN fixo. Eles usam codecs com perdas para compactar o áudio da voz para caber em um canal de 9600 bps. Portanto, se você quiser tentar fazer sinalização modulada por áudio nesse canal, acho que você teria sorte em obter 4800 bps (4,8 kbps = 0,6 KibiBytes / s). E isso assumindo que você crie esquemas de modulação personalizados para aproveitar ao máximo o que esse canal de áudio oferece a você. Não tenho idéia se algum dos esquemas de modulação tradicionais usados pelos modems POTS funcionaria bem nos canais de voz GSM. Pelo que sei, um modem POTS pronto para uso pode cair completamente em seu rosto e nem ser capaz de sustentar a taxa de 300 bps por um canal de voz GSM.
Atualização: Encontrei uma referência on-line que dizia que fazer modulação de áudio analógico em canais de voz GSM normalmente era limitado a 2400 bps, portanto, minha estimativa acima foi bastante generosa.
Isso vai um pouco além do escopo da sua pergunta, mas observe que existiam tecnologias para fazer conexões discadas em redes celulares digitais, mas sem a complicação analógica severamente limitadora de taxa de conectar um modem POTS à entrada do fone de ouvido do telefone celular.
Uma solução foi chamada "Circuit-Switched Data" ou CSD, e geralmente envolvia conectar seu computador ao telefone celular por meio de uma conexão serial de algum tipo (usando interfaces seriais tradicionais do tipo RS-232 ou RS-422 ou IrDA nos velhos tempos, e USB ou Bluetooth mais recentemente), e fazer com que seu telefone celular forneça à interface serial acesso direto à conexão de dados de 9600 bps ao equipamento da operadora sem fio. Dentro da rede da operadora sem fio, o fluxo de dados de 9600 bps seria alimentado em um modem digital conectado a uma linha telefônica digital, para que você pudesse usar essa tecnologia para fazer uma chamada de modem de 9600 bps para qualquer modem na PSTN.
O CSD foi seguido pelo High-Speed CSD (HSCSD), que era como o CSD, exceto que o seu telefone celular usava 4 canais de voz GSM simultaneamente, para que você pudesse fazer conexões de ~ 56kbps, assim como (no canal a jusante) a última era dos modems POTS (V.90).
Nas tecnologias celulares digitais, como GPRS e EDGE, era possível usar essa conexão serial com o telefone para realizar PPP, mas isso não teria funcionado com qualquer modem conectado a qualquer linha telefônica; a outra extremidade da sua conexão PPP precisaria ser um servidor PPP que receba suas conexões PPP não de modems, mas através de IP, encapsulado em L2TP. Isso era comum entre os ISPs que terceirizavam seus POPs de modem dial-up para terceiros como Nível 3 e UUNet, e ainda é comum hoje entre ISPs DSL (é por isso que tantos serviços DSL requerem PPPoA ou PPPoE).
tl; dr: Para responder sua pergunta específica, Não, provavelmente não é possível conectar um modem POTS via fone de ouvido a um telefone celular e fazer uma conexão bem-sucedida com um modem na PSTN. Se ele se conectar, provavelmente usará apenas taxas de dados extremamente baixas (mesmo com os modems POTS), além de apresentar falhas e confiabilidade. No entanto, existem (ou existem) outras maneiras de conectar um computador a um telefone celular para fazer chamadas de modem dial-up ou conexões PPP.