Você pode verificar o changelog e os comentários no Market para obter informações. Muitos aplicativos foram atualizados recentemente para serem compatíveis com ICS e geralmente há uma menção disso no changelog. Além disso, se o aplicativo não for compatível, geralmente há um comentário sobre isso.
Na minha experiência, quase todos os aplicativos que utilizo são compatíveis com o ICS ou foram atualizados. Alguns podem não ter todos os recursos de compatibilidade, como o novo estilo de menu, mas o ICS também é compatível com o estilo antigo.
EDIT: Os desenvolvedores também podem especificar o parâmetro android: MaxSdkVersion no AndroidManifest.xml, que restringe a execução do aplicativo (e o AFAIK também aparece no mercado) em plataformas mais recentes. Não publiquei nenhum aplicativo no Market, portanto, não tenho certeza se existem configurações separadas para restringir a instalação de aplicativos em plataformas de versões superiores.
Você pode tentar verificar o AndroidManifest.xml de seus aplicativos usando android-apktool , mas isso exige que você saiba como obter os arquivos .apk no seu PC.