Projeto legal! Suponho que sua escolha de processador (e o motivo da necessidade de memória externa) dependerá de como você define "recursos gráficos simples" e "capacidade limitada de programação".
Pare e considere que a calculadora TI-83 possui um processador de 6 MHz, usa 8 KB de RAM para funções do sistema (24 KB são gratuitos para programas do usuário) e tem 512 KB de Flash com um chip Flash externo de 2 MB nas edições especiais "Silver". Ele roda um sistema operacional proprietário e suporta mais funções matemáticas do que eu já ouvi ou usei, além de programar em 4 idiomas. Seu ATMega1284 possui 16 KB de RAM e 128 KB de Flash. Você acha que vai gerar código suficiente para preencher esses 128 KB, já que a TI usou apenas três vezes mais? Eu duvido.
Se você deseja apenas usar um LCD de caracteres e um conjunto de LEDs para representar graficamente as funções matemáticas básicas (botões 0 a 9, variáveis x e y, + - * /% = e algum tipo de armazenamento), um ATMega ou Arduino é mais do que adequado às suas necessidades.
Se, por outro lado, você deseja executar um TFT colorido com Linux incorporado, scripts / programação em bash, lua ou qualquer linguagem de programação que você escolher, faça um gráfico com o gnuplot e insira tudo em um mini teclado / numpad, então você deve olhar para chip mais poderoso. Definitivamente, escolha 32 bits se você quiser lidar com grandes números e se quiser lidar com muita memória. A maioria desses chips (eu recomendo o ARM) vem em pacotes QFP - mas não tenha medo! Você não precisa de máquinas caras para soldar um dispositivo [LT] QFP ou PLCC - apenas uma mão firme, uma ponta fina e uma técnica decente serão adequadas. Ah, e uma placa bem feita com máscara de solda. No entanto, muitas placas de desenvolvimento serão adequadas para este projeto.
Você pode comprar essas fichas em singles por US $ 2 a US $ 15, dependendo das opções desejadas. Além disso, muitos fabricantes enviarão amostras se você apenas pedir, na esperança de comprar milhares quando todos estiverem usando o ACT e o SAT em uma calculadora EARLZ-9000!