Eu poderia estar fora da base, mas, na minha opinião, alguns dos melhores tópicos para focar, se você deseja apenas buscar problemas como amador, está em matemática discreta: combinatória, teoria de grafos e até geometria combinatória. Isso ocorre porque os problemas nesses domínios são bastante acessíveis e fáceis de declarar e ponderar sem muita experiência.
Isso não significa que você possa resolvê-los sem antecedentes: isso levará muito mais tempo. Mas é um bom lugar para começar. Além disso, o que pode limitar você é o acesso à literatura: artigos, livros etc. se você não tiver acesso a uma biblioteca da universidade - nesse caso, trabalhar com problemas mais "atuais" significa que você provavelmente encontrará documentos de sites de pesquisadores.
É possível que os dias de matemáticos amadores no estilo Fermat tenham acabado, mas eu realmente duvido. Conheço pessoas que começaram a fazer pesquisas como um hobby secundário e gostaram tanto que agora são pesquisadores em período integral. E mesmo que não o faça, você pelo menos se divertirá. Como Alessandro aponta nos comentários, este site é um ótimo recurso para você usar também.