Gresham valittiin republikaanipuolueen jäsenenä Indianan osavaltion edustajainhuoneeseen vuonna 1860. Sisällissodan alussa hän toimi vapaaehtoisjoukon komentajana ja 1864 hänet nimitettiin divisioonankomentajaksi. Vuonna 1883 hänestä tuli ylipostimestari ja seuraavana vuonna valtiovarainministeri. Hän toimi ulkoministerinä Grover Clevelandin hallituksessa vuodesta 1893 kuolemaansa asti.