Il était le fils de Peter Smith, un des premiers pionniers à s'installer dans le comté de Madison. Ce dernier, grâce à ses relations amicales abvec le chef Oneida Skenendoah, réussit à se constituer un vaste patrimoine foncier qu'il accrut encore par de nombreuses spéculations si bien qu'à sa majorité, Gerrit était un des plus gros propriétaires de l'Etat de New York, si ce n'est le plus important.

En 1818, Gerrit Smith reçut son diplôme du Collège Hamilton mais il passa la plupart de son temps à s'occuper de ses propriétés. Au cours de sa jeunesse, l'esclavage était encore en usage dans l'état de New York (il ne fut aboli qu'en 1827) et le jeune homme acquit très vite la conviction qu'il représentait un mal dans les institutions. Il s'engagea alors dans la société américaine de colonisation, contribuant à son développement non seulement par ses donations en argent mais aussi par ses discours et ses participations au meeting, allant même jusqu'à aider personnellement les esclaves fugitifs (voir Underground Railroad).

Au même moment, il développa son action philanthropique en distribuant des terres aux gens de couleur souhaitant s'installer et en allouant des sommes en argent aux petits blancs dans la nécessité. Il fut un ami personnel de John Brown à qui il donna une ferme dans le comte d'Essex pour lui permettre d'instruire une colonie de gens de couleurs . Cette amitié lui valut quelques ennuis avec la justice mais il réussit à prouver qu'il n'avait en rien participer aux violences de l'activiste noir

Autre volet de son activité, il lutta contre l'absorbtion d'alcool et la consommation de tabac. Dans le village de Peterboro où il vivait , il fit construire un hotel où on accordait loyer gratuit à tout locataire s'engageant à ne pas consommer d'alcool.

Sa carrière politique peut se définir à trois niveaux : Gerrit Smith fut candidat à la présidence en 1848 , 1856 et 1860. Dans les trois cas, sa participation peut être considérée comme anectodique car elle n'influa en rien, contrairement à celle de Birney, lecours de l'élection. Sa participation la plus convaincante est celle 1848 où il recueillit 2733 suffrages populaires soit moins de 0,1%.

A 56 ans, Gerrit Smith étudia le droit, fut admis au barreau et brigua la candidature comme représentant au congrès. En 1852, il fut élu à la chambre comme réprésentant indépendant du Comté de Madison. Il servit au cours des années 1853-54 et demissionna au bout d'une législature.

Enfin, Gerrit Smith fut nominé à deux reprises comme gouverneur de New York en 1840 et 1856. Au cours de la seconde candidature, il prit sa candidature au sérieux, mena campagne dans tout l'état et récolta 5446 voix.

A la fin de sa carrière politique, Smith prit position pour l'entrée dans le conflit avec le Sud mais demanda l'indulgence pour les vaincus et leurs dirigeants. Il mourut le 28 Décembre 1874 à Peterboro chez son gendre, le général John Cochrane.