Rufus King naquit à Scarborough, dans le Maine, en 1755. Il était le fils l'aîné d'un marchand-fermier prospère. À l'âge de 12 ans, après avoir suivi une éducation élémentaire dans les écoles locales, il s'inscrivit à l'Académie Dummer à South Byfield, et termina ses études à Harvard en 1777 . Il servit brièvement comme aide d'un général pendant la Guerre d'Indépendance. Choisissant une carrière juridique, il étudia le droit à Newburyport, dans le Maine et s'y installa en 1780 pour pratiquer sa profession. Ses grandes compétences, son endurance et des dons oratoires remarquables le conduirent bientôt à se lancer dans la carrière politique.

De 1783 à 1785 il devint un membre de la législature du Massachusetts qui le nomma comme son représentant au Congrès Continental (1784-86). Là, il gagna une réputation d'orateur brillant et se fit reconnaitre comme l'un des premiers adversaires de l'esclavage. A 32 ans, King n'était pas seulement un des plus jeunes délégués à Philadelphie, mais aussi un des plus importants. Il se fit remarquer parmi les orateurs les plus capables et les plus assidus. Bien qu'il soit arrivé à la convention peu convaincu que des changements importants devaient être effectués dans les Articles de Confédération, ses avis subirent une transformation ahurissante pendant les débats. Avec Madison, il est devenu une figure primordiale dans les discussions du comité électoral nationaliste.

Vers 1788, King abandonna la pratique légale pour se consacrer uniquement à la politique.Il a fut élu à la législature (1789-90) et choisi comme un des premiers sénateurs américains de l'état. Comme des désaccords politiques se faisaient jour au sein du nouveau gouvernement, King exprima ses sympathies ardentes pour les Fédéralistes. Au Congrès, il soutint le programme fiscal d'Hamilton et fut parmi les principaux partisans de l'impopulaire Traité Jay (1794). Entretemps, en 1791, le Roi devint un des directeurs de la Première Banque des Etats-Unis. Réélu au Sénat américain en 1795, il servit seulement une année avant d'être nommé comme Ministre en Grande-Bretagne (1796-1803).

En 1803, King rentra aux Etats Unis. Par deux fois ,en 1804 et 1808, il concourut comme co-listier de Charles Costeworth Pinckney pour le poste de Vice-Président sous l'étiquette fédéraliste. Dans les deux occasions, il fut largement défait.Pendant la Guerre de 1812, il entra de nouveau au Sénat américain (1813-25) et classé comme un critique principal de la guerre. C'est seulement après que Washington ait été attaqué en 1814 par les britanniques qu'il en vint à croire que les Etats-Unis se battaient vraiment pour se défendre et qu'il apporta son appui à l'effort de guerre.

En 1816 les Fédéralistes le choisirent comme leur candidat à la présidence, mais James Monroe le battit facilement.Quatre ans plus tard, convaincu que la question de l'esclavage ne pouvait être transigée, mais règlée une bonne fois pour toutes par l'établissement immédiat d'un système d'émancipation indemnisée , il dénonça le Compromis du Missouri.. En 1825, souffrant de mauvaise santé , King démissionna du Sénat. Le président John Quincy Adams, cependant, le persuada d'accepter une autre mission comme Ministre en Grande-Bretagne. Aussitôt arrivé en Angleterre la même année, il tomba malade et fut forcé de rentrer à la maison l'année suivante.

Une année plus tard, en 1827, âgé de 72 ans, il mourut à son domicile de New York city.