植民地期のニューヨークで、ピーター・ジェイとメアリー・ヴァン・コートラント・ジェイのもとに生まれた。貿易と公務に結びついた家庭で育ち、国際色豊かな港町の文化とフランス系改革派およびオランダ系のルーツが、物の見方と人脈形成に影響を与えた。

のちのコロンビア大学となるキングズ・カレッジに入学し、国教会的な課程のもとで古典、数学、道徳哲学を学んだ。ニューヨークの知的環境と帝国をめぐる論争が、彼の初期の政治的感覚を形づくった。

キングズ・カレッジ卒業後、ニューヨーク有数の弁護士ベンジャミン・キッサムの事務所で法律を学んだ。商取引をめぐる紛争や植民地統治の実務に深く触れ、公的指導者としての準備を整えた。

弁護士として認められると、商人や地主を顧客に持つ評判の高い実務を急速に築いた。緻密な推論と誠実さの評判により上流の市民社会へと迎えられ、印紙法の時代以降に高まる帝国との緊張のなかで存在感を増した。

抵抗運動が激化するなか、ニューヨークの諸委員会で活動し、第1回大陸会議の代表に選ばれた。フィラデルフィアでは、議会に対する断固たる憲法上の論拠を主張しつつ、なお合法的な解決を模索した。

独立の激動期に、1777年のニューヨーク州憲法の形成で中心的役割を果たし、均衡ある統治と法の支配を重視した。この文書は戦時の権限を整えつつ、オールバニでの権力の無制限な集中を抑える意図を備えていた。

ニューヨーク州初代の最高裁長官となり、侵攻の脅威と政治的不信が渦巻く時期に裁判所を統率した。忠誠派の財産をめぐる訴訟や戦時の安全保障問題が新しい州の制度を試すなか、法的な確かさが求められた。

大陸会議の議長に選ばれ、外交、財政、ジョージ・ワシントン将軍の軍との調整を担った。職権は限定的だったが、物資不足や派閥対立のなかで国家の方向性を保つ助けとなった。

スペイン宮廷に合衆国の公使として派遣され、承認、資金、対英支援の獲得を目指した。マドリードでは厳格な秘密のもとで交渉し、ミシシッピ川に関するアメリカの主張をめぐるスペイン側の消極姿勢に直面した。

パリへ赴き、ベンジャミン・フランクリンやジョン・アダムズとともにイギリスとの講和交渉に加わった。フランスへの全面依存を避けて直接交渉を主張し、国境や独立承認に関する有利な条件の確保に寄与した。

1783年のパリ条約に署名し、戦争を正式に終結させ、広大な領域を伴う合衆国の独立を確立した。漁業権、債務、忠誠派の請求をめぐる厳しい駆け引きが、戦後の不安定な情勢のなかで展開された。

帰国後、外務長官として貿易摩擦や西部問題の処理に努めたが、連邦政府の権限は限られていた。連合規約の弱点に苛立ち、国家の信用を守るためにより強い中央政府が必要だと主張した。

批准をめぐる闘争の最中、アレクサンダー・ハミルトン、ジェームズ・マディソンと協力して連邦派論文を執筆した。街頭での襲撃による負傷で公の場への登場が制約されても、連邦の結束と安定した憲法政治を擁護する論陣を張った。

ジョージ・ワシントンにより初代最高裁長官に任命され、新しい連邦制度のもとで最高裁の手続きと権威の確立に尽力した。巡回裁判と初期事件の審理を通じて、公平な司法と国家としての法的一貫性を重視した。

特使としてロンドンに派遣され、革命後に残った要塞、債務、通商をめぐる紛争解決のためジェイ条約をまとめた。親英的だとの批判で激しく非難されたが、関係を安定させ、脆弱なアメリカ商業を守った。

知事に選ばれ、急成長する州の行政を担い、国内整備と公共秩序を支援した。段階的な解放政策を後押しし、奴隷制への道徳的反対と市民の安定を両立させる改革を職権で進めた。

引退後、アメリカ聖書協会の初代会長となり、聖書の広範な配布を推進した。この役割は、急速に拡大する国家において共和政を支えるのは市民の徳と教育だという彼の信念を示していた。

家族の農場で没し、革命期から建国初期に至るまで、法、外交、政治の分野で数十年にわたり奉仕した。合衆国の司法と外交の伝統の創設者として、その遺産は憲法に基づく統治の中に受け継がれた。