식민지 뉴욕에서 피터 제이와 메리 밴 코틀란트 제이 사이에서 태어났으며, 무역과 공공 봉사와 연결된 가문에서 성장했다. 국제적인 항구 도시의 문화와 프랑스계 개신교도와 네덜란드계 뿌리는 그의 시각과 인맥 형성에 영향을 주었다.

그는 킹스 칼리지에 입학해 고전, 수학, 도덕 철학을 성공회 중심의 교육 과정 아래에서 공부했다. 뉴욕의 지적 분위기와 제국을 둘러싼 논쟁은 그의 초기 정치 감각을 형성하는 데 도움이 되었다.

킹스 칼리지를 졸업한 뒤, 그는 뉴욕의 유력 변호사 벤저민 키섬의 사무실에서 법을 배우며 수련했다. 이 도제 과정은 상업 분쟁과 식민지 행정에 깊이 참여하게 했고, 공적 지도력에 필요한 역량을 길러 주었다.

그는 변호사로 등록한 뒤 상인과 지주를 고객으로 삼아 빠르게 명성을 쌓았다. 치밀한 논리와 청렴한 평판은 그를 상류 시민 사회로 이끌었고, 인지세법 이후 제국의 긴장이 고조되는 가운데 영향력을 넓혔다.

저항이 격화되자 그는 뉴욕의 위원회 활동에 적극 참여했고, 제1차 대륙회의 대표로 선출되었다. 필라델피아에서 그는 의회에 맞서 단호한 헌정 논리를 내세우면서도, 여전히 합법적 타협의 가능성을 모색했다.

독립의 격변 속에서 그는 뉴욕의 헌법을 형성하는 데 큰 역할을 했으며, 균형 잡힌 정부와 법치의 원칙을 강조했다. 이 문서는 전시 권한을 정비하면서도 올버니에서의 무제한 권력 행사를 경계하도록 설계되었다.

그는 뉴욕의 초대 대법원장이 되어 침공 위협과 정치적 의심이 뒤섞인 시기에 법원을 이끌었다. 충성파 재산 사건과 전시 치안 문제는 새 주의 제도를 시험했고, 그 직책은 법적 안정감을 요구했다.

그는 대륙회의의 의장으로 선출되어 외교, 재정, 조지 워싱턴 장군의 군대와의 협조를 관리했다. 집행 권한이 제한적이었음에도, 부족과 파벌 갈등 속에서 국가적 방향을 유지하는 데 기여했다.

그는 영국에 맞선 지원을 얻기 위해 미국 공사로 스페인 궁정에 파견되어 승인, 자금, 원조를 확보하려 했다. 마드리드에서 그는 엄격한 비밀 속에 협상했으나, 미시시피강에 대한 미국의 주장 때문에 스페인의 소극적 태도에 부딪혔다.

그는 파리로 가서 벤저민 프랭클린과 존 애덤스와 함께 영국과의 평화 협상에 참여했다. 프랑스에만 의존하지 않고 직접 교섭을 고집하며, 국경과 독립 승인에 관한 유리한 조건을 확보하는 데 기여했다.

그는 파리 조약에 서명해 전쟁을 공식적으로 종결하고, 넓은 영토 경계와 함께 미국의 독립을 확립했다. 이 합의는 어업권, 채무, 충성파 청구권을 둘러싼 치열한 협상의 결과였으며, 불안정한 전후 정세 속에서 타협을 담아냈다.

귀국 후 그는 외무를 맡아 제한된 연방 권한 아래에서 통상 갈등과 서부 문제를 관리하려 했다. 연합 규약의 한계에 좌절한 그는, 신뢰와 역량을 지키기 위해 더 강한 국가 정부가 필요하다고 주장했다.

비준 논쟁 속에서 그는 알렉산더 해밀턴과 제임스 매디슨과 함께 연방주의 논설을 집필했다. 길거리 습격으로 부상을 입어 공개 활동이 줄어든 뒤에도, 그의 글은 연합과 안정적 헌정 정부를 دفاع하는 논리를 제시했다.

조지 워싱턴은 그를 초대 연방 대법원장으로 임명했고, 그는 새 연방 체제에서 대법원의 절차와 권위를 세우는 데 힘썼다. 순회 재판과 초기 사건 심리를 통해 그는 공정한 정의와 국가적 법 질서의 일관성을 강조했다.

특사로 런던에 파견된 그는 혁명 이후 요새, 채무, 무역 문제를 해결하기 위한 제이 조약을 협상했다. 비판자들은 이를 영국 편향이라며 비난했지만, 합의는 관계를 안정시키고 취약한 미국 상업을 보호하는 데 기여했다.

주지사로 선출된 그는 급속히 성장하는 주를 운영하며 기반 시설 개선과 치안 유지에 힘썼다. 그는 점진적 해방 정책을 지지했고, 시민적 안정과 노예제에 대한 도덕적 반대를 조화시키는 개혁을 추진했다.

은퇴 후 그는 미국 성서 협회의 초대 회장이 되어 성서를 널리 보급하는 일을 지원했다. 이 역할은 시민의 덕성과 교육이 공화정 정부를 떠받친다는 그의 신념을 반영했으며, 급속히 팽창하는 국가에서 그 의미가 더욱 커졌다.

그는 가족 농장에서 세상을 떠났으며, 혁명기부터 초기 공화국에 이르기까지 법과 외교, 국가 운영에 수십 년을 바쳤다. 미국의 사법과 외교 전통을 세운 창건 세대의 인물로서, 그의 유산은 헌정 질서 속에 오래 남았다.