자는 원충(元冲), 호는 충암(冲菴)·고봉(孤峯)이다. 충청도 보은현에서 태어났다.
1507년, 증광 문과에 장원 급제 하였다.
1514년, 순창군수직중 단경왕후 신씨의 복위를 주장하다가 중종 의 미움을 사 유배되었다가 풀려났다.
1516년, 형조판서에 임명된다.
1519년, 기묘사화에 연루되어 제주도로 유배를 가서 뒤에 희생되었다.
1545년, 복관된다.
1646년, 영의정에 추증되었다.
성격은 자신의 생각이 옳다면 직언하는 성격이고, 이미 아무도 관심을 가지지 않는 단경왕후의 복위를 주장할정도로 약자의 입장을 대변했다. 미신을 싫어하고 시와 그림에 능했으며 그것은 충암문집에 잘 나와있다. 단경왕후의 복위 주장으로 대간과 중신들의 탄핵을 받아 유배를 갔으나 얼마 안 가 관직에 복귀했다.
병조정랑, 홍문관 교리, 사간원 헌납 등 고위직을 역임하다. 장경왕후 윤씨가 죽자 다시 단경왕후 복위를 주장한 것으로 유배를 가게 된다. 이후 순창군수로 좌천되어 있는 와중에도 박상과 함께 단경왕후 복위를 주장하였다. 그러나 다시 복귀할 즈음 조정에 조광조가 등용되면서 조광조로 함께 소격서 폐지와 향약 시행, 현량과 실시를 주장하며 병조판서, 부제학, 도승지, 이조참판을 역임하였다.
기묘사화로 유배되어 제주도 귀양지에서 제주풍토록을 썻는데 그 당시 제주도의 상황을 알수 있는 좋은 자료이다. 김정의 역할은 조광조를 밀어준 것 뿐만 아니라, 그의 사후 그의 가문에서 사림의 후학양성을 힘을 쏟아 선조 때 이르러 조광조 일파와 함께 사림파의 시조로 평가받는다.