1595년 도요토미 히데요시의 가신 데라자와 히로타카가 이 지역에 입봉되어 부임해 온다. 이전 데라자와 히로타카는 1592년부터 시작된 조선 침략의 전초기지인 히젠 나고야성 건설에 봉행으로 파견되었었다. 덧붙여 나고야성도 이 지역에 입지해 있었다. 1600년 세키가하라 전투에서 동군에 속해 자신의 영지를 존속시킬 수 있었으며, 이에 더해 히고국 아마쿠사군 4만석이 가증되어 도합 12만 3천 석의 도자마 다이묘가 되었다. 1602년부터 미쓰시마 산에 가라쓰 성을 축성하기 시작해 1608년 완성하였다. 축성 때 가라쓰 동쪽과 육지로 이어져 있던 미쓰시마 산을 육지와 분리해 마쓰라 강이 가라쓰 만으로 흐르도록 유로를 변경하였다. 또, 도요토미 히데요시 사후, 폐성되었던 히젠 나고야 성의 부재를 사용했으며, 규슈의 여러 다이묘의 도움을 받아 축성했다. 그때 협력했던 규슈의 여러 다이묘의 번명은 사가 해자, 히고 해자 등의 해자 명칭으로 남아 있다.
니노마루에 번청 겸 어전을 조영했고, 산노마루에 무가저택을 조성했다. 축성 당시 천수를 지었던 것으로 보이지만, 1627년 막부의 기록에 따르면 천수는 존재하지 않다. 막부를 고려해 천수대만 조성하고, 천수를 건립하지 않았다고도 생각할 수 있다. 현재 재건된 천수는 게이초 연간에 천수가 있었을 것으로 상정해 1966년 지어진 것이다.
2대 번주 데라자와 가타타카 대에 오면, 기리시탄에 대한 강경책과 아버지 대에서부터 이어진 노역으로 인해 영민들의 불만이 차 있던 차에 1637년 멀리 떨어진 자신의 소령 아마쿠사와 인접 시마바라번에서 시마바라의 난이 일어나게 된다. 이 난은 1여 년 후 진압되지만, 가라쓰 번은 막부로부터 문책되어 아마쿠사 4만 석의 영지가 몰수되었다. 1647년 2대 번주 가타타카는 아마쿠사 영지의 몰수와 심적동요로 인해 에도 번저에서 자살하였고, 대를 이을 서장자가 없었기 때문에 데라자와 가문의 영지는 무가제법도에 따라 몰수되었다.
가라쓰 번은 잠시동안 막부직할령에 편입되었지만, 1649년 하리마국 아카시번에서 오쿠보 다다모토가 성주로 부임한 것을 시작으로 오쿠보 가문(1649년 ~ 1678년), 오규 마쓰다이라 가문(1678년 ~ 1691년), 도이 가문 (1691년 ~ 1762년), 미즈노 가문(1762년 ~ 1817년), 오가사와라 가문(1817년 ~ 1871년)의 5가문이 번주로 역임한 후다이 다이묘의 거성이었다
