전(前) 아내는 드라마 노다메 칸타빌레, 드래곤 사쿠라 등에 출연한 배우 사에코였다. 연예활동 시절엔 좀 인지도가 별로 없었는지 결혼하고 나서 오히려 더 유명해졌다. 결혼 전의 본명은 참고로 본명은 도큐 사에코(道休冴子)였으나 결혼을 하는 바람에 다르빗슈라는 성을 얻게 되어 본명이 다르빗슈 사에코가 되었다. 게다가 자기 블로그에도 스스로 이름을 다르빗슈 사에코로 고쳐서 운영하는 등 바뀐 성을 즐기는 듯한 모습을 보였다. 그러나 2010년 시즌 종료 후 공식적으로 재산분배를 발표하며 이혼했다. 사실 이혼 이유에 다르빗슈가 외도를 했다, 사에코가 원래 하던 모델 일 때문에 가사를 소홀히 하였고 다르빗슈의 내조를 하지 않았다 등 각종 찌라시와 잡지에 설이 난무하였으나, 한 쪽이 소송을 걸어 이혼한 게 아니라 재산 분배 후 합의이혼의 형식으로 진행되는 것으로 보아, 한 쪽 책임만은 아닌 것으로 추정된다. 사에코는 다르빗슈에게 이혼 후 양육비로 매달 1,000만 엔, 20년 간 총 24억 엔을 요구했다는 소문도 돌 정도로 큰 이슈였다.결국 1월 19일 오전 7시, 13시간에 거친 마지막 교섭 끝에 위자료없이 양육비 200만 엔 정도만을 매달 받는 것으로 협의 이혼이 성립되었다. 둘은 아이들을 위해서 한시라도 빨리 각자의 인생을 걸어나가는 것을 우선시하였기 때문에 원만하게 합의 이혼하였다고 한다. 이에 대해 서로의 이미지를 위해서 뒷돈이 오고갔을 것이라는 이야기와 지금까지 찌라시 언론들이 멋대로 위자료를 부풀려서 보도한 것이 아닌지 등 여러가지 의견들이 인터넷에서 나왔다. 사실 여기에는 재밌는 소문이 있는데 사에코가 결혼 전 워낙 기이한 행동을 일삼아 일본의 패리스 힐튼이라고 불릴 정도로 부자들 사이에서는 유명하다는 일화가 있다. 다르빗슈의 부모님이 아들이 사에코와 결혼한다고 했을 때 실신할 지경이었다고 한다. 그리고 다르빗슈의 휴대폰이며 메일을 전부 검사하고 스케줄이 변하면 여기저기 전화를 걸어 스케줄 변경을 확인하는 등 사에코의 다르빗슈에 대한 집착이 지나쳐서 이게 부부간 불화의 씨앗이 되었다는 소문도 있다.
현재아내, 외모가 외모이다보니 염문설에도 많이 휘말린다. 상대도 AV 배우, 모델, 여자 골퍼 등등 다양한 듯. 2013년에는 격투기 선수 야마모토 키드의 전처인 마리아와 스캔들이 났고 2014년 2월에는 후지 TV 아나운서 카토 아야코와 스캔들이 났다. 그리고 2014년 11월 자신의 트위터를 통해 6살 연상인 전직 레슬링 선수 야마모토 세이코와 사귀고 있다는 사실을 밝혔다. 그런데 야마모토 세이코는 예전에 스캔들이 났던 마리아의 전 남편인 야마모토 키드의 여동생이다. 다른 여자들과는 달리 야마모토 세이코와의 교제는 다르빗슈 스스로가 사귀고 있다고 공표한 것으로 보아 매우 진지한 사이인 것으로 보인다. 야마모토 세이코 역시 이혼을 한 번 한 적이 있으며 아이가 있는데 다르빗슈가 아이 또한 몹시 귀여워한다고 연일 기사가 나고 있다. 다만, 야마모토 세이코가 레슬링 선수였다보니 과거 스캔들 났던 여성들과는 외모가 매우 다른지라 일본 웹상에서는 "사귀냐 마느냐 그게 문제가 아니라, 다르빗슈 여자 취향을 정말 모르겠다. 지금까지 사귀었던 여자들을 종합해보면...여자 취향이란 게 아예 존재하지 않는 듯 하다." 라고 다르빗슈의 여자 취향이 너무 일관성이 없어 놀랍다는 의견이 줄을 잇고 있다. 그리고 다음해 2015년 야마모토 세이코와의 사이에서 아들이 태어났으며, 2016년 11월 혼인신고를 했다. 그리고 2017년에 막내 아들이 태어났다.
슬하에 자녀로 아들을 4명이나 두고 있다. 첫째와 둘째 아들은 전처인 사에코에게서, 셋째와 넷째 아들은 지금의 아내인 야마모토 세이코와의 사이에서 태어났다. 첫째 둘째는 사에코가 기르고 있으며 현재 영국 유학중이라고. 또 의붓아들도 있는데 야마모토 세이코가 전남편 사이에서 낳은 아이다. 2019년 막내딸을 얻어서 5남매 아빠가 됐다.
