뉴욕에서 작가이자 선생으로 행복한 가정을 꾸리며 살아가던 노아 솔로웨이는 아내 헬렌과 네 자녀를 데리고 롱아일랜드 몬턱에 있는 장인어른의 집에서 여름 휴가를 보내기로 한다. 가족과 들른 식당에서 우연히 마주친 웨이트리스 앨리슨 베일리에게 이유 없이 자꾸만 눈길이 가는 노아, 둘은 서로에게 배우자가 있다는 것을 알고 거리를 두려 하지만 그럴수록 더 이끌린다.

앨리슨과 함께하기 위해 헬렌을 떠난 노아는 앨리슨과 둘만의 오두막에서 행복한 하루하루를 보내지만 공동 양육권 문제로 헬렌과 부딪치며 힘들어한다. 헬렌 역시 노아가 자신을 떠난 사실을 힘겨워하며 아이들과 버텨 보지만 아이들도 부모의 이혼을 받아들이지 못한다.

3년의 수감 생활을 마치고 출소한 노아는 변변치 않은 형편으로 허름한 아파트에서 지내던 중 괴한의 습격에 목을 찔린다. 헬렌은 외과의사 빅과 연애를 시작하지만 노아와의 끈을 놓지 못하고 계속 노아 주위를 맴돈다. 몬탁으로 돌아온 앨리슨은 조아니의 공동 양육권을 얻기 위해 최선을 다해 노력하고, 루이사와 결혼한 콜은 모든 걸 다 해 주는 루이사에게 만족하지 못하는 자신이 혼란스럽다.

헬렌은 빅의 새 직장을 따라 아이들과 함께 캘리포니아에서 새로운 생활을 시작하고, 노아는 아이들을 자주 만나기 위해 LA로 이사해 고등학교 영문학 선생님이 된다. 콜은 앨리슨을 잊지 못해 답답한 날들을 보내고, 앨리슨은 아픈 과거를 잊고 새로운 삶을 시작하려 한다. 네 사람 모두 더 나은 삶을 향해 나아가려 하지만, 그들을 기다리는 건 아픈 진실이자 뛰어넘을 수 없는 과거임을 깨닫는다.

노아는 영화배우 사샤 만과 함께 '낙하'를 영화로 제작하려 한다. 노아를 응원하러 촬영장에 찾아간 헬렌은 사샤 만을 만나 경력과 인생이 바뀌고, 그와 함께 솔로웨이 가족 모두의 삶이 뒤집힌다. 성인이 된 앨리슨과 콜의 딸 조아니는 앨리슨의 죽음을 극복하지 못해서 몬탁에 돌아와 어머니의 진짜 사인을 밝히려 한다.