爱上曼的时候，杨还是一个小男孩子。每天放学，他坐在传达室里等候父亲下班，这时，他常常会看到曼穿一身洁白的衣裙从门口走过，她美得像天仙。有时，她会走到传达室取信，那嫣然一笑常常令杨忘记了周围的一切。杨就是在这个时候发誓要学声乐的，因为他听说曼在音乐学院读书。那时，曼的父亲是这个大院里的学术权威，而杨的父亲只是这个院里的传达。
10年后，杨真的考上了音乐学院，那时候曼已是这个学院的老师，然而她的境况却很不好。她那威严的父亲此时在牛棚里，而她那英俊的丈夫却正和她闹离婚。她一个人带着两个女儿住在学院的一间小屋里，孤独、伤感、寂寂无声。
然而在杨眼中她依然那么美丽，她修长的双手在钢琴上翻飞的时候，杨便常常忘了发声。他久久地久久地凝视着她，关注着她的悲哀和伤感，痛恨着那个伤害她的男人。有一天，杨在学院的路上看到曼的丈夫揽着一个女学生走过，他忍不住上前向那张英俊的面孔狠狠地挥了一拳。
曼终于下定决心离了婚。曼离婚的那一天杨便决心要照顾她们母女三人一辈子。曼起初十分抗拒杨，因为她已经对男人失望。然而杨的执著却令她感动，杨为让她吃上一口肉半夜3时去排队，杨为了让她在冬天有热水温手练琴而每半个小时去一次水房。终于有一天当曼的小女儿夜半发高烧被杨抱着送进医院里，曼扑在杨的怀中失声痛哭。
最先在学校引起轩然大波的是杨的母亲，她听说儿子迷上了一个大他15岁的离婚女人，感到受了奇耻大辱。她冲进学院，先把曼堵在琴房骂了一通，再冲进校长室告状，认定这个右派的女儿勾引了她纯洁的儿子。杨母的吵闹使曼把自己关在房里三天不敢出门。
杨与家庭决裂，搬到了曼的小屋，却遭到了曼的两个女儿的坚决抵制。特别是大女儿已经10岁了，懂得许多人情世故，只要杨一回来，她就愤怒地叫：“流氓、流氓，滚出去！”
曼在学院无法呆下去，一个女老师，勾引男学生会被当作丑闻，那个年代足以致人以死地。曼带着两个女儿离开了那座生她养她的都市，调到了一个边远的小城，在一个音乐师专当教师。
杨尾随而来，在曼的附近租了一间小屋住下，他因为不上课而被学院开除。杨的母亲追踪而至，她甚至跪在杨的面前让杨跟她回去，杨不从，于是她又找到曼工作的学校。学校领导一次次找曼谈话，此时，曼的母亲来了，她带来了曼的父亲去世的消息。母亲对曼说，如果她再与杨好下去的话，全家都将以她为耻。
曼终于决定与杨分手，然而杨却在小城找了一份工作以示他要与曼结合的决心。这时候杨已经26岁，完全到了可以结婚的年纪。他向曼求婚，然而曼的母亲和女儿却表明，如果曼与杨结婚，她们将永不见她，无可奈何之中，曼接受了母亲的穿针引线，见了一个50岁的离婚干部老何。三个月后，她悄悄地和老何领了结婚证，一声不响地调到了老何工作的小城，到一所小学教音乐。