有关戴叔伦的家庭，据史料所载，他先后取过两位妻子，第一位是永州刺史韦采的女儿，继室娶的则是殿中侍御史崔殷之女。他膝下究竟有几个孩子，不知道。只知道他的继室在公元787年左右过世时，撇下了一个仅有六岁的女儿。那年戴叔伦55岁，可谓晚年丧妻。他借女儿六岁生日的机会还写下一首《少女生日感怀》的七律，以此----“五逢晬日今方见/置尔怀中自惘然/乍喜老身辞远役/翻悲一笑隔重泉/欲教针线娇难解/暂弄琴书性已便/还有蔡家残书籍/可能分与外人传”（今天又到了那曾为你过过五次的生日/可我把你抱在怀中时却感到异常茫然/虽说老父我庆幸自己还能在你身边而没远赴异乡为官做事/但一想到与你刚刚去世的母亲相隔黄泉就悲上心头/想教你做针线活儿可你还太小而不懂事/想让你学琴棋书画的本领可又怕你因此而丧失了孩子的那股天真劲儿/家里老父我留下的书籍虽像当年蔡邕死后留给他女儿蔡文姬的一样多/但恐怕只能传给外人去读了）。戴叔伦写完这首诗的三年后，也就是小女儿九岁时，自己也便离开了人世。从这首诗上看，至少在当时他身边只有这一个女儿。