谢灵运是晋代世家大族名将谢玄的孙子。在当时门阀制度下，他作为豪门世族的后裔，不仅拥有大量财产，而且政治上影响也很大。尽管宋武帝刘裕出身不够高贵，倚仗兵权在握才篡夺了晋室天下，做了皇帝，但他对当时的豪门世族还是要拉拢敷衍的。所以在刘宋开国以后，谢灵运虽未身居显要，却依然在朝任闲散官职，名气还是很大的。等刘裕一死，少帝即位，由于各派政治势力互相倾轧，谢灵运终于受到排挤，于公元422年（永初三年）农历七月出任永嘉（治所在今浙江温州）太守。这首《邻里相送至方山》，便是写他离开帝都建康（今江苏南京），于京城东面大约五十里的方山码头上船，与送行的亲友告别时的具体情景和思想活动的。方山，又名天印山，以山形如方印而得名。