相传大雁南飞到衡阳而返,故衡阳市南有一座秀丽挺拔的山峰,称为回雁峰,每到秋冬之际,成群的大雁就落在这里等待来年开春时又返飞北方。回雁峰乃是南岳七十二峰之首,因风景秀致,乃成为衡阳游览、聚会的胜地。唐德宗光启年间,回雁峰下住着一名歌妓,叫王幼玉,她原本是北方的大家闺秀,因黄巢起义,战乱骚扰,随家人避难来到衡阳,父母双亡后,幼玉的生计失去着落,只好凭着天生一副婉转歌喉,加上艳丽的容貌和高雅的气韵,做了一名侍客的歌妓。
那些腰缠万贯的富商,平时经营时锱铢必较,而声色享乐时却挥土如金。因王幼玉艳名远扬,所以南北富商到了衡阳,都想找她取乐。其中不少商人倾倒于王幼玉的美貌和风韵,许以重金求娶她为妻为妾,而王幼玉则自有主张。对满身铜臭味的商人多是以礼相待,以歌相奉,决不肯委身相随。
不料,终有一天,王幼玉还是做了一个商人的“俘虏”,他就是洛阳商人柳富。柳富是洛阳的世家子弟,仪表英俊,气度儒雅,本是读书出身,因未考取功名而改习武艺,练有一手好剑法。他性情刚烈,凭着出色的武功和年轻气盛,在家乡不免做些仗义行侠之事,惹了不少是非,父亲为了磨练他的性子,也为让他增长些见识,就让他随商队南行,同时学习经商。正因为家世特殊,所以他虽为商人,却没有一般商人的鄙俗之气,眉宇间展露着灵杰和豪爽。第一次在宴会上见到献歌的王幼玉,他就被她高雅的气质和动人的歌声深深吸引住了,第二天又登门拜访她。王幼玉很快也被这个年轻商人的特殊气度打动。于是,两个人由互相倾慕到情投意合,很快便成了一对亲密的情侣。
晨鸡报晓中,柳富含泪踏上了归途,王幼玉挥泪相送,哽咽道:“我等你回来,不论多少时日!”自从柳郎走后,王幼玉洗尽铅华,摒绝一切交际应酬。专心等待柳郎
归来。三个月过去了,一天一天,了无音讯,秋风起时,鸿雁南来,却也没带来柳郎的消息。昔日女伴们都劝王幼玉回心转意,重树艳帜,但是王幼玉一口回绝,她坚信柳郎决不是一个负心人。日日挂牵,夜夜思念,细数时日,又是冬去春来,仍然不见柳郎归来。
其实柳富并没忘记佳人之约,更是日夜思念着幼玉。办完父亲的丧事后,本想变卖家产,立刻南下见佳人;不料族中父老听说他在衡阳沉溺于娼妓门下,此度又尽卖祖上留下的家产,想携款而走,败坏家风,于是对他横加阻挠。柳富此时想见幼玉心切,见族人无端阻拦,一时心急意乱,失手打伤了一位族中长辈。这位长辈原本年老力衰,经这么一碰,竟然卧病不起。于是族人告到官府,柳富以犯上伤人之罪身陷囹圄,从而与外界失去了连络。
王幼玉派来的专差,千方百计地打通关节,总算在牢中见到了柳富,柳富读罢王幼玉捎来的诗句已是泣不成声,他将诗笺和幼玉的青丝紧紧藏人怀中,仓促地写了一首诗作回音:春雨濛濛不见天,家家门外柳如烟;如今断肠空垂泪,欢笑重追别经年。又到了春光明媚的季节,道路仍然阻隔不通,柳富也就一直无法南行,王幼玉的等待有些苍茫了。她不知何日是佳期,雁去又雁来,终于在等待中病倒了。这天她自知来日不多了,等不及情郎的到来,吃力地登上回雁峰顶,仰望着满天鸿雁纷纷北去,她好象也变成一只大雁,随雁群飞到柳郎身边。惆怅中,她又开始临风拼力高歌情郎的词句,凄婉的歌声响彻云霄,山谷回应,歌声不绝。空中的飞雁似乎也被歌声留住,绕着回雁峰,徘徊不前。王幼玉一遍又一遍地歌唱不已,终于声嘶力绝,倒下悬岩,一缕芳魂也随雁群飘飘北去。而这时,多情的柳郎正艰难地行进在南来的路上。