相传，唐代诗人李峤被贬谪于巴陵，一年中的中秋夜，宴请岳阳城内自幽静处出诗的张叔夜，与周昺、周贺及韩熙载、沈佺期等人同饮花灯下酒，忽见一盏独灯在另一楼窗下俯视而来，众人轮流应对，翻吟诗句，而那方楼也和应起来，以诗句应对，并邀众人赴约。李峤应约而往，经数层楼梯而上，至一老妇人处，劝李峤勿与楼主相会，临别时，竟透露自己是已故的上官婉儿。
上官婉儿是唐玄宗李隆基的红颜知己，因深爱李白而自曝身世，被李白所弃，抱恨宫廷，杨贵妃有所忌惮，乃以金钗自掷婉儿毙之。据说杨贵妃为其筑了此楼，每逢中秋之夜，点上一盏孤灯，以寄哀思之情。
