唐詩云：“昔人已乘黃鶴去，此地空餘黃鶴樓。”詩中的“昔人”指的也許是仙人王子安或費禕。不外，到了宋朝，黃鶴樓又與仙人呂洞賓聯繫到了一起。

傳說，有一個姓辛的老闆在蛇山上開了一家旅店。一位羽士經常來喝酒，但從不給錢。辛老闆也漫不全心。一次，羽士臨走之前，用橘子皮在牆上畫了一隻黃鶴，若是客人對着黃鶴拍手，黃鶴就下來翩翩起舞。云云一來，旅店的客人越來越多，生意也異常興隆。

吳孟舉遇仙的故事

十年後，羽士再次來到旅店，從腰間取出笛子，吹出悅耳的音樂。黃鶴徐徐飛出牆壁，羽士騎上黃鶴徐徐飛走。聽說，這位仙人就是呂洞賓。

為了紀念仙人和黃鶴，辛老闆出資在山上興建了黃鶴樓。後人往往登高至此，總會想起這美妙的傳說。