有个叫王勉字黾斋的人，家在灵山，很有才气，考试总考第一。他心气很高，善讥讽人，不少人都受过他的奚落。
这天他偶然遇到个道士，道士打量了他一番说：“你的相貌主大贵，可惜被你轻薄的缺点给抵消了。凭你的聪明才学，如果不读书，去修道，还有可能成仙。”王勉讥笑说：“谁将来有多大的福，这是不可能知道的。我只知道世上并没有什么仙啊神的。”道士说：“你的见识怎么这样浅薄？仙人，不用找，我就是。”王勉更笑他荒唐。道士说：“我这个仙还没什么特别，你如随我去，立刻能叫你见上几十个真正的仙人。”王勉问：“去哪儿？”道士说：“近得很。”于是把拿的木杖夹在腿间，把另一头交给王生，叫他学自己的样子，嘱咐他闭上眼，叫声“起”，王生就觉得木杖忽然粗得像能盛五斗粮食的布袋，腾空飞起。王生悄悄一摸，一片片的鳞甲刺手，吓坏了，动也不敢动。一会儿，道士又叫一声“住”！就把木杖抽去，落到一所大宅院里。
只见楼阁重重，像帝王家，有个丈把高的台子，台上有座大殿，前后竖着十一根柱子，非常宏大华丽。道士拉他上去，就吩咐童子设宴，招待客人，殿内一下了摆了几十桌筵席，那个阔气，叫人眼花缭乱。道士换了好衣服等侯。不多会儿，诸位客人从天上来了，骑龙的、跨风的、骑虎的，等等不一，还带着乐器。有女有男，有赤脚的。内中有个美丽的妇人，骑彩凤，宫中打扮，有童子替她抱着乐器。乐器五尺来长，不是琴，也不是瑟，叫不出名来。
酒宴开始，佳肴满桌。王勉只觉吃起来又香又甜，一点也不像平常菜肴。王勉无言静坐，只看那美妇，心中喜欢她，惟恐她一直不弹。酒饮得差不多了，一位老者倡议说：“多亏崔真人邀请，今天可算盛会，当然该饮个尽兴。请大家以乐器分类，同一类的来个大合奏吧！”于是各自找伴儿配合，演奏起来。美妙的音乐响彻云霄。唯有那骑彩凤的，跟谁也搭不上伴儿。大家奏完，童子才打开乐器袋，摆到案子上。女的伸出白皙的手腕。像拨筝那样，开始演奏。声音比琴响亮得多。雄壮处使人胸怀开阔，柔婉处勾人魂魄。奏了半顿饭工夫，整个大殿里静得很，连个咳嗽的也没有。曲终，“当”的一声收住，像鼓磐那样清脆。众人齐称赞说：“云和夫人真是绝技啊！”大家起身告别，一时龙吟，凤鸣，都散了。道士安排了上等床铺被褥，供王勉休息。
王勉见丽人时，已经心动，听了她的音乐更加思念了。想想以自己的文才，做大官不难，那时要什么没有？……顷刻间心绪乱极了。道士好像知道了他的心事，说：“你前生与我一起学道，后来因意志不坚定，才坠入尘世。我不是勉强你，实在是想使你从恶浊的尘世中自拔；谁知你陷得太深了，懵里懵懂的，唤不醒了。现在我就送你走，以后也不一定不能见面。但想做天仙，还得再受劫难才行。”于是就指着石阶下一条长长的石头，叫他闭上眼坐了，嘱咐他不能睁眼看。说完，用鞭子把石头一抽，石头飞起来，王生耳边呼呼有风，不知飞了多远。忽然想，在天上看下界，是个什么样子；偷偷将眼睁开条细缝向下一看，见大海茫茫，无边无际，吓得赶紧闭眼，可是连石带人已经掉下去了。嘭！跟海鸥潜水似的，一下子扎进水里，幸亏他过去住在海边，会一点游泳。这时，便听见有人拍巴掌，说：“这一跤摔得真美啊！”正危急间，一女子拉他上了船，并说：“好事儿，好事儿，秀才‘中湿’啦！”王生一看，见这女子有十六七岁，很漂亮。王冻得打哆嗦，求她弄火烤烤。女子说：“跟我到家，就安排。以后如得意了，可别忘了我。”王生说：“什么话！我是中原大才子，偶然这样狼狈，以后该用一生来报答你，岂止是不忘！”
女子摇橹划船，行驶如风，一会儿靠岸，在舱中拿出采来的一束莲花，领他一起走。约走了半里路，进了个村庄。见有一朝南的红漆大门，进去后又过了几道门，女子先跑了进去。不久，出来一个四十来岁的男人，作揖请王生进屋。又吩咐佣人快拿衣帽鞋袜叫王生换了，然后，问起他的家世。王生说：“我不是说假话，我的才学还是有点知名度的，崔真人很喜欢我，邀请我去了天宫，我取功名做大官容易得很，所以不愿隐居。”那男子肃然起敬，说：“这地方叫仙人岛，与人世隔绝。我姓桓，叫文若，几辈子住在这僻静地方，没想到有接近名士的荣幸。”便殷勤地设下宴席，又不紧不慢地说：“我有两个女儿，大的叫芳云，十六岁了，至今未遇见佳偶，打算叫她侍奉您，怎么样？”王勉以为一定是那个采莲姑娘，赶紧站起来表示感谢。男子叫人在邻居中请几位德高望重的人来作陪，又让仆人马上去叫女儿。顷刻问，袭来一阵浓香，十几个美女簇拥着芳云出来了。明媚光艳，像朝霞中的莲花，拜见了客人，坐下。十几位美女中就有那个采莲人。酒过三巡，又出来个十来岁的女孩，姿态俊秀，笑着偎在芳云胳膊下边，一双水灵灵的大眼转来转去地看。桓文若说：“闺女家不在绣房里，出来干啥？”又对客人说：“这是绿云，是我小女儿。挺聪明，能背《三坟》、《五典》呢！”就叫她对客人吟诗，绿云即刻朗诵了三首“竹枝词”，稚嫩宛转的声音很好听。桓便叫她挨着姐姐坐下。又跟王生说：“像王郎这样的大才，一定写过很多好文章，能不能叫大家听听呀？”王勉痛快地背诵了一篇近体诗作，涌完自豪地左看右看。其中有这么两句：
“一身剩有须眉在，小饮能令块磊消。”
邻居老者再三地念诵。芳云低声告诉他说：“上句是孙悟空离火云洞，下句是猪八戒过子母河呀。”说得满座都鼓掌大笑。桓又请王生再诵别的，王勉又诵了一首水鸟诗：“潴头鸣格磔，”忽然想不起下句来了，他略一沉思，芳云对妹妹叽叽咕咕地耳语了几句，捂着嘴笑起来。绿云对父亲说：“姐姐给姐夫续上下句了，是狗腚响绷巴。”一席人都笑得闭不上嘴。王勉很不好意思。桓文若生气地用眼睛瞪了下芳云，王勉表情才平静了些。桓又请王介绍自己的文章。王勉想，这些与世隔绝的人一定不懂八股文，就炫耀起自己应试得了第一名的一篇，题目是：“考哉闵子骞。”王勉文章破题的头句说：“圣人赞大贤之孝……”绿云看看父亲，说：“圣人没有赞美学生的，‘孝哉……’一句应该是别人的话。”王勉听了，情绪马上低落下来。桓笑着说：“小孩子懂什么！别挑剔这个，评评文采怎么样吧。”王勉又接着背诵，每诵几句，姐妹俩就叽叽咕咕耳语，好像是些批评的话，只是咕咕哝哝听不清。王勉念到得意处，连考官的评语也念出来了，有句评语是：“字字痛切。”绿云对父亲说：“姐姐说：该把‘切’字删去。”大家都不明白为什么。桓文若怕她又说出叫王生难堪的话，不敢往下问。王勉把文章背完，又介绍考官的总评语。有这样的句子：“羯鼓一挝，则万花齐落。”芳云又捂着嘴跟妹妹嘁喳，两人笑得前仰后合。绿云又对父亲说：“姐姐说：‘羯鼓应该挝四下’。”大家又不懂。绿云想说，芳云忍住笑吓唬她：“妮子敢说，看不打死你！”众人更不明白了，纷纷猜测是什么话。绿云忍不住，终于说：“删去‘切’字，说‘痛’就‘不通’；再敲四下鼓，鼓声不是‘不通不通’吗？”众人听了大笑起来，桓文若生气地斥责她们，赶快亲自起身斟酒，陪不是。
王勉开始时还吹嘘自己的才名，目中无人；到这时，再没那么神气，只有淌汗的份儿了。桓文若又夸将了他两句，想给他个机会让他下台，说：“我刚想起一句，请你即席联个下句：“‘王子身边，无有一点不似玉’。”大家还没来得及想，绿云应声说道：“黾翁头上，再着半夕即成龟。”芳云失声笑了出来，呵了手膈肢她。绿云脱身跑掉，回头看着姐姐说：“关你什么事？你一遍遍地骂，别人才骂一句就不行了？”桓文若喝斥她，她才笑着走了。
邻居老人告辞。婢女们领王勉夫妻进内室休息。内室里屏风床铺，陈设精美齐全，灯烛照耀。再看洞房里，满架子的函套，什么书都有。问她个生僻的问题，她没有答不上的。到这时候，王勉才觉出自己学问差远了，应该知羞才是。芳云喊“明珰”，采莲女就小跑过来，这才知道她的名字。刚才被挖苦得够呛，唯恐妻子瞧不起自己；幸好芳云虽然嘴厉害，对丈夫还是极尽温柔，王勉也就安下心来。没事儿就吟几句诗文，芳云说：“我有句忠言，不知你听得进听不进。”王问：“什么忠言？”芳云说：“从此别作诗，也是个掩饰短处的办法。”王勉一听，惭愧得很，就不再写文章。
日子长了，王勉和明珰渐渐亲昵，对芳云说：“明珰对我有救命之恩，希望你对她好些。”芳云立刻同意了。有时夫妻在卧室中玩耍，也叫上明珰一块儿。两人感情更深了，慢慢就发展到使眼色，打手势进行暗示的程度。芳云觉察出来，责备王勉，他唯唯地听着，好歹混过去了。
这天晚上，王勉与芳云对吟，觉得寂寞，建议把明珰喊来，芳云不许。王勉说：“您读了那么多书，怎么不记得‘独乐乐’几句？”芳云说：“我说你不通，这不更证明了。连句读也不懂啊？‘独要，乃乐于人要；问乐，孰要乎？曰：不’。”夫妻一笑而罢。
碰巧芳云姐妹去邻女那儿赴约，王勉得了空儿，赶紧叫来明珰，尽情欢娱了一番。当天晚上，王勉就觉得小肚子痛，痛过后，生殖器全缩回去了。吓得告诉了芳云，芳云笑了，说：“一定是报了明珰的恩了！”王不敢隐瞒，实说了。芳云说：“自找的祸，我实在没办法，不痛不痒的，随它去。”几天不愈，王勉心中郁闷，芳云知道，也不问，只是用明亮的眼睛看他。王勉说：“你正应了一句古话：‘胸中正，则眸子瞭焉’”。芳云笑笑说；“你也应了一句话：‘胸中不正，则瞭子眸焉。’”原来“没”的方音读如“眸”，故意用这话开他的玩笑。王勉也笑了，向芳云哀求治疗的办法。芳云说：“你不听忠告，在这以前，还可能怀疑我忌妒呢。你不知道，这婢女本来不可亲近，过去我说那些，实因为是爱你，可你……当成了耳旁风，我才故意不可怜你。唉，没办法，给你治吧。可医生必须观察观察。”就把手伸进他衣服里，口中念道：“黄鸟黄鸟，无止于楚！”王勉听他说得有趣，不觉大笑，笑过病就好了。
过了几个月，王勉因双亲年老，孩子年幼，常苦苦思念，将这个告诉了芳云。芳云说：“想回家不难，可是再见面就不知哪天了。”王勉听了，泪流满面，求芳云与自己一起走。芳云考虑再三，才答应了。桓翁设宴为他们饯行。绿云提了个篮子进来说：“姐姐要远远地离开我们了，没什么可送，怕你到了海上没地方住，连夜替你造了房子，可别嫌粗糙。”芳云施礼接受了，凑近看是些用细草制成的楼阁，小的有橙子那么大，大的像桔子。大约有二十多座，每座的梁栋椽檩，根根清楚，里面的床帐桌倚，芝麻粒儿大小。王勉以为是小孩子玩艺儿，可心里也叹服她的手巧。芳云说：“实告诉你吧，我们是地仙，因为与你有缘份才嫁了你。本来我不愿与你同去凡尘，仅为你老父亲在，不忍违背你的意思。等老父亲百年后，还得再回来。”王勉恭敬地答应着。桓翁问：“从水路走，从旱路走？”王勉受过水上风险，表示愿从旱路走。出了门，车马已等在那里了。
告辞了桓翁一家登上归程。马行迅疾，很快到了海岸边，王勉正愁无路可走，芳云拿出一匹白绸子，向南一抖，立刻变成了一带长堤，一丈多宽，转瞬问就过去了，长堤也慢慢收了起来。又到一处，有一片无边无际的潮水。芳云止住车马不让再走，下了车，取出篮子中用草做成的房舍，同明珰等婢女按一定布局摆好，转眼间变成一处大宅院。一齐进去卸下行装，跟岛上的房邸并无两样，连同房屋的桌呀、床啊也和原来一样。这时，天色已晚，就住下了。
次日早晨，叫王勉把父母接来赡养。王勉打发人骑马到老家，到了才知道家中宅屋已经换了主人；问邻里，说是他母亲和儿子都早死了，只有老父亲还活着。王勉的儿子爱赌博，家产全输光了，爷爷孙子连住的地方都没有，临时借宿在西村。
王勉刚回来时，还想取功名，所以不把家境放在心上，直到了解了这些情况才非常难过地想，富贵纵然好，可是跟梦中之花有什么区别？骑马到了西村，见老父亲穿得又脏又破，衰老得可怜。父子都失声痛哭，问起他那个没出息的儿子，说是出去赌没回来。王勉就用马接了父亲回来。芳云拜了公爹，烧了水请老人洗澡。送来绸缎衣服，让他住在熏了香的卧室里。又送信请来了公爹的老友陪他说话，老人的生活超过了名门大家。
一天，王勉的儿子找来了，王勉不让他进家门，只给了二十两银子。叫人告诉他：“用这些钱娶个媳妇过日子吧。再敢来，用鞭子打死！”儿子哭着走了。
王勉自从回了老家，不大与别人来往，可是老朋友偶然来到，一定款留几天，说话比原来谦虚多了。其中独有个黄子介，是老同学，也是个不及第的名士，王勉留他住了好多天。还常说些秘密话，送的钱物也多。住了三四年，王老头去世，王勉花一万两银子请人看茔地，厚礼葬了。这时，儿子已成了家，媳妇管得严，儿子赌博也少了，在爷爷的丧事上，儿媳才拜见了公婆。芳云一见，断定她能操家，又赐三百两银子作为买田产的资本。
第二天，黄子介带了王勉的儿子一同去拜谒，王勉住的房舍院落都已消失，不知他们到哪里去了。