郎玉柱，是彭城人。他的父亲曾做过太守，为官清廉，得到俸禄后，不置田产，酷爱买书，积攒了满满一屋子。到了玉柱，尤其痴：家里非常贫困，东西都卖光了，只有父亲的藏书，一本也不忍卖掉。父亲在时，曾抄录《劝学篇》贴在郎玉柱书桌的右边。玉柱每天都要读上几遍，还罩上层白纱，恐怕磨坏了。玉柱读书倒不是为了做官，而是真的相信书中自有“千钟粟”“黄金屋”，因此昼夜苦读，四季不断。二十多岁了，也不知娶妻，盼望着书中那“颜如玉”的美人自己会来找他。有时亲戚朋友来到家里，他也不知问寒道暖。略说几句话，便又旁若无人地高声读起书来。客人无味，自己坐一会儿就走了。每次科考，学使总是首先选他参加，但却一直考不中。
一天，玉柱又在读书，忽然一阵大风吹来，将书刮跑了。玉柱急忙追赶，一脚踏空，双脚陷进地里。低头一看，见是一个坑，上头盖着层烂草。往下挖了挖，才知原来是古人窖藏粮食的地窖，里面的粮食已经腐烂成粪土了。虽然粮食没法吃，但玉柱更加相信“书中自有千钟粟”的说法确实不错。因此，读书也更加用功。又一天，玉柱爬梯子上书架高处找书，在一堆乱书中发现一个尺把长的小金车，惊喜万分。以为“书中自有黄金屋”的话又应验了。拿出去给人家看了看，原来是镀金的，并不是真金。玉柱沮丧不堪，暗地里埋怨古人欺骗自己。过了不几天，有个跟父亲同榜考中的人，做了本道的观察，此人信佛。有人便劝玉柱将金车献给他作佛龛。观察非常高兴，赐给玉柱三百两银子、两匹马。玉柱大喜，以为“书中车马多如簇、书中自有黄金屋”都应验了，越发刻苦攻读。
玉柱到了三十多岁，有人劝他该娶妻子了。玉柱说：“‘书中自有颜如玉’，我还愁没有漂亮的妻子吗？”又过了两三年，书里仍没出来个美女找他，大家都嘲讽他。这时，民间谣传天上的织女星私奔到了人间。有人和玉柱开玩笑：“织女私逃，大概是为了你吧？”玉柱知道他们是在戏弄自己，也不答理。一晚，读《汉书》读到第八卷，刚到一半的时候，见一个用纱剪成的美人夹在书页中。玉柱大惊道：“书中自有颜如玉，难道就是这个吗？”心里怅然若失。他再细看看那纱剪的美人，眼睛眉毛栩栩如生，脊背上隐隐约约有行小字：“织女。”玉柱十分惊异，天天把美人放到书上，反复观赏，至于废寝忘食。
一天，正在凝视着那纱美人，美人忽然弯弯腰起来了，坐在书上向他微笑。玉柱惊骇万分，忙拜倒在桌下。美人坐起身，已变得有一尺多高。玉柱更加惊疑，连连叩头。美人走下桌子，亭亭玉立，真是艳美无双。玉柱边拜边问：“你是什么神仙？”美人笑着说：“我姓颜，叫如玉，你早就知道我了。承蒙你天天盼着我，我如不来一次，恐怕千年之后没人再相信古人的话了！”玉柱十分高兴，便和她一块睡了；但枕席上虽然亲爱非常，玉柱并不懂男女间那事儿。
此后，玉柱每读书，一定要那女子坐在一边陪着。女子劝他不要再读了，玉柱不听。女子说：“你所以不能飞黄腾达，就是因为只会死读书罢了！试看那些科考中榜的人，有几个是像你这样读书的？你不听我的话，我就走了！”玉柱只得暂时听她的。刚过一会儿，又忘了，照读如旧。过了一霎，再找女子，已经不见。玉柱丧魂失魄，忙跪下祈祷，还是没有踪影。忽然想起女子隐藏的地方，忙拿过《汉书》仔细翻检，果然在原来的地方找到了她。叫也叫不动，便跪下恳求，女子才下来说：“你若再不听，我就永不和你来往了！”于是，让玉柱买来棋盘、纸牌，天天和他游戏。但玉柱的心思一点也不在玩上，瞧见女子不在，就偷来书赶紧浏览几页。恐怕她发觉后再走了，暗将她藏身的《汉书》第八卷混杂在其它书中，让她迷失归路。一天，玉柱又读入了迷，女子进来，他竟一点也没发觉。忽抬头看见她，急忙合上书，女子已消失了。玉柱大为恐慌，搜遍了藏书，也没找到她。最后，还是从《汉书》第八卷中找了出来，连页数都丝毫不错。于是，玉柱再次哀求，发誓决不再读了，女子才从书上下来，跟他下棋，说：“三天内棋还下得不好，我还走！”到了第三天，二人下棋时，玉柱竟然赢了两子，女子才高兴起来。又给他一架琴，限五天弹会一支曲子。玉柱手里弹着，眼睛看着，再也顾不上别的。时间一长，竟也弹得得心应手，自己不觉也兴奋起来。女子天天跟他喝酒、玩耍，玉柱高兴地忘了读书。女子又让他走出家门，多交朋友，从此郎玉柱风流潇洒、多才多艺的名声就远远传开了。女子说：“这下你可以去考试了！”
一天晚上，玉柱对女子说：“凡男女同居到一起，就会生孩子。我和你住了这么长时间，怎么不生呢？”女子笑着说：“你天天读书，我本来就说没用处。现仅夫妇这一章，你就还没明白。枕席之上有功夫！”玉柱惊奇地问：“什么功夫？。女子只是笑，也不说话。过了会儿，暗暗地凑上去，教给玉柱。玉柱快乐至极，说：“没想到夫妇之间还有这种不可言传的快乐！”于是逢人便说，引得人无不掩口而笑。女子知道后责备他，他还不解地说；“钻墙越院偷东西，才不能告诉人；天伦之乐，人人都有，有什么可忌讳的呢？”过了八九个月，女子果然生下个男孩，玉柱便雇了个老妇人抚养着婴儿。
一天，女子突然对玉柱说：“我跟了你两年，已经生了儿子，我们可以分手了。耽搁时间久了，恐怕会给你招祸，那时后悔就晚了！”玉柱听说，流着泪拜倒在地上：“你就不念我们的孩子吗？”女子也十分凄伤。过了很久，说：“你一定要我留下来，就把书架上这些书全扔了。”玉柱不肯，说：“这些书是你的故乡，我的生命，怎么说这种话！”女子不再勉强，说：“我也知道一切都是运数，不得不预先告诉你罢了！”
先前，玉柱的亲属中有人发现了女子，无不惊骇万分。但又没听说他和哪家姑娘结婚，便一起询问他。玉桂不会说假话，只是默默不语，大家更加怀疑。结果这事传遍了各地，也传到了县令史某的耳朵里。史某，是福建人，少年时就考中了进士。听到玉柱家有个美人的消息，动了坏念头，想瞧瞧那女子是什么模样，立即派衙役去捉拿玉柱和女子。女子听说，逃得无影无踪。史县令大怒，将玉柱逮捕下狱，革去功名，严刑拷打，定要他交待出女子的去向。玉柱被打得死去活来，还是不说。县令又拷打丫鬟，丫鬟知道得不多，只说了个大概。史县令便认为那女子是妖怪，骑着马亲自赶到玉柱家捉拿。见满屋子都是书，多得无法搜查，县令便命放火烧书。浓烟滚滚，凝聚在院子上方，像乌云一样，久久不散。玉柱被释放后，到远万去求了一个父亲的门人帮忙，才得以恢复了功名。这年考中了举人，第二年又中了进士。玉柱对史县令恨入骨髓，立起了颜如玉的牌位，天天祷告说：“你如有灵，就保佑我到福建做官！”后来他聚然被朝廷任命为巡按，到福建视察。过了三个月，访查到史县令在老家的劣迹，便抄了他全家。当时，玉柱有个表兄弟是法官，逼着他娶了个妾，假说是买的婢女，寄居在玉柱的官衙里。这件案子一了结，玉柱于当天就辞职，带着爱妾返回了老家。