多少人都不明白他为什么一直不娶妻子，直到刘贵再向裴家提亲，拿出一千两聘礼，娶了在娘家寡居而无子的裴氏，众人才明白，原来刘贵一直记得与裴家的亲事。
裴家原先还怕刘贵报复，现在看到明晃晃的千两银子，立刻就把女儿嫁了。人人都说刘贵长情，
不记恨雪上加霜的裴家，还要娶裴家守寡的女儿。
裴家也是欣喜，觉得姑爷重情，还想着，日后靠着二嫁的女儿，说不定还能让姑爷带携着一起发财。
可谁知事与愿违。自从裴氏进了刘贵的大宅子，就没得过宠幸。新婚拜堂后，新郎连洞房都没进，直接去了妾室的院子。
这还不算，刘贵不断扩建后院，也不断地纳妾买人，没多久，后宅的姨娘、侍妾、通房就有数十人之多了。
刘贵从不让夫人管家，只说她身体不好，让其休养。一切内宅事务俱都交给管家，姨娘侍妾就住在后院的百花园里。
百花园很大，占了大半个宅子，还不时在扩建。得宠的姨娘都有自己的院子，有伺候的下人。不得宠的，两三人到七八人住一个院子。
裴氏终于明白了，自己的丈夫根本没把自己当妻子，想通了，她就得了心病，开始缠绵病榻。裴家人知道了女儿过的日子，表面风光，用度充足，可是却饱含苦水，也是无奈。
如今刘贵不光家大业大，还是知州的座上宾，三天两头就捐银子给官府，听说外面认识的人也不少。
姑爷早不是当年那个走投无路的落魄少年，早就是他们得罪不起的人了，家人只好安慰裴氏说，“好在吃穿不愁，也能安稳度日。”
只是，这百花园也没上锁，女人们多了是非就多。那些姨娘们借着请安，时常跑去夫人那里说三道四，有的还炫耀恩宠。裴氏又不是个见过大世面的，就每每被这些各路女人气到。没几年，裴氏就一病归西。
没了女主人，百花园的女人们更加无人管束，今日，你记恨我，明日我算计你。好好的一个宅子，弄得乌烟瘴气。没办法，刘贵的姨娘、侍妾们已经多达百名。可男主人，就一个。在老爷面前得脸，就少受欺负，多得好处。失宠的，就被人踩，连用度都被下人克扣，生了病都无人理会。
即便是原先不想争的女人，在这个园子里，也不得不争。而刘老爷还很享受，他不是不知道女人们拈酸吃醋，互相算计。他知道，这是个商人，精明着呢，可他就是不想管。对他而言，钱财权势，才是最重要的，是立身之本。女人，不管是曾退婚的裴氏，还是后来别人送的女人，自己买的奴婢，下聘礼纳的姨娘，都信不过。
后来女人们互相算计，有的病了，有的死了，还有的没了孩子。刘贵对女人们不上心，便是得宠的也当猫儿狗儿，不过孩子就不一样了。争宠祸及孩子，他就不能不管了。
但是，他管的方法，就是把所有的孩子都接出百花园，另外安顿了几个院子，让奶娘和先生看管、教导。而百花园和院子的其他地方就开始被墙隔开，只留一个小门出入，还有人看门，里面的女人轻易不得出来。除非刘贵需要人伺候，才点名传唤一个出来。
母子分离，让有孩子的女人痛彻心扉，有的因为常年见不到孩子，又被其他姨娘欺负，竟然就轻生了。
孩子们思念母亲，想去看看都不能，每每被父亲训斥，落泪连连。他们为了过得好，也开始争斗，争父亲的宠爱。这些孩子，被身边的下人教着互相防范、算计，儿子就争着去打理家里的铺子，女儿就争着讨好父亲，以图日后能有个好嫁妆。
外人以为刘宅中的百花园何等风光，都道刘贵享尽艳福，却不知，里面的女人如同坐牢一般，只不过这个牢笼看着不错罢了。
渐渐地，一个个女人在这里早早就香消玉殒，还有的不知为何，竟然疯了，被其他女人栓在马厩里。
这日子又过了十几年，刘贵发现一个姨娘与花匠通-奸，欲要处死，却被那个女人嘲笑，“你这么多女人，哪里用得过来，百花园的女人有几个清白？你个活王八！”
气愤的刘贵冲过去要亲手掐死她，却被她挣扎中一头撞倒，刘贵的头碰到了柱子上，当时就血流不止。
他早年操劳，身体亏损，又沉湎酒色，早就淘干了身体，这一下子受伤，就再缓不过来，一命呜呼了。但是，刘贵自以为自己还能活些年，并没有安排好身后事。故而，他死后，整个家都乱了。儿子们开始争夺家业，从百花园里的出来的女人们彼此都没有多少真情意，有儿子的，为了支持自己的儿子多占些家业，想尽了办法。没儿子的，便趁乱，裹些东西离去。
当刘家兄弟阋墙，到大打出手的地步，官府就介入了，于是，刘家兄弟们互相攀咬，都说别人害兄弟谋家业，一个个都找了讼师，递了状子。新上任的知州跟刘贵没有任何交情，他心狠手辣，以刁讼为名，把刘家兄弟全关进了牢房，听候发落。贵公子受不得牢狱之苦，有的情愿放弃家产求释放，有的就病死在狱中。
至于刘家的家产，便没收充公了，女人们也各自散了，