司马光和王安石虽然在政治上对立，但在私生活方面，有一个共同点，那就是不好色。 司马光年轻的时候，在地方上做官，他的上司见他婚后数年仍然没有孩子，就让自己的夫人出面说通了司马光的妻子裴氏。 小妾娶进门后，谁知司马光连看都不看一眼。裴氏以为丈夫有顾忌，不好意思，就找个借口躲了出去。 出门前对小妾说：“等我出去后，你梳妆打扮，到相公的书院中。”小妾照着夫人的嘱咐，盛装打扮一番后，来到司马光的书房。 司马光看到小妾后，非常吃惊：“夫人出去了，你怎么在这里？”小妾只好委屈地转身走了。后来，这个小妾被司马光送回了原来的地方。 王安石的夫人吴氏也为他擅自纳过一个妾。 王安石下班回来，忽然看见自家庭院里多了一个陌生女人，很奇怪：“你是干什么的？”小妾回答：“是夫人让我服侍大人的。”王安石又问：“你是从哪里来的？”小妾答：“我原有丈夫，他是一个将军，当差的时候犯了错，家里的资产都被没收，仍然不够罚金，所以就把我卖了用来偿还债务。” 王安石这时的脸色变得很难看，又问：“夫人用了多少钱，把你买来的？”听到小妾的回答后，王安石就命人把她的丈夫找来，让他们夫妻团圆，临走时，又赠送给他们夫妻很多钱财。
