右台御史冯思勖上奏章弹劾薛怀义说：

“薛怀义横行不法，殴打行人。且魅惑君主，居心叵测，应该废黜。”

武太后看了奏章，只是笑了一下，扔在一边没当回事。

但是冯思勖弹劾他的事被薛怀义知道了，他怀恨在心，想找机会收拾冯思勖。

不久后的一天，薛怀义带着几个身强力壮的人，埋伏在冯思勖上朝的必经之路上。

天刚亮的时候，冯思勖乘坐马车走到这里。

薛怀义喊：

“一起上！给我揍他！”

几个蒙面人冲上去，把马夫吓得喊叫着逃去。

薛怀义黑布蒙脸，一把从马车上扯下冯思勖，啥话也不说，一拳接一拳地捣击。其他人也蜂拥而上，挥拳对朝冯思勖头上、身上一阵乱打。

冯思勖被打晕过去，等他们走后，马夫才敢走回来，把冯思勖拉回家去，找医生治伤。

冯思勖知道是薛怀义干的，但无处申冤，只能吃哑巴亏。

温国公苏良嗣，继刘仁轨后任，武太后特召他为左相，受职入朝。

苏良嗣凑巧碰着薛怀义，勉强给他施了礼。薛怀义竟不还礼，昂着头好像没看见苏良嗣一般。

苏良嗣对左右随从愤怒地说：

“你们告诉我，这厮是哪里来的秃驴，敢这般傲慢？”

薛怀义骄横惯了，也不忍耐，对苏良嗣说：

“你是个什么东西？你在骂谁？你这是活腻了么？”

苏良嗣对左右侍从说：

“按住这头秃驴，掌嘴掌脸！让他长长记性！”

苏良嗣的侍从们接按薛怀义，连续搧他的脸、搧他的嘴几十下。

薛怀义嘴脸被搧得火辣辣地疼，迅速肿将起来。闻声赶来的几个太监，也知道薛怀义蛮横，宰相苏良嗣也不好惹，不敢上前阻止薛怀义挨揍。

脸被打肿的薛怀义气得怒火冲天，急忙跑去找武太后告状。

武太后见他脸被打肿，红肿的脸看上去滑稽可笑，忍不住笑了：

“你薛大师只能走北门，那个南门是宰相专用通道，你怎么能占他的道呢？

怨你不懂规矩，他当然要揍你，让你长些记性。”

武太后几句话，薛怀义好像被当头泼了一盆冷水，淋得气焰全消，只能自认倒霉。

武太后怕他再出去闯祸，对外编造了理由，说是薛怀义有巧妙创意，让他在宫中主持新建宫殿“明堂”的设计、施工监造指挥，不允许他随便外出。

左拾遗王求礼是负责监察皇帝言行疏漏和文武百官怠取职违法的言官，性情刚直。

他知道薛怀义是武太后的男宠。

他见薛怀义一个魁梧健壮的男子，整天在皇中晃来晃去，且同宫女时有说笑，上表给武太后说：

“臣有本启奏太后：

太宗皇帝时，有个叫罗黑的人，弹琵琶技能很高。

太宗皇帝想让他住在皇宫中教宫女学演奏琵琶，只好先把他阳物阉割去，才允许他住在宫中。

如今薛怀义有些本领，常住在宫廷，请求太后批准，安排人阉割了他，让他变成太监，免得他与宫女厮混，闹出事来。”

武太后看完奏章，有些害羞地笑了笑，也不怎么生气，只是把奏章扔在一边，不予批复。