公元713年，卢怀慎奉命去东都洛阳主持选才授官，随身用具只有一个布袋。不认识他的人，根本看不出他是一个大官。卢怀慎，经历唐中宗、唐睿宗、唐玄宗三朝，一向注重官德，受到了时人的称赞。
卢怀慎清廉谨慎，生活节俭朴素，从不经营资产。他虽然贵为卿相，常常将所得的俸禄和赏赐随手周济亲朋好友。而他的妻子儿女的生活不免于饥寒，他们住的房子因年久失修而不蔽风雨，便拿着帘子遮挡。每天吃饭，不过蒸豆两碗、蔬菜数盘而已。
卢怀慎在担任黄门监兼吏部尚书期间，薛王李业的舅舅王仙童侵害百姓，御史台调查掌握了他的罪行，已经申报立案，这时李业出面为之请求赦免，于是诏命紫徽省、黄门省进一步核实。
薛王舅舅王仙童暴虐百姓，卢怀慎与姚崇上奏说：“王仙童罪状十分明白，如果御史都可以怀疑，那么其他人怎么还能够相信呢？”于是结案。
这件事影响很大，对全国上下那些违法乱纪的人起到了极大的震慑和教育作用，尤其使一些嚣张的贵戚收敛了许多。
卢怀慎在黄门监任上，曾经病了很长时间。他躺在一张薄薄的破竹席上，门上连个门帘也没有，遇到刮风下雨，只好用席子遮挡。
宋璟和卢从愿经常去探望他。卢怀慎平素很器重宋璟和卢从愿，看到他们俩来了，心里非常高兴，留他们待了很长时间，并叫家里人准备饭菜。结果端上来的只有两瓦盆蒸豆和几根青菜，此外什么也没有。
卢怀慎握着宋璟和卢从愿两个人的手说：“你们两个人一定会当官治理国家，皇帝寻求人才和治理国家的策略很急迫。但是管理国家的时间长了，皇帝身边的大臣就会有所懈怠，这时就会有小人乘机接近讨好皇帝，你们两个人一定要记住。”
宋璟和卢从愿走后，卢怀慎又抱病写了一个报告，向皇帝推荐了宋璟、卢从愿、李杰和李朝隐几个优秀人才，希望皇帝重用他们。后来，这几个人都在为官过程中发挥了一定的积极作用。
卢怀慎去世时，家人在安葬他的时候，因为他平时没有积蓄，所以只好叫一个老仆人做了一锅粥给帮助办理丧事的人吃。
四门博士张星看到这种情况，就上书给唐玄宗李隆基说：“卢怀慎忠诚清廉，始终以正直之道处世，对他不给予优厚的赏赐，就不能劝人从善。”
唐玄宗当时将要前往东都洛阳，看了张星报告，很受感动，立即颁发诏书，予以褒扬。
诏书中说：
已故检校黄门监卢怀慎乃国家之宝，朝廷的济世之才，善于出谋划策，学问德行堪称楷模。和公孙弘辅佐汉室齐等，与季文子弼相鲁国相同。节操与古人相傍，勤俭诚实可以作为榜样。他冰清玉洁，家里没有金银宝物，清贫度日。
我顾念以往岁月，更感深切哀悼。应该像抚恤凌统的遗孤一样抚恤他的遗孤，像表扬晏婴的德行一样表扬他的德行。应该赏赐物品一百段，粮食二百石。
唐玄宗回京师后，有一次打猎，来到一片破旧的房舍之间，发现有一户人家简陋的院子里，似乎正在举行什么仪式，便派人骑马快去询问。
派去人回来报告说：“那里在举行卢怀慎的周年祭礼，正在吃斋饭。”
唐玄宗决定赏赐给卢家细绢帛，并因此停止了打猎。在回来的路上经过卢怀慎的墓时，石碑尚未树立，唐玄宗停马注视，潸然泪下。
唐玄宗回到皇宫，看了卢怀慎在病中写给他的报告，对他更加惋惜。诏命中书舍人苏颋为其撰碑文，并在碑上亲笔御书。不久，又追赠卢怀慎为荆州大都督，谥号为“文成”。
卢怀慎以清正廉洁精神自律，由此带来的唐代百业昌盛、文化繁荣，开元盛世的大唐成为屹立于世界的中华强国就不足为怪了。
