说起赵光义对寇准重视的程度，一件小事就足以体现了。有一天，有人为了讨好赵光义，主动奉献了一份世上少有的宝物。到底是什么样的一件宝物呢？即一种上下贯通的犀牛角，名曰“通天犀”。赵光义对此宝物喜欢得不得了，但他还是忍痛割爱，特意命人加工成了两条犀带，一条留作自用，另一条则赏赐给了寇准，这让朝中不少大臣羡慕不已。
然而，个性爽直的寇准也经历过起起落落，两次出任宰相一职。在他担任宰相期间，他有这样一个原则：对于选拔人才，他从来不讲门第，而是喜欢重用那些出身贫寒又有真才实学的人。而且他所管辖的御史台是专门批评朝政得失的机构，只要御史台有了空缺，他就让那些敢于批评的人来担任。这样一来，他就在朝中树立了一些敌人。那个曾被寇准斥之为“罪可斩首”的妥协派首领王钦若，对寇准更是恨之入骨，并且视他为眼中钉、肉中刺。在这些人的各种排挤和报复下，寇准在北宋景德三年（1006年）被罢免宰相一职，贬到陕州去做知州。而寇准再次出任宰相是在天禧三年（1019年）的时候，当时形势发生了巨大变化，当时的参知政事身份丁谓知道自己无论在资历，还是声望上都没有做宰相的资格，于是主动邀请寇准回朝再当宰相，但心底里还是不甘心，只能再找机会下手。再到后来，丁谓等人污蔑寇准密谋造反。最终，寇准二次被罢免宰相，再一次被逐出了京城。