杨坚出任北周丞相的时候,尉迟迥不服他的统治,举兵造反,向怀州发动攻击。刘行本率领部下抵抗住了他的进攻,因为这个功劳而被赐爵文安县子。杨坚即位后,刘行本被拜为谏议大夫,代理治书侍御史。不久又迁为黄门侍郎。
有一次,隋文帝对一个郎官发怒,在殿前公然用竹棍殴打他,刘行本劝谏说:“这个人品行一向很高洁,他这次犯的过失又很小,希望陛下能够宽容些。”隋文帝没有理睬。刘行本见皇帝不采纳他的意见,干脆站到皇帝跟前对他说:“如果我说的是对的,陛下怎么可以不听从呢?如果我说的是错的,那就应该把我交给执法的官员,以此来申明国法,怎么可以因为轻视我而不理睬我呢?我所说的又不是什么私事。”说完把朝笏放在地上,自己退下去了。隋文帝也觉得自己的态度有点过分,马上郑重其事地向他道歉,顺便原谅了那个被打的郎官。
雍州别驾元肇上书皇帝说:“有一个州吏接受了别人送给他的三百文钱,按照法律他应该被判处打一百杖。因为我刚到那里的时候和他约定好了要守法,他还故意违背,所以请求在此基础上再给他加一年的徒刑。”刘行本反驳道:“法律的执行都经过诏书发布,和百姓们做好了约定的。现在元肇居然胆敢只重视他自己的命令,而轻视国家的法令,他要申明自己的言语一定要实行,却忘记朝廷大的信义,破坏国法而重视个人的权威,这不是为人臣子应该有的准则。”隋文帝表扬了刘行本的直谏,并赏给他一百匹绢帛。