杨坚出任北周丞相的时候，尉迟迥不服他的统治，举兵造反，向怀州发动攻击。刘行本率领部下抵抗住了他的进攻，因为这个功劳而被赐爵文安县子。杨坚即位后，刘行本被拜为谏议大夫，代理治书侍御史。不久又迁为黄门侍郎。
有一次，隋文帝对一个郎官发怒，在殿前公然用竹棍殴打他，刘行本劝谏说：“这个人品行一向很高洁，他这次犯的过失又很小，希望陛下能够宽容些。”隋文帝没有理睬。刘行本见皇帝不采纳他的意见，干脆站到皇帝跟前对他说：“如果我说的是对的，陛下怎么可以不听从呢？如果我说的是错的，那就应该把我交给执法的官员，以此来申明国法，怎么可以因为轻视我而不理睬我呢？我所说的又不是什么私事。”说完把朝笏放在地上，自己退下去了。隋文帝也觉得自己的态度有点过分，马上郑重其事地向他道歉，顺便原谅了那个被打的郎官。
雍州别驾元肇上书皇帝说：“有一个州吏接受了别人送给他的三百文钱，按照法律他应该被判处打一百杖。因为我刚到那里的时候和他约定好了要守法，他还故意违背，所以请求在此基础上再给他加一年的徒刑。”刘行本反驳道：“法律的执行都经过诏书发布，和百姓们做好了约定的。现在元肇居然胆敢只重视他自己的命令，而轻视国家的法令，他要申明自己的言语一定要实行，却忘记朝廷大的信义，破坏国法而重视个人的权威，这不是为人臣子应该有的准则。”隋文帝表扬了刘行本的直谏，并赏给他一百匹绢帛。