而不惑的时候，鲁国季氏家臣阳虎擅权日重，孔子称之为“陪臣执国命”，所以孔子不为官，隐居修著了《诗》、《书》、《礼》、《乐》，这四本书他不是原作者，他只不过是收集、整理还有修改。

不过由于这四本书在日后成为四书五经当中五经的四本，成为历代学子必读的书籍，得到了历代统治者的推崇，因此天道有感之下，降下了无量功德，四件灵宝全部都成了下品功德灵宝。

不过此时孔子还是肉体凡胎，即使有功德灵宝也没有丝毫用处。

随后，众多弟子跟着孔子走遍各国，跟随他学习，阳虎欲见孔子，孔子却不想见阳虎，后来二人在路上相遇，阳虎劝孔子出仕，孔子没有明确表态，随后当了小司空这个官。

五年后，孔子升为鲁国大司寇，诛杀奸臣少正卯，将其曝尸三日，致使鲁国大治，随后，孔子为了削弱季孙氏、叔孙氏、孟孙氏三家世卿，采取了隳三都的措施，只不过后来半途而废，他们之间的矛盾也随之暴露。