中书令在汉武帝时期专门掌传宣诏命，经常陪伴在皇帝左右，多以宦官担任此职位。唐朝时，将中书令，尚书令，首长侍中合并为三省，相当于现在的国务院总理。

中书令是帮助皇帝在宫廷处理政务的官员，中书令负责直接向皇帝递交大臣的密奏，责任重大。西汉年间中书，归属于内廷宦官机构，负责在皇帝书房整理宫内文库档案，与皇帝有频繁接触的机会，其主官称“中书令”。司马迁中年以后，因学识过人等原因，就曾以太史公的身份担任中书令，朝位在丞相之上，是中国历史上第一位中书令。

南北朝时，中书令一官最为清贵华重，常用有文学才望者任职。谢安担任中书令执政，地位开始日益提高。十六国时前秦的王鱼担任中书令，职高位隆，谏言朝政。北周官制与各代不同，其内史中大夫即是此官。不同的朝代，中书令权力大小不一，有的朝代也不设此官职。