“墨守成规”这句话的形成，有一段较长的经过。最初是说墨子反对战争，最善于“守城”。事见春秋•鲁•墨翟《墨子•公输班》（《孟子•离娄》注和《史记》均作公孙班）。
战国中期，楚怀王要攻打宋国，著名巧匠公输班（鲁国）为楚军制作了攻城工具。这事被主张“兼爱”的墨翟听说后，便从齐国走了十天十夜来到郢（楚国首都），劝楚怀王说：“进攻宋国，既丧失了正义性，又不会有好结果。”怀王说：“公输班已经做好了攻城的云梯，一定要进攻宋国。”
墨翟于是又去见公输班，用自己衣带比做城，用筷子比做守城器械，让公输班来攻。公输班设置九次攻城机变，墨翟九次都防守住了，公输班攻城的器械用尽，墨翟守城之械还有余。楚怀王见到这个情况，便和公输班打消了攻宋的打算。
由于墨翟善于守城，人们根据这个故事，概括为“墨守城规”，原意是墨翟守城有一定之规。
据《晋书》说，东晋江州刺史温峤，为依靠陶侃的势力讨平苏峻、组约作乱，在给陶侃的信中说：“仆才轻任重，实凭仁公笃爱，远秉成规。”“城规”便取谐音“城规”转化为“墨守成规”。后又按意化为“默守陈规”。
南朝•宋•范晔《后汉书•郑玄传》说：“时任城何休好《公羊》学，遂著《公羊墨守》。”是说：东晋哀帝的尚书仆射谢玄，年轻时不愿当乡里的税官，而愿学习经学，曾就学于涿郡的扶风马融。郑玄立于门下三年多，马融才开始向他传授学说。十年后，郑玄归乡里收弟子达到几千人，“党锢之祸”当中，他的弟子孙嵩等四十多人被捕，郑玄便闭门潜心研究和著述，成为汉代经学集大成者。
当时任城、何休二人好公羊之学，著有《公羊墨守》、《左氏膏肓》、《榖梁废疾》等书，推崇《公羊传》有“绝墨可守”，批评《左氏春秋》则如“病入膏肓，不可救药”，至于《榖梁传》也有所偏废，认为只有《公羊传》才是得孔子学说之真传。这些看法，郑玄认为极其不妥，便写了《发墨守》《鍼膏肓》《起废疾》诸篇，拨正何休派的说法，说他们都是属于“墨守陈规”。
“墨守成规”或“墨守陈贵”的说法，就是这样形成的。形容抓住陈规陋习不放，不知变通。