最早的墨，当然是锅底的油烟了，只要颜色深，在石板、竹片、丝织品等材料上写作，就是墨的起源了，究竟是谁第一个制作了这种黑墨，尚有待考证和研究，起码在三代时，就已经出现了墨了。
        到了秦汉以后，笔墨砚已经广泛运用了。
        宋代制墨业在墨史上占有重要地位，其中油烟墨的创制是最突出、最值得骄傲的成就。在宋之前，中国制墨都采用松烟为主要原料，用松烟制墨要选择肥腻、粗壮的古松，因而许多古松被砍伐殆尽，造成对自然资源的极大破坏。宋代晁贯之在《墨经》中这样描述：“自昔东山之松，色泽肥腻，性质沉重，品惟上上，然今不复有，今其所有者，才十余岁之松。”沈括在《梦溪笔谈》中也写道：“今齐、鲁间，松林尽矣，渐至太行、京西、江南，松山大半皆童矣。”在严重墨源匮乏而用墨需求日增的情况下，寻求新的制墨原料已迫在眉睫。
       徽墨的创始人叫奚廷圭，他是河北易州（即今河北省易县）人。奚氏父子发现这歙州地理环境非常适宜于制墨业生产，不但有许多黄山松树可以取得高级松烟，而且更有澄清见底的练江溪水可以保证和料时的纯净，于是，他们就定居下来，并且很快就生产出了第一批墨，人们都把它称为“新安香墨”。
       南唐后主李煜，是个喜文弄墨的皇帝。他一方面封歙州砚工李少微为砚务官，专门为他制作龙尾砚；另一方面又封歙州墨工奚廷圭为墨务官，专门为他制作新安墨。随后，他又以他的金口布下玉言，赐给奚廷圭以国姓“李”，表示他对新安墨的特别珍爱。从此以后，人们都把“奚廷圭”叫做“李廷圭”，把他制作的“新安香墨”又称作“李墨”了。到了一百五十年后的宋宣和三年（公元1121年）“歙州”改为“徽州”，才把“李墨”和徽州各地生产的墨统称为“徽墨”，一直沿袭到今天。