最早的墨，不是用来书写，而是用于绘画。在距今五六千年前的史前社会遗址中，不但出土过用红、白、褐、黑颜料绘制的彩陶，还发现过不少天然矿物颜料遗物。这些颜料呈块状、粉末状、锭条状。在绘画时，研磨成颜料浆，已比较方便。除了天然矿物颜料外，植物性的木炭也可以作为黑色的墨颜料。1982年在甘肃大地湾史前遗址中发现的大型房屋地面绘画，就可能是用炭墨作为颜料绘制的。
商周时期墨的实物，目前还没有发现。但《礼记》“绳墨诚陈”等记载，说明木工校正木料的曲直已经使用了墨。另外，当时还有墨刑，就是用刀刺刻面部，再涂上墨色。《左传》还记述道：“郑之美者，粉白黛黑，不知者以为神仙。”但这些都还不是人工墨，而是天然矿物原料。使用时，要用研石将墨或颜料研成粉末状，和之以水，也就是《庄子》讲的“舐笔和墨”。再从考古发现看，这时使用朱书或墨书来作陶文、玉石、龟甲文字等，已不鲜见。还有很多帛画、缯书、漆画、壁画等，也都是用墨或彩墨施绘的。
湖北云梦睡虎地秦墓发现的墨块，是已知最早的实物人工墨。圆柱形，墨色纯黑、质地细腻，易于研磨。同出的研石和研棒上也留有墨迹。这种墨取燃烧后的植物烟粉，加入胶质以及其它辅料如麝香、冰片、金箔等制成。比之于后世的墨，已经是相当地接近了。
早期人工墨，以汉代初期为代表，不过还没有比较固定的形制，丸粒状、块状、瓜子状均有。手工制作，与后世相比还比较粗陋。一般较短，不超过3厘米，尚不便于用手执之研磨。进入东汉以后，情况开始发生变化，出现了模制的墨锭，墨质坚实，形制规则，尺寸增大，已<BR>经可以用手直接执之研磨。
总结汉代以前墨的发展过程，可以将其分为三个阶段：第一阶段为先秦时期，是使用天然矿物或植物为颜料的阶段，墨色多样，黑色还没有独占成一，使用时必须用研石或研棒研磨；第二阶段为秦代到西汉时期，已经出现了人工墨，但形制不统一，形体较小，尚不足以手执研磨，需要辅以研石和研棒；第三阶段为东汉时期，进入了模制墨的阶段，制作精致，形体趋于固定，体量增大。研棒之类用具渐被淘汰，直接研于砚上即可发墨。在材料上，也真正进入了许慎《说文》所说的“墨者，黑也，松烟所成土也”的松烟墨时期。 古墨的收藏，在中国古代曾经受到民间特别是宫廷的重视，这使得后人得以管窥古代制墨的发展过程。但在现存清代宫廷旧藏的数万件古墨中，已很难再看到唐宋时代的作品，更不要说汉代及其以前的了。所以，对发生期的墨的研究，仅仅依靠传世品和文献记载的只言片语，是无法穷究其源的。而考古学发现在这方面所能发挥的作用，却是未可限量。图为陕西史前遗址出土的墨块、研及研棒。
