黄胄1925年出生于河北省岩县的一个农民家庭，原名梁淦堂，父亲梁建勋先是乡村先生，后参加旧军队，喜爱书画艺术。黄胄受其影响，自幼喜爱画画，但在当时家境贫寒，社会动乱，无法得到名师指点，也未能进过专门的艺术院校接受正规的美术教育，主要靠自己刻苦勤奋。
恰好，黄胄的祖父当时是戏班会头，而戏班就在外院，所以黄胄那时常画“戏子人”，用的是速写的方式，所画的人物婀娜多姿，形神兼具。
黄胄从童稚时就显示出艺术天分。他上学时常在书本上涂画；写大仿常是中途辍笔，画起戏中人，能分清并画出戏中人物脸谱，也画家畜，给父亲写信也要画上几个小人。
一次，村中一位老者头戴草帽骑一辆自行车从他家门口经过，他立刻用土块在墙上画出一个头戴草帽骑自行车的老头。祖父看后让他再画一个，他很快在地上又画了一幅同样造型的画来。
在一次戏剧会上，当时颇为著名的画家赵望云先生看到了在戏台一旁画画的黄胄，欣喜非常，遂破当时不收徒的规定，将黄胄收于门下。后来，赵望云对友人说：“我从来未见过像黄胄这样勤奋、有天赋的孩子。他的画已很有根底，速写尤其生动，艺术潜力很大，将来一定有出息。所以我破例收他为徒了。”
此后，黄胄跟从赵望云学习传统绘画，为追求绘画之道，他未天明便起身作画，一直到半夜。这个习惯一直持续到他晚年，其徒弟曾在回忆录中写道“我常常立于先生右旁，每每磨墨一小时，他这一画，从早上开始画一个上午(中午对客人说，我在沙发上座睡八分钟。待到他醒时，大家一看钟，准八分钟，大家不禁相视一愣)；接下来，一直到晚上无停顿地作画，一张又一张。
有几笔大墨块的，有差不多完成的，有成品，满地满墙都是画。晚饭后，又画到第二天凌晨一、二点，睡眠只三四个小时。醒时遇到一有思路，又一画到天明，接下来一个上午又画。难怪李可染知其一月用去24刀宣纸而赞叹不已。”
黄胄的成功，与他的勤奋密不可分。1947年，赵望云派黄胄到兰州机场去接中国敦煌艺术研究的开创者之一、油画家常书鸿。黄胄当时带着一个速写本“那个速写本我见过，是他自己做的，一边有一个轴，可以卷动”边等边画。
常书鸿见到他时，说能不能给我看看你画的东西，黄胄就一段一段卷出来给他看。卷了一丈多才腼腆地说，没了，就这么一点。常书鸿说画了这么多你还觉得不够？拳不离手曲不离口，你以后一定是一个大画家。
这种孜孜不倦学习精神一直伴随终生，到了晚年他也是一有时间就画画，而且基本上是看到什么画什么。他用速写记录和反映生活，同时又为创作收集素材。
大量的生活体验和素描纪录，使得黄胄对人物造型有着自如的掌控能力。在福建时，黄胄曾带着学生张道兴等外出写生，走到一棵榕树下歇脚，大家都觉得一棵榕树，一口水井实在算不上什么入画的题材，但黄胄却先起勾勒出一棵大榕树，接着又渐次将刚才在树下经过的行人挑水的、下棋的一一添补其中，巧妙组合，精心挥洒，一件“大树底下好乘凉”的佳作便诞生了。
黄胄画驴，与徐悲鸿先生画马，齐白石老人画虾，比之为我国近代画坛“三绝 ”。黄胄的驴画上，可看出他在艺术上用功之深，用心之苦。早年画驴是因为驴是新疆人民日常生产生活离不开的工具，黄胄喜欢驴吃苦耐劳的精神，他多次在自己的画跋中为驴鸣不平，说驴“虽不及牛马高贵，却能经风雨耐霜雪，忍辱负重辛劳终生，憨绝痴绝”。
