自幼在安庆市怀宁县农村长大，那里农民自发组织的黄梅戏表演和流传的民歌深刻印象了他。六岁时，他跟随一位瞎眼算命先生听二胡，走了10里路，后来自己回家被打，但这件事激起了他对音乐的热爱。他上学时，每晚都坐在门口聆听安庆市民众黄梅戏剧团排练。
程学勤不仅痴迷音乐，而且天资出众。在小学期间，他通过自学学会拉二胡。当年轻时买不起蟒皮二胡，他就亲手制作了一把。他因拉奏得好，在1954年即未毕业就被黄梅戏剧团招募为主胡演奏者。
1955年，程学勤遇到了著名作曲家时白林，并对他的《春香传》产生了强烈向往。这促使他开始涉足作曲领域。由于缺乏专业音乐学院的系统学习，程学勤只能通过工作和自学学习乐理知识，以此来胜任作曲工作，并逐渐取得成果。从1955年的第一部作品《杜鹃》到2005年的电视剧《明月清照》，在半个世纪的创作生涯中，他写下204部黄梅戏作品，是安徽省黄梅戏界最有影响力的自学成才之人之一。
1984年，《渖婿招婿》获首届省级戲劇節一等奖；1988年，《公主与皇帝》获得省艺术节最佳编曲奖；1990、1992年参与创作的电视剧《黄山情》、《桃花扇》分别赢得国家级“金鹰奖”、“飞天奖”。2000年，《山乡情悠悠》的成功也让它荣获“华表奖”。
程学勤积累丰富经验，其作品优美动听，与传统风格相融合，在民间广受欢迎。他认为，只要能受到老百姓喜爱，就已经达到了最高境界，对于获奖而言，不过是额外的事实证明。而对于他的创作宗旨——继承并发展传统，以新面貌展现给观众——他坚信这是每位音乐人的追求。
