他在庐剧的世界里长大，音乐的旋律伴随着他的成长。1958年，他凭借二胡的才华考入了安徽省艺校。在那里，他学习了三年庐剧音乐，并学会了作曲。他自认为对庐剧了解和喜爱程度远超黄梅戏，但当时他是唯一一个坚持学习的人。然而，当他即将毕业准备展现自己的时候，学校突然取消了庐剧专业。这让他感到迷惑，因为应该是把他分配到庐剧团去。但学校领导解释说，他们希望为庐剧留下一块种子，即使这个种子没有机会发芽，也许有朝一日能开花结果。
经过三十多年的等待，1993年省艺校终于招收了一班庐剧学生，这段时间里徐代泉一直无法施展抱负，只好转向黄梅戏。尽管两者音乐风格迥异，但为了迅速掌握新领域，他采取了一种笨方法——与黄梅戏表演班一起上唱腔课。他用记谱法跟进，每次比小朋友还要快学得好，最终成为教材的大部分曲目作者。
从事这行工作既苦又难。苦的是不断努力，而难的是戏曲音乐需要学习的内容繁杂。而且这样的职业往往伴随着贫困和孤独，不少人因此而望而却步。当创作遇到瓶颈时，他会连续七八天都写不出一个音符，那些情感投入的作品竟然能够让自己哭泣悲伤，就像痴狂一样。而一旦完成作品，再听那些录音，那份满足和陶醉也难以言喻。
徐代泉回忆自己的一生做过三件事：教学、创作和研究。他在教学方面不仅教授本校，还曾是中国戏曲学院客座教授，退休后依旧无暇闲情逸致。在创作上，他除了黄梅戏电视电影和舞台劇之外，还为60多部教学剧目编曲，无论是黄梅戏、庐剧、京劇、泗州戲、皖南花鼓灯还是淮北梆子，都涉及到了。而在研究方面，他担任国家重点科研项目《中国戲曲音樂集成·安徽卷》副主编，并获得“编纂成果二等奖”。
提到安徽的黃梅戲音樂電視劇，便不可避免地要提及徐代泉这位著名作曲家。他創作了《桃花扇》、《半把剪刀》、《家》、《春》、《秋》、《啼笑因缘》、《二月》、《潘张玉良》以及《祝福》，这些都是经典中的经典。此外，在艺术教育方面，徐代泉曾任职于安徽艺术学校和安徽大学艺术学院近二十年，现在虽然退休仍担任中国戲曲學院、安徽大學藝術學院客座教授，是该领域内享誉盛名的人物之一。
