他的家乡流行唱黄梅戏，他小时候是浸润在黄梅戏的音乐中长大的。1958年他凭借拉得一手好二胡，以独奏《良宵》考进了安徽省艺校，整整学了三年庐剧音乐，学会了作曲。他说自己对庐剧的熟悉程度和喜爱程度都远远超过了黄梅戏，当初他的同班4个人后来只剩下他一人，别人都不学了，他依然在坚守，立志要为庐剧艺术做出点成就。然而就在他毕业时准备大展宏图的时候，学校却撤销了庐剧专业。当时学西洋音乐的何合浓被分配去了庐剧团，而徐代泉被宣布留校从事教学。徐代泉很不理解，以为领导弄错了，他认为按理应该把他分到庐剧团去才对。但学校领导说出的理由却让他心服口服：“我们是要为庐剧留一个种子。”但这个种子却没有机会发芽、开花、结果。
省艺校直到1993年才招了一个庐剧班，这中间30多年徐代泉一直学无所用，没办法他只好下决心转向黄梅戏。但庐剧音乐与黄梅戏音乐是根本不同的，为了尽早掌握这个剧种，徐代泉采取了一个笨办法——与黄梅戏表演班的学生一起上唱腔课。老师上课时，他一面听，一面记谱。由于功夫下得大，他比十几岁的孩子学得还快，到后来艺校的黄梅戲教学曲目基本上都是由他来写了。
这一行干起来是既苦且难的。苦是苦在熬人，不断地学习和创作；难则难在从事戲曲音樂要學的人太少，每一步都充满挑战。而從事戲曲音樂的人往往免不了與清貧和寂寞為伍，這正因為如此，使得學戲曲音樂的人越來越少。
和许多作曲家一样，徐代泉一进入创作就是全身心、全部感情地投入。在创作过程中，有时候找不到感觉，那时候会连着七八天一个音符也写不出来。那时候的心境真是坐亦想、走亦想、醒亦想、梦亦想，即便是在最困难的情况下，也能保持对艺术的一份执着。
有时候写一些悲劇唱段時，用自己的感受去体现角色内心世界，那些情感总会自然而然地渗透进每个音符里，让自己也会流泪悲伤，如痴如狂。而当作品完成之后，再等演员录完歌，然后坐在音响前细细听那些唱段，那种陶醉之情也是难以言喻的。
徐代泉说自己一生做过三项工作，一是教学，是中国戏曲学院客座教授；二是创作，为60多部教学题材电视电影编排过音乐，并曾参与编纂《中国戲曲音樂集成·安徽卷》，获“编纂成果二等奖”；三是在研究方面，对于安徽地方戏特别是一些边缘化的小型传统乐器进行深入研究，为其保护提供了一定的理论支撑。
提起安徽的地方黃梅戲電視劇，有一個名字不能不提及，就是那位創辦許多黃梅戲電視劇音樂（含合作）的著名作曲家——徐代泉。他創辦過《桃花扇》、《半把剪刀》、《家》、《春》、《秋》、《啼笑因缘》、《二月》、《潘张玉良》以及《祝福》的黃梅戲電視劇音樂。此外，在退休后的現在，他仍旧担任中國國家話劇院及其他高等院校客座教授，並且繼續參與對於傳統藝術文化進行調查與研究工作。
