幼年读私塾。
1928年就读睢宁李集小学，受教师王健民（共产党员）影响极深，萌生爱国主义思想，向往苏俄社会。
少年时期就向往革命，“九·一八”事变后参加学生抗日义勇军。
1935年参加学生救国会，声援“一二·九”学生运动。
1937年奔赴延安投身革命，入抗日军政大学学习。在凤阳组织“学生抗日宣传队”，深入街头、农村进行抗日宣传。10月赴西安，转送“延安抗大”学习。
1938年2月入党，历任抗大总校政治教员、营主任教员，大队主任教员。同年4月由“抗大”选送“马列学院”第一期学习班学习。同年11月调回抗大工作，历任政治教员、主任教员、政教科长。民国32年任八路军前总情报处材料科（二科）。1943年参加豫北战役。1944年参加了延安整风。
1945年11月任民主建国军组织部长兼军官训练团教育团长，以政治教育为主改造起义部队。1947年8月任晋鲁豫九纵队敌工部长，南渡黄河转战于伏牛山地区。同年11月受命组建豫西五地委任地委副书记兼军分区政委，深入发动群众，组织地方武装，半年组建5个独立团。该区土匪多，遂采取剿、编并进方针，将匪乱迅速平息。民国37年秋调第二野战军军政大学任政治部副主任、主任。
全国解放后，张衍同志参与了哈尔滨军事工程学院的筹备工作并任政治部主任。
1951年冬代理第二高级步校党委书记。
1952年建解放军军事工程学院，在该院任政治部副主任、主任。
1961年晋升少将军衍。“文革”后历任国家计委副主任，国防科委副主任兼国防科技大学校长等职，曾任第六、第七届全国政协委员。
1965年任中国人民解放军军事电信工程学院（即今西安电子科技大学）政委。
1976年任国防第十研究院党委书记。
1977年任国家计划委员会副主任。
1979年任中国人民解放军国防科学技术委员会副主任兼国防科技大学校长。
1983年冬调中央军委整党办公室，主持整党的日常工作。
于1961年授少将军衔。是中国人民政治协商会议第六、七届委员。
1990年被授予中国人民解放军独立勋章。
1998年离休，
2003年8月3日在北京因病逝世，享年86岁。