吴耀义1943年9月入伍，在国民革命军10军49师1团团部当通讯员。

　　1944年 6月中旬，日军向衡阳进攻，吴耀义随部队驻守白沙洲、黄茶岭一带。吴跃义告诉记者，日本兵在飞机、重炮的掩护下，如潮水般一波紧接着一波发起冲锋。经过多番血战，1团退守黄茶岭。由于黄茶岭之前修好了战壕、暗堡等坚固工事，部队在这里与日军激战3昼夜，使日军遭受重创，死伤无数。

　　吴耀义回忆说：不知什么时候，日军飞机丢下的炸弹在我方阵地爆炸，弹片击中了我的左腿，我当即昏死过去。等到我醒来，才得知营长、连长、排长全都牺牲了。傍晚的黄茶岭，漫山遍野都是战友的尸首，他们至死都保持着战斗的姿势!”

　　后来，吴耀义随部队突围冲出日军的包围，并参加了抗日游击队，在祁东县、冷水滩区一带抗日。1945年10月，日本投降后，吴耀义回家务农。1948年7月1日，吴跃义在零陵区香零山一座寺庙里，举手宣誓加入中国共产党。1950年起，在村小任教。