第二次世界大战期间,欧洲战场上的伤残士兵,自发组织起来进行康复活动,这便是现代残疾人体育运动的雏形。1948年英国斯托克·曼德维尔(Stoke Mandeville)国立脊髓损伤中心举办了残疾人体育比赛,当时只有16名坐在轮椅上的伤残士兵参加,此后该运动会每年举行一次。1952年,由于荷兰运动员的参加,该运动会演变为国际性体育活动。

1960年,紧接着夏季奥运会后,来自欧美23个国家的约400名伤残运动员聚集罗马,举办首次世界残疾人运动会。

1976年,国际残疾人组织决定,斯托克·曼德维尔运动会与世界残疾人运动会合并,在加拿大的多伦多举办了第一届国际伤残人士奥运会,来自38个国家的1657名残疾人运动员参加了比赛。1988年,国际奥委会决定:夏季奥运会和残奥会必须在同一城市举行。2000年,国际奥委会和国际残奥委会签署协议规定:申办奥运会的城市,必须同时申办残奥会；奥运会后一个月内,在奥运会举办城市的奥运场地举行残疾人奥运会。

从1960年至2005年已举办了12届夏季残奥会和8届冬季残奥会。