世界同性恋运动会的历史要追溯到1982年的旧金山。当时参加过1968年奥林匹克运动会的美国十项全能比赛的汤姆·瓦多尔开始筹备第一届“同性恋奥林匹克运动会”(Gay Olympics)。然而在命名阶段,他就遭遇了挫折。美国奥林匹克委员会赢得联邦法院的禁止令,阻止使用“奥林匹克”这个词,于是便有了Gay Games这个名字。名称的被迫变更并没有影响大会的举办。
加拿大蒙特利尔原本主办2006年同性恋运动会,后来由于同性恋运动会联盟与该运动会筹委会发生重大矛盾而弃办。经过重新申办组织后,成立同性恋者国际体育组织,在2006年8月举办首届世界同性恋运动会。