根据《奥林匹克宪章》，国际奥委会主席须在国际奥委会全会上以无记名投票方式从委员中产生。主席任期为8年，可连选连任，连任每届任期4年。
在国际奥委会成立之初，为了体现奥林匹克运动的国际性，顾拜旦曾提出主席轮流担任制，即国际奥委会主席由下届奥运会举办国的委员担任，4年一轮换。在1900年巴黎奥运会结束时，顾拜旦拟将他的主席职位移交给下届奥运会举办国美国的委员斯隆。但不少委员却认为频繁更换主席不利于奥林匹克运动的发展，坚持要顾拜旦留任。连任制因之而固定下来。
从1894年到目前为止，已有8任国际奥委会主席。现在的国际奥委会主席是比利时人罗格。