Фрейзеру удавалось одерживать победы долгое время. Но вот он не встретился с Бастером Матисом. Матис должен был выступить в Токио на Олимпийских играх в 1964 году, но повреждение руки помешало ему осуществить задуманный план. Вместо него в Олимпиаде участвовал Джо Фрезер, который завоевал для штатов единственную золотую медаль по боксу. В категории тяжелого веса более 81 кг он смог одержать победу над немцем Х.Хубером.
Через год Джо попал на профессиональный ринг, благодаря усилиям руководителя Янки Дурхама. Манера ведения бокса Фрезером стала выделяться жесткостью, левый крюк был «коронным». Боксер выиграл 11 боев, но потом, в сентябре 1966 года, на его пути оказался Оскар Бонавена, который сразу показал свой характер собравшимся в Медисон Сквер Гардене. Один раунд – два нокдауна для Джо. Несмотря на это, Фрезер смог собраться и все-таки одержать победу в 10-раундовом бою.
Далее один за другим последовали жесткие нокауты Дуга Джонса, Эдди Мачена, Джефа Девиса, Жоржа Чувало. И уже в 1967 году у Джо было девятнадцать побед в девятнадцати боях. Это был абсолютный рекорд.
Когда с трона был изгнан Мохаммед Али, настал истинный хаос. В штате Нью-Йорк наступило время проведения чемпионского турнира. По этой причине четвертого марта 1968 года Джо Фрезер встречается с Бастером Матисом. Бой идет на равных в течение трех раундов, но 11-ый раунд принес Матису нокаут.
Тогда долгожданный титул достался Джо Фрезеру. Два года он с успехом защищает полученное звание.
И уже шестнадцатого февраля 1970 года, благодаря победе в тяжелом бою с Джимми Эллисом, Джо Фрейзер получает звание абсолютного чемпиона мира.
В том же году летом была снята дисквалификация с Мухаммеда Али, бывшего ранее непобедимым. Сразу же встал вопрос о том, кого же считать чемпионом: Фрейзера или Али.
Мухаммед активизирует все свои силы и к концу осени одерживает победу над Джерри Кварри и Оскаром Бонавену. После этого он удостаивается права на спор за титул абсолютного чемпиона мира. Приближается матч. Вокруг господствует ажиотаж. Каждому участнику назначена огромная по тем временам сумма – два с половиной миллиона долларов.
Битва проходит восьмого марта 1971 года в Медисон Сквер Гардене. Зал переполнен. В свойственной ему силовой манере, Джо Фрезер, прозванный за это «черным Марчиано», побеждает Мохаммеда Али. После 15-ти раундов судьи отдают голоса Джо. Для боксера Али – это первое в жизни поражение.
Проходит полтора года, и Джо Фрейзер отправляется на Ямайку. Там его ждет человек с добродушным лицом, Джордж Формен, который в будущем станет пастором. На ринге бурлящая энергия и уверенность Джо Фрезера улетучивается. Всевышний к нему не благоволит. Второй раунд – и Джордж Формен становится победителем.
После этого Джо Фрейзер не раз предпринимает попытки вернуть себе титул чемпиона, но никаких результатов не добивается. И в 1976 году он уходит с ринга.
Чувство недовольства терзает спортсмена. Спустя годы, в 1981 году, Джо Фрейзер вновь пытается вернуться на ринг. Попытка приводит к поражению. Теперь боксер окончательно решает отказаться от выступлений.
7 ноября 2011г. в Филадельфии на 68-м году легендарный боксер скончался.
