Джимми Эллис родился в США, штат Кентукки, Луисвилль 24 февраля 1940 года. В период занятий боксом на любительском уровне встречался два раза с Мохаммедом Али, в одной из этих встреч он победил.
В 1968 году, когда Мухаммеда Али дисквалифицировали за отказ отправиться во Вьетнам, WBA решило провести турнир претендентов на чемпионский титул. Среди боксеров были такие, как: Тед Спенсер, Леотис Мартин, Джимми Эллис, Эрни Террел, Джерри Кворри, Флойд Паттерсон, Карл Мильденбергер и Оскар Бонавена. Белый боец Джордж Чувало и Джо Фрэзер были согласны полностью с Мухаммедом Али. “Мухаммед Али для нас был и останется чемпионом”, - было сказано ими в совместном заявлении, после чего были срочно выведены из числа претендентов. На турнир Кворри одолел Паттерсона, Спенсер победил Террела, Эллис – Мартена, Бонавена – Мильденбергера. В полуфинале Кворри одержал победу над Спенсером, а Эллис взял верх над Бонавене. Следующим чемпионом мира стал 27 апреля 1968 г . Джими Эллис, 280летний боксер, победивший Джерри Кворри в финале турнира претендентов.
Но через два года чемпионский трон уверенно занял Джо Фрэзер, который победил Джимми Эллиса. 18 тысяч зрителей заполнили Нью-Йоркский “Мэдисон”, заплатив за все 645 тысяч долларов. Джо Фрэзер был фаворитом поединка. На него принимались ставки в отношении 4 к 1 или даже 6 к 1. Перед боем вес Джо Фрэзера составлял 93 килограмма, а вес Джимми Эллиса – 91 килограмм. В четвертом раунде, пропустив от Фрэзера мощную серию ударов в голову, Джимми Эллис не мог встать до числа “восемь” во время счета рефери. Не проходит и тридцати секунд, как сильнейший боковой от Фрэзера бросает вновь чемпиона на пол. После этого тренер Джимми Эллиса Данди Анджело отказывается от продолжения поединка, выбросив белое полотенце. Но во время проведения отсчета ударил гонг, отказ секундантов от продолжения боя последовал позднее. Именно поэтому в протоколе сказано: ”победил техническим нокаутом, Джо Фрэзер, в пятом раунде”. Это было шестое фиаско Эллиса в 37 боях. Джимми Эллис продолжал выступления на ринге до 1975 г. Всего им проведено 53 боя, из них - выиграл 40, проиграл – 12, 1 бой – без решения.