Флойд Паттерсон родился 4 января 1935 года в негритянской семье в Уако, штат Северная Каролина.
Флойд Паттерсон воспитывался в школе для эмоционально неуравновешенных детей и подростков в Бруклине, Нью-Йорк, где начал заниматься боксом.
Старшие братья Флойда Паттерсона - Вилли и Френк были известными боксерами.
В 15 лет Флойд Паттерсон в тренировочных боях побеждал взрослых, и только возрастной ценз не позволял ему выйти на большой ринг.
В 1951 году и в 1952 году Флойд Паттерсон завоевал приз "Золотые перчатки".
Тренер олимпийской сборной США Пит Мелло готовил Флойда Паттерсона к олимпийскому турниру в Хельсинки, где он стал чемпионом XV Олимпийских игр 1952 года во втором среднем весе.
Как любитель он провел 44 встречи, 40 выиграл - 37 нокаутов.
Олимпийские игры закончились 3 августа, а уже 12 сентября Флойд Паттерсон дебютировал как профессионал. За первый бой Флойд Паттерсон получил 75 долларов, за второй - 100, за третий - 150, а за четвертый - 1500 долларов.
С каждым годом Флойд Паттерсон выступал всё уверенней и в 1956 году был готов к бою за мировую корону. К тому времени Флойд Паттерсон одержал подряд 30 побед нокаутом и в списке претендентов на встречу с чемпионом мира занимал четвертое место.
Соперником Флойда Паттерсона 30 ноября стал Арчи Мур, 1913 года рождения, чемпион мира в полутяжелом весе, который, не находя достойных соперников в своей весовой категории, уже второй раз пытался стать абсолютным чемпионом - в 1955 году в девятом раунде его нокаутировал Рокки Марчиано.
Через 8 месяцев Флойд Паттерсон впервые отстаивал свой титул против малоизвестного боксера Томми Джексона. Претендент получил страшные повреждения, прежде чем свалился в десятом раунде. Через месяц была победа над чемпионом XVI Олимпийских игр в тяжелом весе Питом Радемахером. Это был первый за всю историю бокса бой между опытным профессиональным чемпионом Флойдом Паттерсоном и сильнейшим боксером среди любителей.
Потерял свой титул Флойд Паттерсон в 1959 году. Один единственный удар в третьем раунде сделал Ингемара Юхансона героем всей ликующей Швеции.
Матч-реванш состоялся 20 июня 1960 года и вызвал в США невиданный интерес. В 160 городах США было арендовано 230 кинотеатров, на экранах которых шел телерепортаж с матча. Победил Флойд Паттерсон нокаутом в пятом раунде.
Кто победит Паттерсона? Этот вопрос задавали многие знатоки бокса на страницах мировой печати. Среди претендентов называли в первую очередь могучего негра Сонни Листона. Разговоры и слухи страшно нервировали Флойда Паттерсона, действующего чемпиона мира - главную цель претендента. Неглупый и умелый на ринге Флойд Паттерсон был готов принять любой вызов, но на сей раз на него надвигалась некая фантастическая фигура. Чемпион Флойд Паттерсон видел и очевидные слабости Листона - плоды его запоздалого и форсированного боксерского образования, но все равно это был тот случай, когда "от лома нет приема".
Матч состоялся 25 сентября 1962 года в чикагском парке "Комиски", при цене 100 долларов за самый обычный билет, что нынче обошлось бы в несколько раз дороже - одним словом, интерес был сумасшедший. Публика с любопытством и нетерпением разглядывала боксеров, предвкушая все что угодно, но только не то, что случилось. Чемпион мира отрастил бородку, а уже в раздевалке снял большие солнцезащитные очки, и репортеры потом острили - этот маскарад Флойд Паттерсон затеял, дабы скрыть страх. Флойд Паттерсон выглядел значительно легче "безжалостной гориллы", стройнее и явно подвижнее. Сонни же безмолвно стоял в своем углу, с презрительным равнодушием глядя в спину переминающегося с ноги на ногу чемпиона Флойда Паттерсона.
О самом бое сказать почти нечего. Флойд Паттерсон немного покружился возле Сонни Листона, сделал два легких выпада. Сонни вразвалочку пошел прямо на Флойда Паттерсона - два удара, и чемпион мира рухнул. Вот и все зрелище, оборвавшееся на 126 секунде. Публика застыла в оцепенении. Котировка соперников была приблизительно равной, к тому же Флойд Паттерсон справедливо считался "тягучим бойцом", не раз он поднимался и выигрывал, получая самые свирепые удары, а тут - ни проблеска. В толпе зрителей послышались вопли: "Нас обокрали, верните деньги".
Матч-реванш дал тот же результат, с той лишь разницей, что продолжался он на 4 секунды дольше.
С профессионального ринга Флойд Паттерсон ушел в 1972 году.
Флойд Паттерсон работал в клубе боксеров-любителей.
Флойд Паттерсон был уполномоченным по делам спорта от штата Нью-Йорк