Томми Хилфигер родился и вырос в Элмайре , штат Нью-Йорк . Он был вторым ребёнком из девяти. В 1969 году он окончил школу, после чего летом подрабатывал в магазине одежды на Кейп-Коде . Родители Томми хотели, чтобы он пошёл в колледж и получил образование, однако юноша решил бросить учёбу. В 1971 году, использовав накопленные 150$, он вместе с другом открыл в родном городе магазинчик одежды People’s Place . Для закупок одежды они самостоятельно ездили на машине в Нью-Йорк. Недовольный ассортиментом, вскоре Томми сам начал пытаться моделировать одежду. В 1977 году магазин обанкротился, после чего Томми решил получить образование в области ведения модного бизнеса. Он переехал в Нью-Йорк, где работал на разные компании, связанные с производством и продажей одежды, включая Calvin Klein и Perry Ellis [англ.] .