Будівництво вежі розпочалося 28 вересня 1843 року. Вежа Єлизавети, яку спочатку називали Годинниковою вежею, але більш відома як Біг-Бен, була зведена як частина проекту Чарльза Баррі для нового Вестмінстерського палацу, після того, як старий палац був значною мірою знищений пожежею 16 жовтня 1834 року. Хоча Баррі був головним архітектором неоготичного палацу, він звернувся до Огастаса П'юджена за проектом Годинникової вежі, який нагадує більш ранні проекти П'юджена, в тому числі для Скарісбрік-холу в Ланкаширі.