Строительство башни началось 28 сентября 1843 года. Башня Елизаветы, первоначально называвшаяся Часовой башней, но более известная как Биг-Бен, была возведена в рамках проекта Чарльза Барри по строительству нового Вестминстерского дворца, после того как старый дворец был в значительной степени уничтожен пожаром 16 октября 1834 года. Хотя Барри был главным архитектором дворца в неоготическом стиле, он обратился к Огастусу Пьюджину за проектом Часовой башни, которая напоминает более ранние проекты Пьюджина, включая проект Скарисбрик-холла в Ланкашире.