Сюжетная составляющая аскетична ― в Shadow of the Colossus всего два продолжительных ролика (вступительный и заключительный), раскрывающих историю. Мотивация и происхождение некоторых героев остаются неочевидными до конца игры. Наличие заброшенных сооружений указывает на то, что запретные земли когда-то были населены людьми ― в центре игровой карты расположен храм, называемый Святилищем Поклонения, к которому ведёт длинный мост из внешнего мира. В игре существует возможность пройти по мосту, но выйти за пределы запретных земель невозможно. Остальной игровой мир огорожен скалами и водой.