Сюжетний складник аскетична — у Shadow of the Colossus лише два тривалі ролики (ступний і завершальний), що розкривають історію. Мотивація та походження деяких героїв залишаються неочевидними до кінця гри. Наявність занедбаних споруд вказує на те, що заборонені землі колись були населені людьми — у центрі ігрової картки розташований храм, званий Святилищем Клонія, до якого веде довгий міст із зовнішнього світу. У грі є можливість пройти містом, але вийти за межі заборонених земель неможливо. Решта ігрового світу обгорожена скелями та водою.