История Коулун Сити уходит в глубь веков гораздо дальше, чем кажется многим людям. Когда восьмилетний император династии Сун (1127 – 1279) Жао Ши и его семилетний брат Жао Бин спасались от монгольских захватчиков в 13 веке, они укрылись на холме, с которого открывались виды на рисовые поля и деревни Коулун Сити. По легенде именно здесь старший из братьев придумал название Коулун, или «Девять Драконов», когда он увидел восемь вершин, окружающих эту местность – естественно, девятым драконом был он сам. После его смерти местные деревенские жители превратили большой камень на императорском холме в монумент, названный Сун Вон Той, вокруг которого теперь разбит сад.