Die Geschichte von Kowloon City reicht viel länger zurück, als den meisten Menschen bewusst ist. Als der achtjährige Kaiser Zhao Shi aus der Song-Dynastie (1127-1279) und sein siebenjähriger Bruder Zhao Bing im 13. Jahrhundert vor den mongolischen Invasoren flohen, suchten sie Zuflucht auf einem Hügel, der die Reisfelder und Dörfer von Kowloon City überragte. Der Legende nach prägte der ältere Bruder hier den Namen Kowloon oder "Neun Drachen", als er die acht Gipfel sah, die das Gebiet umgeben - der neunte Drache war natürlich er selbst. Nach seinem Tod schufen die Dorfbewohner aus einen Felsbrocken auf dem Hügel des Kaisers ein Denkmal namens Sung Wong Toi, das heute in einem eigenen Garten steht.