De geschiedenis van Kowloon City gaat veel langer terug dan de meeste mensen zich realiseren. Toen de achtjarige keizer Zhao Shi en zijn zevenjarige broer Zhao Bing uit de Song-dynastie (1127-1279) in de 13e eeuw op de vlucht sloegen voor Mongoolse indringers, zochten ze hun toevlucht op een heuvel die uitkeek over de rijstvelden en -dorpen van Kowloon City. Volgens de legende heeft de oudere broer hier de naam Kowloon bedacht, ofwel "Negen Draken", toen hij de acht pieken zag die het grondgebied omringen - de negende draak was hij natuurlijk zelf. Na zijn dood veranderde de plaatselijke bevolking een kei op de heuvel van de keizer in een monument genaamd Sung Wong Toi, dat nu in zijn eigen tuin te bezichtigen is.