Kowloon Park ligt op het terrein van de voormalige Whitfield Barracks, een Britse militaire basis die in de jaren zeventig van de vorige eeuw werd gesloten. Een deel van de historische militaire gebouwen is bewaard gebleven, waaronder die waar nu het Heritage Discovery Centre is gevestigd. Achter een lommerrijke binnenplaats vind je een permanente tentoonstelling over het behoud van het erfgoed van Hongkong, evenals een andere galerie waar regelmatig kunsttentoonstellingen en andere evenementen plaatsvinden. Er is ook een referentiebibliotheek met bronnen over de lokale geschiedenis, archeologie en architectuur.