Dibangun pada tahun 1890, Kapel St Joseph didirikan dengan gaya Romanesque oleh para misionaris pendatang yang menjalin hubungan kuat dengan klan Hakka Chan. Sebelum pergantian abad, masyarakat Hakka sebagian besar telah beralih memeluk agama Katolik dengan adanya pengaruh dari pastor Katolik Roma Joseph Freinademetz. Beberapa tahun kemudian, seluruh desa dibaptis dalam sebuah upacara. Kapel ini didedikasikan bagi santo pelindung pulau ini, dan sejak saat itu menjadi bangunan warisan terdaftar di UNESCO, berdiri sebagai pengingat fisik akan dampak St Joseph bagi penduduk desa.