Pitäjänsaaren esikaupunkiasutus on syntynyt jo 1740-luvulta alkaen. Ensimmäisen asemakaavansa se sai kaupungin omistamalle osalleen vasta 1860-luvulla (N.J.Österman). Saaren vanhimmat rakennukset ovat 1800-luvun alkupuolelta. Muilta osin rakennuskanta on vaihtelevan ikäistä. Pitäjänsaaren eteläkärjessä on Krimin sodan aikainen patteri.