Sebelum ada Gereja Santo Yusup, umat Katolik di Jember menggunakan ruang kelas dalam gedung Standaard School sebagai tempat ibadat darurat.
Gereja Santo Yusup Jember dibangun dengan arsitektur mirip gereja-gereja di Eropa.
Sayangnya selama masa pendudukan Jepang, bangunan gereja sempat mengalami kerusakan parah karena digunakan sebagai markas perang tentara Jepang.
Pada masa pendudukan Jepang, Gereja Santo Yusup Jember mengalami masa kelam. Banyak dokumen-dokumen penting hilang, bahkan pastor-pastor ditangkap.
Setelah Indonesia merdeka, gereja ini mengalami pemulihan dan terus berkembang, baik dari segi bangunan maupun aktivitas keagamaannya.
Gereja Santo Yusup dibangun dengan gaya arsitektur Gotik, lengkap dengan menara lonceng dan jendela kaca berwarna.
Bangunan ini menggunakan tembok batu bata merah ekspos dan atap sirap, menciptakan suasana yang mengingatkan pada gereja-gereja di Eropa.
Di area gereja, terdapat patung-patung dua Yesus Kristus yang terletak di sisi bangunan, menambah nilai artistik dan historisnya.
Gereja ini beberapa kali direnovasi. Pada tahun 1974, dilakukan pemugaran serta perluasan gedung gereja karena jumlah umat Katolik di Jember makin bertambah.
Pada tahun 2007 dilakukan renovasi dengan penambahan kanopi pada bagian depan serta penempatan patung Nabi Elijah dan Nabi Elisa di sisi samping pintu masuk Gereja Santo Yusup.
Selain itu, terdapat patung dan lukisan Bunda Maria di samping rempat duduk yang menambah kekhusyukan suasana di dalam gereja.
Salah satu hal yang paling diingat dari Gereja Santo Yusup adalah kepeduliannya pada umat beragama yamg mencerminkan sikap selalu menjunjung tinggi toleransi.