Perpustakaan SMP Muhammadiyah 3 Yogyakarta dirintis mulai Tahun  Pelajaran 1980/1981 meskipun sekolah berdiri sejak tahun 1951. Pada saat itu sekolah dipimpin oleh Bapak Drs. Sutadi sebagai pelaksana harian sehubungan dengan Bapak Mukhtar Hamroni, B.A, Kepala Sekolah  sakit, beliau tidak dapat melaksanakan tugasnya.   Pengelola perpustakaan satu orang bernama Bapak Raharjo. Ruang perpustakaan berukuran 3 X 6 m 2. Buku-buku yang dikelola sekitar 500 eksemplar dengan satu unit mesin ketik, satu almari kayu dua pintu,satu rak buku. Namun belum semua kegiatan  dapat dijelaskan di sini karena   masih minimnya data. Pada tanggal 2 Januari 1982 Bapak Suratman, B.A yang semula guru SMP Muhammadiyah II Putri Yogyakarta dilantik oleh Pimpinan Wilayah Muhammadiyah Majelis Dikdasmen Provinsi Daerah Istimewa Yogyakarta menggantikan Bapak Mukhtar Hamroni, B.A. Usaha pengembangan sekolah yang telah dirintis oleh Bapak Mukhtar Hamroni, B.A dan Bapak Drs. Sutadi dilanjutkan oleh Bapak Suratman, B.A. yaitu menyelesaikan pembangunan lantai 2 sehingga  seluruhnya berjumlah 11 ruang kelas. Pada saat itulah perpustakaan sudah memiliki satu ruang yang berukuran 6 X 6 m 2, dengan  jumlah siswa sekitar 360 orang atau tiga kelas pararel.Koleksi buku sekitar 3000 eksemplar. Pengelola perpustakaan ada dua orang yaitu Bapak Sabar Untoro dengan Bapak Imam Widodo.  Mebeler berupa tiga almari kayu pintu dua, empat rak terbuka bahan logam. Dua meja pengelola, 20 kursi baca. 29 Mulai tahun 1984 pembenahan dan penambahan ruang. Ruang perpustakan , peningkatan administrasi dan pembinaan guru karyawan, juga peningkatan kedisiplinan siswa membuat SMP Muhammadiyah 3 Yogyakarta mendapat kepercayaan dari masyarakat sehingga animo masuk SMP Muhammadiyah 3 Yogyakarta meningkat. Pada tahun 1985 sekolah mendapat kepercayaan dari pemerintah sehingga berstatus disamakan. Ada pergantian pengelola perpustakaan yaitu Bapak Imam Widodo digantikan dengan Ibu Sri Kadarwati karena Pak Imam mendapat tugas menjadi pendamping OSIS. Tidak lama kemudian Ibu Sri Kadarwati diganti Ibu Mencik Rumiasih karena Ibu Sri Kadarwati harus full mengajar bahasa Jawa. 

Bersama dengan Pimpinan Daerah Muhammadiyah Majelis Dikdasmen beserta BP3/IKWAN SMP Muhammadiyah 3 Yogyakarta dikembangkan  terus sehingga pembangunan  di lantai 2 dapat diselesaikan berkat bantuan pemerintah dan masyarakat dan pada tanggal 1 Juli 1989 oleh Bapak Suratman, B.A. dicanangkan berdirinya Perpustakaan SMP Muhammadiyah 3 Yogyakarta yang sekaligus merombak image perpustakaan hannyalah ruang   berdebu dengan tumpukan buku paket. Pada tanggal 31 Maret 1991 tanah yang semula seluas 1183 m2 diperluas dengan menambah 350 m2 di sebelah timur sekolah. Pada tahun 1992 bangunan bertambah 6 ruang kelas baru.Jumlah siswa bertambah satu kelas. Ruang perpustakaan diperlebar menjadi 6 X 8 m 2. Ada penambahan rak kayu dua muka, satu rak Koran, satu rak majalah. Meja baca 20 unit, penambahan beberapa koleksi, dan satu unit komputer.Di sini ada pergantian pengelola lagi yaitu Ibu Mencik harus full menangani Bimbingan Konseling ( B K ) Pengelola perpustakaan diganti Ibu Hariyanti, dan ada tambahan tenaga lagi yaitu Ibu Jumari, Lulusan D III Perpustakaan UGM.

Pada tanggal 17 November 1995 SMP Muhammadiyah 3 Yogyakarta membeli tanah seluas 1580m2 di Jalan Ontoseno 3 Wirobrajan yang oleh H. Suratman, B.A beserta BP3/IKWAN akan digunakan menjadi unit II, namun Bapak H. Suratman, B.A meninggal dunia pada tanggal 12 Agustus 1999 karena sakit.

Pembangunan dimulai September 1999-Juni 2000. Pada tanggal 2 Maret 2000, Bapak Drs. Suprapto yang semula guru SMP Muhammadiyah 2 Yogyakarta dilantik oleh Kandepdiknas dan Pimpinan Wilayah Muhammadiyah Dikdasmen Propinsi DIY menjadi Kepala SMP Muhammadiyah 3 Yogyakarta. Pada tahun pelajaran 2000-2001 jumlah kelas 1 yang semula hanya 5 kelas ditambah menjadi 7 kelas sehingga jumlah kelas seluruhnya ada 17 kelas. Ada pergantian pengelola perpustakaan lagi berhubung Ibu Jumari pindah tugas ke Perpustakaan UGM. Pengganti ibu Jumari adalah Ibu Hermin Farida. Namun, beberapa tahun kemudian ada penambahan pengelola yaitu Ibu Feri Setyaningsih yang mengelola di perpustakaan unit 2. Di sini mulai ada penambahan mebeler dan koleksi. Hingga saat itu koleksi buku sudah mencapai  sekitar 8000 eksemplar. Selain itu untuk keperluan informasi dan promosi perpustakaan Kepala Sekolah membangun media komunaksi yang bernama CANDA RADIO KECIL MUGA ( Caraka).

Dari tahun ke tahun animo masyarakat untuk masuk ke SMP Muhammadiyah 3 Yogyakarta semakin meningkat sehingga secara bertahap jumlah kelas selalu bertambah yang akhirnya menjadi 8 kelas pararel atau 24 kelas. Pada masa kepemimpinan Bapak Drs. Suprapto SMP Muhammadiyah 3 Yogyakarta membeli tanah lagi untuk keperluan lapangan olahraga seluas 650 m2 yang teletak di Gg. Ontoseno Wirobrajan.

Bulan Januari 2006 terjadi rotasi Kepala Sekolah di lingkungan SMP Muhammadiyah 3 Yogyakarta. Ibu Heriyanti, S.Pd. yang semula guru di SMP ini dilantik Dinas Pendidikan Kota Yogyakarta menjadi Kepala Sekolah menggantikan Bapak Drs. Suprapto  yang dipindah ke SMP Muhammadiyah 2 Yogyakarta. Mulai kepemimpinan Ibu Heriyanti, S.Pd. keberadaan perpustakaan diutamakan. Beliau berpendapat bahwa Perpustakaan adalah gudang ilmu, maka perlu pembenahan  segi sarana dan prasarana. Ruang perpustakaan diperluas menjadi dua lokal penuh dengan pembenahan sarana  prasarana perpustakaan secara besar-besaran. Mulai dari penambahan koleksi, penambahan pengelola, komputer, internet unit II sehingga pada tanggal 25 Agustus 2008 SMP Muhammadiyah 3 Yogyakarta telah mendapat sertifikat sebagai Sekolah Standar Nasional (SSN). Begitu juga dengan pengembangan sarana prasarana semakin ditingkatkan  diantaranya pemasangan LCD di seluruh ruang kelas unit 2, tersedianya hotspot area di unit 1 maupun unit 2, pembangunan sarana ibadah dan laboratorium IPA di unit I lantai 3 seluas 520 m2, pembangunan ruang kelas IT. Dalam penambahan koleksi Perpustakaan SMP Muhammadiyah 3 Yogyakarta pada Tahun Pelajaran 2011/2012 mendapatkan sumbangan buku dari Dinas Pendidikan Kota sebanyak 859 judul, 1719 eksemplar  untuk tahap satu. Tahap kedua 954 judul, 1918 eksemplar. Jadi sampai pada tahun ini koleksi buku seluruhnya adalah 3702 judul dan 18142 eksemplar.

Prestasi Perpustakaan SMP Muhammadiyah 3 Yogyakarta yang diraih semenjak kepemimpinan Ibu Heriyanti, S.Pd., M.M.  antara lain:  Tahun 2009 Perpustakaan mengikuti lomba tingkat kota yang diikuti oleh 23 perpustakaan SMP sekota Yogyakarta dan   mendapatkan  juara II. Tahun 2013  Perpustakaan SMP Muhammadiyah 3 Yogyakarta ditunjuk oleh Kantor Arsip dan perpustakaan  kota untuk mewakili lomba perpustakaan tingkat provinsi dan mendapatkan juara I, sehingga sering menjadi rujukan studi banding.

Tahun 2016 gedung SMP Muhammadiyah 3 Yogyakarta bagian depan direnovasi termasuk gedung perpustakaan, sehingga selama tahun pelajaran 2016/2017 perpustakaan menempati salah satu  ruang kelas yang sengaja dikosongkan untuk dijadikan ruang perpustakaan sementara. Meskipun demikian Perpustakaan Muhammadiyah 3 Yogyakarta masih tetap berusaha mempertahankan prestasi terbukti pada tahun tersebut memperoleh predikat sebagai juara III tingkat Kota Yogyakarta.

Setelah memasuki tahun pelajaran 2017/2018 gedung selesai dibangun dan perpustakaan menempati 2 lantai. Lantai dua sebagai ruang koleksi, sirkulasi dan referensi dan lantai satu digunakan sebagai ruang baca, mitra koleksi dan panggung ekspresi. Penempatan gedung baru sekaligus bertepatan dengan pemberian nama  “MUMTAZ LIBRARY” yang artinya perpustakaan yang unggul, diharapkan dengan penempatan gedung baru perpustakaan SMP Muhammadiyah 3 Yogyakarta akan semakin unggul dan terdepan.

 Selanjutnya pada tahun 2018 Perpustakaan Mumtaz SMP Muhammadiyah 3 Yogyakarta diberi kesempatan untuk mengikuti akreditasi perpustakaan dan mendapatkan predikat Akreditasi “A”. Masih dalam tahun yang sama prestasi  juga diraih oleh pustakawannya yaitu juara II pustakawan berprestasi Tingkat Propinsi DIY. Dan prestasi yang terbaru adalah terpilihnya Ibu Siti Rochmayati, SIP. Sebagai Juara I Pustakawan Berprestasi Tingkat Nasional tahun 2019.