Pada awal berdirinya, SMP Muhammadiyah 1 Yogyakarta bernama MULO ( Meer Uitgebreit Lager Ondewijs ) Muhammadiyah yang didirikan pada tanggal 15 Juni 1935 di Gedung Ibu Pawiyatan sebagai wadah untuk anak-anak Islam, karena sebelumnya institusi pendidikan Islam modern belum ada. Keberadaan sejarah MULO Muhammadiyah ini tidak dapat dipisahkan dengan Inchemschool Muhammadiyah, formulasi belanda yang diserahkan ke PP Muhammadiyah waktu itu masih bernama (Hoofdbestuur Muhamadiyah). Meskipun berdiri pada tahun 1935, namun kegiatan belajar mengajar baru dimulai pada tanggal 1 Agustus 1937. Yang berlokasi di Bintaran Lor nomor 14 Yogyakarta dengan menggunakan bahasa Jawa sebagai bahasa pengantarnya. Sistem pendidikan yang berjalan tidak jauh berbeda dengan kondisi sekarang ini. Karena siswa putra dan putri duduk sejajar dalam proses Kegiatan Belajar Mengajar (KBM). Pada Tahun 1937 kegiatan belajar mengajar pindah ke Bintaran tengah nomor 5. Kemudian ketika perang dunia II terjadi, semua sekolah ditutup oleh pemerintah Hindia Belanda dengan alasan keamanan, hanya sekolah-sekolah Muhammadiyah saja yang tetap buka. Sehingga MULO Muhammadiyah dan Inchemschool Muhammadiyah dapat melaksanakan kegiatan belajar mengajar seperti biasanya.

Tahun 1942, Jepang masuk Indonesia dan menguasai wilayah Yogyakarta menggantikan Belanda, termasuk dalam bidang pendidikan. Untuk mendapatkan simpati dari bangsa Indonesia, Jepang menanamkan semangat nasionalisme di negeri jajahan, salah satunya dengan menerapkan bahasa Indonesia dalam proses pendidikan. Hal itu juga dilakukan terhadap MULO Muhammadiyah dan Inchemschool Muhammadiyah pada tanggal 1 April 1944 yang kemudian dirubah namanya menjadi SMP Muhammadiyah dengan spesifikasi sebagai berikut:3

1.      Murid-murid yang berjenis kelamin perempuan dari MULO Muhammadiyah dan Inchemschool Muhammadiyah ditempatkan dalam satu sekolah di SMP Muhammadiyah putri yang beralamat di Bintaran Lor nomor 14.

2.      Murid–murid yang berjenis kelamin laki-laki, dari MULO Muhammadiyah dan Inchemschool Muhammadiyah ditempatkan dalam satu sekolah di SMP Muhammadiyah putra. Tempatnya di rumah yatim (selatan perempatan Tungkak), kemudian pindah ke PKU Muhammadiyah. Lalu pindah ketanggungan sehingga nama SMP Muhammadiyah putra ini dirubah namanya menjadi SMP Muhammadiyah Ketanggungan. Pada tahun 1952, SMP Muhammadiyah putra Ketanggungan dipindah ke Purwodiningratan, sedangkan SMP Muhammadiyah putri tetap di Bintaran Lor. Pada perkembangan selanjutnya, SMP Muhammadaiyah Ketanggungan berubah menjadi SMP Muhammadiyah 1 Yogyakarta, sedangkan SMP Muhammadiyah putrid berubah namanya menjadi SMP Muhammadiyah 2 Yogyakarta.

      Sampai Tahun Ajaran 2007/2008, jumlah siswa-siswi SMP Muhammadiyah di Yogyakarta telah mengalami perkembangan yang cukup pesat. Sejak tahun 1992 SMP Muhammadiyah 1 Yogyakarta menerima calon siswa putri. Hal ini dikarenakan melihat kondisi banyaknya calon siswa putri yang bersekolah di yayasan non-muslim. Maka sejak tahun tersebut sekolah ini membuka pendaftaran bagi calon siswa putri. Hingga sekarang sekolah ini mempunyai siswa putra dan putri.