SMA Negeri 4 Yogyakarta awal berdirinya bernama SMA Perdjoangan. Pada mulanya sekolah ini disediakan terutama untuk para pelajar yang telah menunaikan kewajiban bertempur melawan penjajah dan berbakti kepada Negara sebagai Tentara Pelajar Brigade 17, yang memobilisasi pelajar.
Pada tahun 1952, SMA Perdjoangan dijadikan SMA Negeri dengan nama SMA bagian B nomor II Negeri. SMA ini menggunakan gedung SMA 3 Yogyakarta di jfalan Yos Sudarso 7, masuk sore. Pada perkembangan selanjutnya, terjadi perubahan nama menjadi SMA 4B dan sampai sekarang terkenal dengan SMA 4B.
Pada tahun 1963, nama SMA 4B berubah lagi menjadi SMA Negeri IV. Nama ini tetap digunakan sampai kepindahan ke gedung sekolah sendiri yang terletak di Jalan Magelang, Karangwaru Lor Yogyakarta. Sejak menempati gedung baru SMA Negeri IV mengalami perubahan lagi menjadi SMA N 4 Yogyakarta, dan mulai tahun 1997 sampai tahun 2004, dan mulai tahun 2004 sampai sekarang kembali menjadi SMA Negeri 4 Yogyakarta.
Meskipun lokasi SMA N 4 Yogyakarta tidak terletak di jantung kota, namun letaknya berada pada jalur yang menghubungkan provinsi DIY dengan Jawa Tengah dan mudah dijangkau kendaraan umum. Kondisi lingkungan yang jauh dari kebisingan ini justru memberikan kenyamanan dan ketenangan dalam proses belajar mengajar