Il Pontificio Istituto di Musica Sacra è stato fondato da San Pio X nel 1910 con la denominazione di "Scuola Superiore di Musica Sacra". La scuola fu aperta il 3 gennaio 1911 e confermata con il breve Expleverunt del 4 novembre dello stesso anno. Il 10 luglio del 1914, con un rescritto della Segreteria di Stato, la Scuola fu dichiarata Pontificia e le fu concessa la facoltà di conferire i gradi accademici.
Benedetto XV assegnò come residenza della scuola il palazzo di Sant'Apollinare, trasferendola dalla sede di via del Mascherone (16 ottobre 1914).
Pio XI, con il motu proprio Ad musicæ sacræ restitutionem (22 novembre 1922) ne diede gli statuti, confermando l'immediata dipendenza dalla Sede Apostolica.

Con la costituzione apostolica Deus scientiarum Dominus (24 maggio 1931), la Scuola - denominata Pontificio Istituto di Musica Sacra - è stata inclusa tra le università e facoltà pontificie. Pio XII raccomandò vivamente la frequenza dei corsi attraverso una lettera della Segreteria di Stato all'episcopato di tutto il mondo (22 novembre 1953) e nell'enciclica Musicæ sacræ disciplina (25 dicembre 1955). Nell'Istruzione sulla Musica Sacra e la Sacra Liturgia del 3 ottobre 1958, la Sacra Congregazione dei Riti ha rilevato la priorità dell'Istituto romano rispetto alle istituzioni similari. Giovanni XXIII, in occasione del 50° anno di fondazione, con la lettera apostolica Iucunda laudatio ne esaltava l'operato e istituiva un sezione di musica per le missioni (8 dicembre 1961). Paolo VI, con il chirografo Nobile subsidium liturgiæ (22 novembre 1963) ha istituito la Consociatio Internationalis Musicæ Sacræ, la cui segreteria ha sede nell'Istituto e il 10 maggio 1975 ha fondato la Scuola di semiologia gregoriana.
 

Giovanni Paolo II nel 1983 ha assegnato all'Istituto l'intero immobile dell'abbazia di San Girolamo in Urbe, ove, dall'anno accademico 1984-1985, si svolge l'attività didattica e liturgica.
Il 19 gennaio 2001, nel 90° anniversario di fondazione del Pontificio Istituto di Musica Sacra e a conclusione delle celebrazioni in memoria di Mons. Higini Anglès, Preside dell'Istituto dal 1947 al 1969, il corpo docente e il personale dell'Istituto sono stati ricevuti in udienza particolare da S. S. Giovanni Paolo II.

Nel discorso pronunciato in tale occasione il Santo Padre ha tracciato autorevolmente le vie maestre della musica sacra, testimoniando la Sua alta considerazione e il Suo apprezzamento nei confronti dell'attività didattica, artistica e liturgica dell'Istituto.

Il Chirografo sulla Musica Sacra, commemorativo del centenario del Motu proprio Inter sollicitudines di San Pio X, emanato da Giovanni Paolo II il 22 novembre 2003 costituisce un ulteriore segno della predilezione che Egli ebbe nei riguardi dell’Istituto, poiché – ricordando le benemerenze di «questa istituzione accademica ormai quasi centenaria, che ha reso e rende un qualificato servizio alla Chiesa» - lo designò quale ente collaboratore della Congregazione per il Culto Divino e la Disciplina dei Sacramenti nel «compito di regolamentare e promuovere la Sacra Liturgia», segnatamente nel «settore della musica sacra liturgica».

Nella sua visita all’Istituto del 13 ottobre 2007, il Santo Padre Benedetto XVI ha tracciato dal suo altissimo magistero il programma a noi affidato: coniugare lo studio della musica liturgica della tradizione cattolica alle esigenze di partecipazione attiva dei fedeli al canto liturgico, sempre esaltando i valori della bellezza e promuovendo la formazione del clero e dei laici alla corretta prassi liturgico-musicale nella Chiesa universale.

Il Pontificio Istituto di Musica Sacra di Roma, in qualità di istituzione accademica e scientifica eretta dalla Sede Apostolica gode di propria personalità giuridica e si regge sulle norme del diritto canonico, su statuti propri approvati dalla Santa Sede e sulle norme approvate dal Consiglio Accademico; per facoltà della Sede Apostolica, conferisce i gradi accademici di Baccalaureato, Licenza, Dottorato e Master.
 

L'Istituto persegue le seguenti finalità: insegnare le discipline liturgico-musicali sotto il profilo pratico, teorico e storico; promuovere la conoscenza e la diffusione del patrimonio tradizionale della musica sacra e favorire espressioni artistiche adeguate alle odierne culture; rendere, per incarico della Chiesa madre di Roma, un servizio alle Chiese locali di tutto il mondo, in vista della formazione dei musicisti di chiesa e dei futuri insegnanti nell'ambito della musica sacra.
L'Istituto adempie al suo mandato tramite l'insegnamento delle discipline curriculari, la ricerca e l'analisi storico-estetica, la pubblicazione di opere musicali e scientifiche, l'esecuzione in sede concertistica e liturgica di brani musicali, con l'intento di diffondere il repertorio del passato e del presente.

Il Pontificio Istituto di Musica Sacra promuove inoltre lo sviluppo di centri di studio sulla musica sacra sia a livello accademico (Università, Scuole superiori) che pastorale (Scuole diocesane) e l'organizzazione di convegni di studio e corsi di specializzazione e perfezionamento (Master).