1879年（明治12年）明治政府が音楽教育実施のために文部省に設置。唱歌の作成・編纂、内外の音楽の調査・研究、西洋音楽家や音楽教育者の育成などを行った。

初代所長には伊沢修二が任命され、米国で高名な音楽教育家であり伊沢の留学時の師でもあるルーサー・ホワイティング・メーソンが教師として招聘された。
音楽取調掛は、
1887年（明治20年）に「東京音楽学校」と改称。
1949年（昭和24年）国立学校設置法施行発布により「東京美術学校」と合併、東京芸術大学音楽学部となる。