中央音乐学院建于1950年，其前身是二十年代至四十年代的各具特色的几所高等音乐院、系。分别是建于1927年的燕京大学音乐系，建于1939年的华北大学文艺学院音乐系，建于1940年的南京国立音乐院，建于1946年的国立北平艺术专科学校音乐系和香港、上海的中华音乐院，建于1948年的东北鲁迅文艺学院音乐系等。其主体是南京国立音乐院。1958年学院由天津迁至北京，坐落在北京西城区复兴门原清醇王府旧址（光绪皇帝出生地）。原隶属文化部，2000年归属教育部。1960年被定为国家重点高等学校，1999年被列入国家“211工程”建设学校；是目前全国艺术院校中唯一的一所国家重点高校和“211工程”建设学校。历任院长为马思聪、赵沨、吴祖强、于润洋、刘霖，现任院长王次炤。
学院自建院以来，迄今已形成了体现教学、科研、艺术实践综合功能的，从附小、附中、大学本科到硕士研究生、博士研究生、博士后流动站等完整的大中小一条龙的音乐教育体系。现设作曲系、音乐学系、指挥系、声歌系、钢琴系、管弦系、民乐系、音乐教育系、基础教育部以及附属中小学、继续教育学院、远程音乐教育学院等教学部门。学院还设有集教学与科研为一体的音乐科技部，其中包括提琴制作研究中心、现代电子音乐中心、音乐治疗中心和嗓音研究中心等。2000年建立了全国艺术院校中唯一的一所人文社会科学重点研究基地—中央音乐学院音乐学研究所。学院还设有社会音乐教育部和海内外社会音乐考级委员会，以及中央音乐学院出版社和环球音像出版社。形成了既为全国音乐教育中心，又为全国音乐研究、创作、表演中心和社会音乐推广中心的办学模式；成为一所能代表中国专业音乐教育水平、专业设置比较齐全的在国内外享有很高声誉的音乐学府。
中央音乐学院是全国高校首批博士点授予单位，并于2003年经国务院学位办、人事部、教育部共同审批通过了全国艺术类中第一个博士后流动站。中央音乐学院音乐学学科（包括作曲与作曲技术理论、音乐学和音乐表演艺术）为全国重点学科。学院拥有国内最大的专业音乐图书馆，馆藏图书资料53万册；同时还拥有《馆藏音乐书籍全文库》、《馆藏音乐乐谱全文库》、《音乐核心期刊全文库》、《馆藏音像资料点播库》等数据并能全文检索的电子图书馆。几十年来，学院已建立起一支实力雄厚的教师队伍，在325名专职教师中，博士生导师35人，硕士生导师131人，教授76人，副教授108人。教授人数占教师总数比例百分之六十。在教学科研中，涌现出一批有突出贡献的专家、学者。创作了大量有影响的音乐作品，出版教材、著（译）作数百种。学术性季刊《中央音乐学院学报》营销国内外。学院师生在国内外各种音乐比赛中屡屡获奖，据统计自建院以来，在国际各类音乐比赛中获奖440人次，在国内各类音乐比赛中获奖1593人次，音乐作品在国际、国内比赛中获奖295人次。1987年以来学院共取得科研成果奖78项，其中省部级以上奖57项。1989年以来，林耀基教授的《小提琴教学》、郭淑珍教授的《声部确定及训练的科学》、于润洋等教授的《音乐美学教学成果》和吴祖强等教授的《作曲教学成果》分别在教育部每四年举行一次的教学成果评奖中获得国家级特等奖和一等奖。
多年来，学院一直遵循“开阔的学术视野，广泛的对外交流”这一基本的办学原则，十分重视对外音乐文化交流工作，每年都聘请许多国外著名音乐家和学者来院讲学或任教，也有计划地选派教师和学生出国学习、讲学和演出。为了保持长期交流，学院还聘请国际著名音乐家如作曲家潘德烈兹基、指挥家小泽征尔、祖宾?梅塔、钢琴家阿什肯那齐、小提琴家帕尔曼、大提琴家罗斯托洛波维奇等为学院名誉教授。由学院师生组成的中国青年交响乐团、民族管弦乐团、合唱团、附中少年交响乐团及附小室内乐团多次出访欧、美、亚、非各国及香港、澳门和台湾地区，获得广泛赞誉。学校还与俄罗斯莫斯科音乐学院、法国巴黎高等音乐舞蹈学院、英国伦敦皇家音乐学院等世界著名音乐学院建立校际交流合作关系。
中央音乐学院是一所培养高级专门音乐人才的学府，1985年学院进行教学体制改革，在全国艺术院校中率先实行学分制教学体制。1993年进行内部管理体制改革，初步实行教职工聘任制度。1996年进行教育体制改革，拓展办学思路，将学院从单一模式向多元化转型。1999年进行机构改革和分配制度改革，进一步简化机关工作程序和提高教职工待遇。2002年进行新一轮的教学改革，进一步调整课程结构和完善学分制教学体系。目前，学院正在努力实施“十五”规划的各项目标和“211工程”二期建设项目；总面积三万平方米的新教学综合楼目前正在紧张施工当中，并将于2006年全面完成校园规划，为学院进一步向国际化迈进创造条件。