始建于1930年的上海音乐厅前身为南京大戏院，曾获美国米高梅公司和福克斯公司的新片专映权。1950年，南京大戏院更名为北京电影院，并成为上海影院行业第一家公私合营的企业。1959年，北京电影院改建为上海音乐厅，成为专门的音乐演奏场所。
南京大戏院（上海音乐厅前身）为长方形结构，共2层观众席。早年为观看电影所用，有1540座。其后，在由北京电影院改名为上海音乐厅的过程中，进行了重大整修，填掉了原乐池，拆除了前排的一些位子，增加舞台深度以满足乐队演出要求。1973年和1991年又有过两次大修，有座位1122座，排间距85到90公分。
上海音乐厅连续十多年成为著名的“上海之春”音乐节的主办地，在音乐家和爱乐者中声誉鹊起，成为在上海欣赏和演奏古典音乐的第一选择。时隔４１年，著名作曲家朱践耳仍然清晰记得他的首部交响合唱作品“英雄诗篇”在上海音乐厅首演时取得的巨大成功。朱践耳回忆说：“上海音乐厅出色的声响效果将乐曲中的英雄主义情绪发挥到了极致，当音乐和歌声停息以后，现场先是片刻沉默，然后就响起了我有生以来听到的最热烈的掌声。”
为配合延安路高架的拓宽建设，2002年9月1日音乐厅歇业，2003年4月15日上午10时，上海音乐厅平移工程开始，先在原地顶升1.7米，然后向南移动66.46米，再在新址往上顶升1.68米。6月17日，平移工程完成，上海音乐厅以崭新的面貌出现在世人面前。此后，音乐厅开始修缮扩建，对原有的装饰区整旧如旧，内外部墙面颜色也清洗恢复到建厅原貌。舞台深度加大一倍，新建南厅和西厅，增加演员休息室，重建屋顶，座位增加到1200座。其中前八排之间排间距98公分，加上配套的地下停车场、地铁8号线车站和多条公交线路枢纽站，交通环境极大改观。
同济大学建筑系声学所专家：“一般而言，窄靴子型的音乐厅音效最佳，有助于增强早期反射声，使乐音更清晰，更集中，而南京大戏院碰巧吻合，造型相似，音质当然好”，专家揭示了音乐厅高质音效的原因：因为定位于专门的音乐演奏，上海音乐厅的舞台是封闭式的，而不像其他要放映电影或上演戏剧的剧场那样拥有开放式舞台。这样的设计使得上海音乐厅的音灶可以反射出最集中、最优质的声音。
“判断音乐厅优劣的最重要指标是混响时间，混响时间长，乐声就丰满圆润，相反则单调干瘪，但如果过长的话，又会影响清晰度。”南京大戏院（上海音乐厅前身）修建时阴差阳错，本该不超过0.8秒的电影放映混响时间最后成了1.5秒由于混响时间的长短决定着声音在空气中停留的时间，声学测试的结果证明了上海音乐厅的建声效果即使在今天，也仍然是上海各大剧场中独一无二的。著名指挥家陈燮阳到过全球无数音乐厅，他认为“除了顶级的维也纳金色大厅、阿姆斯特丹音乐厅、波士顿音乐厅这三家外，在音质上，上海音乐厅可以和任何音乐厅一较高下。”
上海音乐厅有三重价值使其成为无价之宝。首先是剧场价值，音乐厅独到的音响效果不是一个新剧场所能达到的。其次是历史文物价值，上海音乐厅的设计师是中国近代著名建筑师范文照和赵琛，它是上海现存为数不多的由华人建筑师设计的近代西方古典风格建筑。厅内罗马式廊柱、大旋梯、穹顶都具有一定的文物价值，１９８９年被列入上海市近代优秀建筑保护单位。而对于几代上海人而言，上海音乐厅是他们几十年来欣赏古典音乐的圣殿，这里沉淀了太多的音乐情感，因而又具备无可替代的人文价值。
上海音乐厅建筑属上海少有的欧洲传统风格。走进休息大厅，映入眼帘的是十六根合抱的赫色大理石圆柱，气度不凡。观众厅的构图明确规范，复杂而不零乱，变化而又富有层次，色彩淡雅庄重，与其演绎的古典音乐有着惊人的统一。
重新开业后的上海音乐厅将坚持专业化的定位，即以高品质的古典音乐演出为主，包括交响乐、室内乐、独奏、重奏、声乐、中国民族音乐，以及爵士乐。除保持原有良好的建声效果外，扩建后增加的舞台表演区和观众活动空间，便捷的交通，地处广场公园之中，使市民形成“欣赏音乐，就到上海音乐厅”的印象。
