中国科学院物理研究所前身是成立于1928年的中央研究院物理研究所和成立于1929年的北平研究院物理研究所。1950年在两所合并的基础上成立了中国科学院应用物理研究所。1958年更名为物理研究所。至今，已有50余位院士先后在物理所工作过，包括吴有训、赵忠尧、严济慈、吴健雄、钱三强等著名科学家。
经过几代人不懈努力，物理所现已发展成为以物理学基础研究与应用基础研究为主的多学科、综合性研究机构。研究方向以凝聚态物理为主，包括凝聚态物理、光物理、原子分子物理、等离子体物理、软物质物理、凝聚态理论和计算物理等。拥有磁学、超导、表面物理等3个国家重点实验室和光物理、电镜、真空物理、极端条件物理等4个院重点实验室。
进入中科院知识创新工程后，物理所围绕凝练出的科研目标调整学科布局，经过整合和新建，形成了由超导物理、磁学、表面物理、光物理、先进材料与结构分析、极端条件物理、纳米物理与器件、软物质物理、固态量子信息与计算、凝聚态理论、微加工实验室等十一个实验室，并成立了国际量子结构中心，构成了物理所的研究体系；由微加工实验室、机械加工工厂、电子学仪器部、分析测试部、图书馆、网络中心构成了全所的技术支撑体系。
物理所积极引进和培养杰出人才，经过多年的努力，物理所已经形成了一支结构合理、具有较强科研实力和创新能力的人才队伍。截止2005年底，412人，其中科研人员184人，技术支撑人员69人。中国科学院院士13人，中国工程院院士2人。“百人计划”入选者累计达到41人；“海外知名学者”20人；国家杰出青年基金获得者累计达50人（其中B类18人）。在读硕士研究生240人，博士研究生409人，博士后24人。
近年来，物理所围绕学科布局，加大对重要科研设施及实验仪器装备的投入力度，进口或自行研制了一批达到国内一流、国际先进水平的科研实验装置，主要有金属有机化学气相淀积（MOCVD）设备、磁性金属超薄膜生长/超高真空变温SPM/原位穆斯堡尔谱仪联合系统、有机分子外延－低温扫描隧道显微镜－纳米四探针探测（NP-OMBE-LTSTM）系统、TMR R&D Sputtering System、变温扫描隧道显微镜/原子力显微镜-角分辩光电子谱-分子束外延联合系统、多功能高分辨电子能量损失谱仪、场发射透射电子显微镜、极低温强磁场双探针扫描隧道显微镜、FEI DB235聚焦离子束刻蚀与沉积系统、Raith 150 电子束曝光系统、IBM SP 690大型计算机、模块式三级拉曼光谱系统以及自行研制的超高真空低温强场双探针STM、高分辨率TEM-扫描探针SPM原位物性研究系统、激光分子束外延系统II型激光分子束外延系统和极光Ⅱ号太瓦级激光装置等。
多年来，物理所先后与美国、英国、德国、法国、日本等十几个国家开展了合作，包括与英国皇家学会、法国国家科研中心、德国马普学会、荷兰皇家科学院、日本学术振兴会等国家级科学研究机构建立起了长期、稳固的友好合作关系，还与其它国家的数十个科研机构和大学建立了广泛的所级国际合作关系。广泛、频繁、高水平的学术交流有力地推动了物理所在学术上与国际接轨的进程。
同时，物理所在完善学术环境和营造学术氛围方面进行了不断的探索，逐步建立了一套适合自身发展需求的学术评价体系和学术交流体系。实施了“国际评价机制”和“学术交流与考核评价相结合”的方式，以促进重大原创性成果的产生。设立了“崔琦讲座”、“中关村凝聚态论坛”、“凝聚态物理前沿讲座”、“科学之家学术漫谈”以及“明理时空”等形式多样的学术活动，形成了一个完整的学术交流体系。
经过多年的努力，物理所取得了一系列重大科研成果。在基础研究方面，取得了以“液氮温区氧化物超导体的发现及研究”、“低纯度钕铁硼永磁材料”、“定向碳纳米管的制备和结构和物性研究”为代表的一批原创性重要研究成果，获国际、国内奖共300多项，其中第三世界科学院物理奖4项，国家自然科学奖17项，国家科技进步奖21项，国家发明奖8项。
在应用基础研究方面，1998年以来，物理所共获授权专利215项。部分专利技术如"新一代固态全色激光显示"已显现出广阔的应用前景；另有部分专利技术已经以技术入股的形式进入产业化，典型的范例有以锂离子电池专利为核心技术的苏州星恒电源有限公司；以LED专利为核心技术成立的北京圣科佳公司。物理所现有控股、参股公司9个，其中以知识产权入股的有7个。
此外，挂靠物理所的中国物理学会主办的科技期刊《物理学报》、《Chinese Physics》、《Chinese Physics Letters》和《物理》已成为国内外有重要影响力的物理学学术期刊。
2003年11月25日，以中科院物理研究所为依托单位的"北京凝聚态物理国家实验室"经国家科技部批准正式开始筹建。放眼世界，展望未来，随着第三期知识创新工程的启动，物理所面临新的发展机遇和挑战，任重而道远。物理所人将以“建成国际一流凝聚态物理研究基地”为目标，面向国际科学前沿、面向国家战略需求，不断做出新的基础性、战略性、前瞻性的贡献。