1962年，我国处于国民经济最困难的时期。中央提出“调整、巩固、充实、提高”的八字方针。根据当时的形势，中国科学院与西北局商定：撤消陕、甘、宁、青四省（区）的分院，以中国科学院兰州分院和中国科学院陕西分院为基础，成立中国科学院西北分院。考虑到新疆地区偏远，少数民族多而集中和资源丰富，保留了新疆分院的建制，归属西北分院领导。

1962年4月9日，中国科学院在兰州同时为中国科学院西北分院和西北局科学技术委员会（以下称西北局科委）举办了成立大会。参加会议的有中国科学院在西北地区的直属研究所和大区重点研究所的领导干部、科学家、科技人员代表；新疆分院、陕西分院、兰州分院的领导干部，共70人。西北局书记处书记王林同志在会上讲了话；国家科委、西北局宣传部和西北局科委的负责同志出席会议并作指导。西北分院负责同志分别传达了“广州科学会议”精神和周恩来总理、陈毅副总理的讲话。中国科学院秘书长郁文同志参加了会议，作了讲话，并和中共西北局研究了西北分院的设置、人员精简等事项，对今后的科研工作任务提出了建议。在这次会议上，正式宣布了成立中国科学院西北分院的决定。西北分院地址在兰州市盘旋路宁卧庄。

1962年12月下旬，中国科学院与西北局和陕西省委商定：西北分院迁至西安市南郊边家村。1963年元月1日，西北分院正式对外办公。时逸之任党组书记兼院长，徐劲 、董杰任副院长。1964年后，按中央精神，中科院西北分院成立中共西北分院党委，建立政治部，时逸之任党委书记兼院长，陈舜瑶（时任中共西北局宣传部副部长）任党委副书记兼政治部主任，黄华青任党委副书记兼副院长，徐劲、华寿俊任副院长。

西北分院迁至西安后，由于在兰州的中国科学院所属单位较多，西北分院在兰州市盘旋路宁卧庄设立了“中国科学院西北分院兰州各所公共事务管理处”，其主要职能是为兰州的中国科学院各研究单位提供水电暖卫、环境管理、维修等服务。

文革初期，中国科学院西北分院党政领导班子和组织机构运转正常。“大串联”开始后，群众组织相继成立，原有的科研秩序被冲破。

1970年7月15日，中国科学院下文：“经国务院批准，同意撤销我院各大区分院。分院人员及所属单位由所在省市负责安排处理[（70）科字第19号文件] ”。