1949年，中央人民政府政务院即派出西北科学考察团，对西北地区的科学事业和发展状况进行考察。

1953年，甘肃省委宣传部部长吴文麟、陕西省委书记张德生、中共西北局书记习仲勋分别致函中国科学院党组书记兼副院长张稼夫，建议成立中国科学院西北分院。

1953年7月，中国科学院向中央人民政府政务院建议：“西北是国家建设的重要基地，但工业基础很差，科学遗产很少，大部分地区均属空白区，连最基本的科学资料也没有，因而在国家建设上造成不少困难。为了配合国家经济建设的开展，中国科学院在西北筹建科学研究机构是非常需要的。”中央人民政府政务院于1953年12月30日批复：“同意中国科学院‘关于筹备建设中国科学院西北分院的意见’ [（53）政文习字第43号文]”，并批示：“由中国科学院和西北行政委员会共同开展工作。”

筹备工作开始时，地址设在西安市解放路西京招待所。

1954年7月16日，西北分院筹委会在西北行政委员会会议大楼会议室召开了第一次会议，宣布西北分院筹委会主任委员由张德生(中共中央西北局委员、西北局统战部部长)担任；副主任委员由辛树帜（西北农学院院长兼）、盛彤笙（西北行政委员会畜牧局局长、留德兽医博士）、董杰担任。由中国科学院院长郭沫若聘请十六名西北地区各高等院校著名专家、学者担任西北分院筹委会委员。

1954年7月17日，西北分院筹委会召开第一次全体委员会议，研究组织机构、基本建设，调查西北地区科学工作等问题。会后，筹委会搬迁到西安市建国路仁爱巷7号。

1954年8月，西北大区撤消，西北分院筹委会的党政关系移交陕西省委和陕西省人民政府管理。

1956年4月西北分院筹委会迁往兰州（1958年7月29日，经中国科学院第九次院务委员会议研究决定，中国科学院西北分院筹委会更名为中国科学院兰州分院）。为适应国家在陕西地区发展科学事业的需要，根据中国科学院的指示和陕西省委的意见，西北分院筹委会搬迁兰州的同时，在西安市建国路仁爱巷7号设立了中国科学院西北分院筹备委员会西安办事处，编制20人，实际人数13人，规格为地师级，负责人为梁得柱。