从筹备到正式成立
1962年，赵九章已建议由中国科学技术大学统筹中国科学院研究生培养；1964年曾在中关村试办，后来因文化大革命中断。1977年9月，中国科学院先后呈交办好中国科学技术大学与招收研究生的报告，提出在北京筹办研究生院。9月5日的报告将基础课交给大学，专业理论和研究指导交给研究所，计划规模为一千人。同年10月20日，《人民日报》刊载的新华社消息已经宣布研究生院在北京成立，同时介绍未来两三年的招生计划。11月9日，研究生院启用印章，科学院随后部署经费来源、机构设置与人员编制。1978年3月1日的正式成立，承接的正是这一筹办过程。
向不同经历的青年开放
1977年公布的报考条件，既包括应届大学毕业生和成绩突出的在校大学生，也接受具有相当文化程度、适合继续培养的工人、知识青年、在职科技人员和青年教师。申请人须经政治审查和考试，择优录取，一般年龄在三十岁以下，上限为三十五岁。当时规划的学制通常为三年，先集中学习数学、外语、自然辩证法等课程，再进入研究所接受专业训练。
方案还要求研究生在导师指导下独立完成一项科研工作，由研究生院和有关单位共同考核。
参考：[2]
借用校舍与迁入玉泉路
研究生院初期借用北京肖庄的北京林学院校舍。1978年6月15日，国家计划委员会批准的建设方案以研究生1000人、教职工300人为规模。1978年秋，研究生院举行首届开学典礼，会场设在北京语言学院礼堂。
首届学生费昌沛回忆，他于1978年10月报到，食堂很小，晴天不少学生在室外蹲着吃饭，深夜仍有人在教室自习。1981年5月，研究生院从肖庄迁至玉泉路的原中国科学技术大学校园。
研究人员走上讲台
授课主要借助研究所的科学家。1978年，黄昆、彭桓武、吴文俊等78位科学家担任教授，开设47门课程。课程包括彭桓武的理论物理、谈镐生的物理流体力学、关肇直的现代控制论，也请李政道等海外学者讲学。
教学安排逐渐形成制度。1979年，研究生院制定各学科基本课程草案，开始实行学分制。两年间，为1978、1979两届学生开出126门业务课，并邀请17位外籍学者。专业基础课之外，还安排供跨学科学生补习的大学课程，必读课程须考试合格。院方采用有弹性的学制，前两年为第一阶段，此后视学生的学习情况再读一年或两年。课程多为选修，考核重在成绩而非出勤；完成第一阶段者可以结业分配工作，也可以继续研究和撰写论文。学习分为课程与科研两个阶段，后期由研究所指导论文，研究生院与研究所共同鉴定成果。
在学科组织上，1978年9月成立地学部，由张文佑主持，叶笃正、吴传钧协助，协调中国科学院和国家地震局等所属九个研究所的研究生教育。三人参与课程设置、聘请教员和制定教学大纲，也亲自授课。
科研训练的条件
导师的选择关系到学生能否进入实际研究。1980年，严济慈主持的教学部主任会议强调，应考察导师是否仍在一线工作，以及研究室的条件和学术活动，不能只看职称。这种培养以研究所已有课题为依托，把论文工作纳入具体的科研任务。
研究资源也受经费和场地约束。费昌沛记述，1978年中国科学院化学研究所全年收入约400万元，须支付工资、图书、医疗和水电暖等费用，留给科研的资金有限。该所实验室狭小，仪器有时放在走廊，冬季还遇到暖气破裂。这些回忆呈现了首届学生进入研究所时的工作环境。
从研究生院到大学
研究生院与中国科学技术大学的关系后来数次调整。2000年12月29日，国务院学位委员会、教育部批准中国科学技术大学研究生院（北京）更名为中国科学院研究生院。2001年5月22日举行挂牌仪式，2012年再更名为中国科学院大学。其早期办学的关键分工，是以研究生院组织课程，以研究所提供导师和研究训练。