为南北交通建设固定通道
南京长江两岸分别连接津浦铁路与沪宁铁路，建桥以前列车需要经轮渡过江。桥梁建设要解决的不只是江面跨度，还包括铁路线路接入、城市道路连接和江上航运之间的关系。1956年，南京长江大桥的勘测设计工作开始；1957年的设计意见书提出桥址方案，随后确定在宝塔桥一带建设。
最终采用公路在上、铁路在下的双层布置。下层设双线铁路，上层设四车道公路；连同两岸引桥，铁路桥长约6.7公里，公路桥长约4.5公里。道路与铁路线的坡度和接入方向不同，各自形成不同长度的引桥。
大桥工程局与协作单位
1958年成立的南京长江大桥建设委员会协调工程，铁道部大桥工程局承担设计施工，彭敏、梅旸春分别负责指挥和总工程师工作。王序森主持正桥钢梁设计，曹桢负责现场设计，王伟民、周璞参与引桥及桥头建筑设计。以李国豪为主任委员的技术顾问委员会，也参与技术问题的讨论。
桥梁各部分由不同专业共同推进。1958年起召开的技术协作会议，把桥跨、基础、地质、施工和建筑美术等问题交给有关研究单位与工程人员讨论。如今留存的1960年施工设计综合预算书扉页上，列有勘测设计处和大桥工程局负责人签章，反映了文件从专业设计到工程管理的审定环节。
水下基础与钢梁相继施工
1960年1月，正桥9号墩钢围笼浮运下水，主体工程正式开工。江中各处的河床条件不同，桥墩采用相应的基础构造。施工图目录为多个墩位分别列出钢沉井、双壁钢围堰、管柱，以及水上起吊和导向设备等图纸，显示水下基础与施工装备是成套设计的。
正桥钢桁梁把公路与铁路荷载传向桥墩，跨江部分采用160米级连续梁。钢材供应也是关键环节：在进口受阻后，工程转向国内研制桥梁用钢，鞍山钢铁公司提供了符合要求的16锰桥梁钢。1967年8月，正桥钢梁完成合龙与架设，随后还须铺设桥面、安装附属设施并进行荷载试验。
把长引桥接入两岸城区
公路引桥的双曲拱结构形成了大桥另一种外观。两岸接近市区部分共有22孔双曲拱；另计回龙桥11孔时，相关双曲拱结构总数为33孔。拱圈由预制混凝土拱肋、拱波与现场浇筑部分共同组成，兼顾构件预制、现场拼装和整体受力。
桥头堡则处理高大的江中桥梁与陆上引桥之间的形体衔接。中国建筑学会组织征集方案，南京工学院钟训正的红旗方案成为设计基础。方案在1964年节约投资的修改中保留了三面红旗、回廊和雕塑，建筑设计与工程结构分别由相关团队配合完成。
铁路先行，公路年底接通
1968年9月，铁道部、大桥建设委员会、上海铁路局和大桥工程局等组成验收交接组，以重载列车往返试验，检查钢梁与结构表现。9月30日举行铁路桥通车典礼；10月1日，上海铁路局接管并开始运营。通车典礼之后，铁路运营与管理完成交接。
公路桥继续施工，到12月29日举行通车典礼。《人民日报》次日刊载的新华社报道记载，庆祝大会后车队通过上层公路桥，并说明铁路桥已经在10月1日正式通车。至此，双层桥的两套运输功能先后投入使用，津浦、沪宁铁路及两岸公路获得了直接联系。