法律教育与巴尔的摩执业
马歇尔出生于巴尔的摩，1930年毕业于林肯大学，1933年取得霍华德大学法律学位。他在霍华德受到查尔斯·汉密尔顿·休斯敦的影响。休斯敦重视通过严密的法律训练和准备，使律师能够在法院挑战种族隔离。
毕业后，马歇尔在巴尔的摩执业，并为当地全国有色人种协进会分会提供法律帮助。他与休斯敦合作处理唐纳德·盖恩斯·默里要求进入马里兰大学法学院的案件，1935年取得进展。地方当事人的入学要求，由律师转化为围绕公共教育责任的具体诉讼。
协进会法律工作与布朗案
1936年，马歇尔进入协进会全国法律团队，后来成为主要律师。1940年至1961年，他又担任法律辩护与教育基金的负责人和总法律顾问。团队与各地律师、家长及社区合作，把教育、选举和其他歧视问题逐案带进法院。
1954年布朗案判决确认，州政府按种族分隔公立学校违反平等保护要求，马歇尔是挑战隔离一方的重要辩护律师。这个成果来自多年案件积累和多人协作；最高法院的判决之后，学校取消隔离仍需后续执行和诉讼。
联邦任职与保存下来的司法记录
约翰·肯尼迪在1961年任命马歇尔为联邦第二巡回上诉法院法官。1965年，他转任联邦政府诉讼代表，负责在最高法院代表政府处理案件；1967年又获任最高法院大法官，在该院任职至1991年退休。不同职位使他先后承担当事人代理、政府诉讼与法院裁判的工作。
其最高法院任内材料保存了意见草稿、法官之间的通信、案件备忘录与投票记录。他持续关注平等权利、刑事被告的程序保障及死刑问题；随着法院构成变化，他的一部分主张以异议意见留下。马歇尔1991年将文件捐赠国会图书馆，1993年去世。