海岸贸易中的岛屿聚落
戈雷岛位于今日塞内加尔达喀尔对面的海域。它是一座拥有港湾、堡垒和住宅的岛屿聚落，“奴隶之家”只是其中一处建筑。葡萄牙人、荷兰人、英国人与法国人在不同阶段参与其贸易和殖民争夺，岛屿又持续依靠非洲大陆供应食物与水。
十八世纪的戈雷并非只有欧洲商人和等待出海的俘虏。自由及被奴役的非洲居民、欧洲人和非欧混合家庭共同生活于此。被称为 signares 的非洲及非欧混合血统女性参与贸易、拥有房产，其中一些家庭也占有奴隶。被奴役者从事木工、砌筑、航海和家务劳动，他们的长期居住经历与等待贩运出海者有所不同。
“奴隶之家”与贸易规模的争论
今日“奴隶之家”原是十八世纪末佩潘家族的住宅。建筑确切年代及部分房间的用途存在不同解释；将整栋住宅视为大规模出口奴隶的集中转运站，尤其把临海的“不归之门”认定为固定登船通道，均受到历史研究质疑。Cheikh Sene 对旧地图与旅行记的梳理指出，岛上的堡垒等设施也曾承担关押功能，住宅的纪念展示并不完整对应整个岛屿的奴隶贸易设施。
争论还涉及戈雷在大西洋贸易中的相对规模。联合国教科文组织的遗产介绍使用过“最大的奴隶贸易中心”这一表述，但历史学界对其排名和人口数量长期存在异议。纪念建筑的象征地位、岛上奴役劳动的存在，以及经岛屿转运的人数，是依据不同材料回答的三个问题。对转运数量或某栋建筑用途的质疑，不等于否认奴役制度曾深刻参与岛屿经济。
从历史建筑到纪念空间
戈雷在1944年获得历史遗址保护，1975年列入塞内加尔国家遗产名录，1978年以第六项标准列入世界遗产。其遗产价值包括对奴隶贸易的纪念，以及非洲与海外非洲后裔之间的历史联系。
约瑟夫·恩迪亚耶自1962年起担任“奴隶之家”馆长，其富有感染力的讲述，以及1966年首届世界黑人艺术节带来的国际关注，推动了这一地点的传播。“不归之门”逐渐成为离散、失去故土与追忆祖先的象征。1990年代公开化的学术争论，使这种纪念意义与建筑、档案所能证明的具体事实之间的距离更加鲜明。
日常生活与海底遗存
Ibrahima Thiaw 领导的戈雷考古研究从2001年展开。陶器、玻璃瓶、建筑材料及居住遗迹显示，十八世纪以后欧洲商品在岛上广泛流通；反复施工与不同居民共同使用空间，也使遗物难以直接对应自由人或奴隶身份。研究因而揭示了岛内劳动、消费与家庭生活，既有发掘并不能独自给出出口奴隶总数。
水下研究补充了另一组证据。考古学家 Madick Gueye 在2024年的报告中介绍，团队于2016—2017年调查戈雷周边海域，辨认出24处考古地点，其中包括1780年沉没的英国舰船 HMS Sénégal。这个数字指考古地点，而非24艘已确认的奴隶船。沉船、航海设施和出水器物为海上交通提供线索，其辨认与保存仍各有专门的证据要求。