Nazwa „Harem” pochodzi od tureckiego słowa „hariim” (niedotykalność życia prywatnego). Muzułmanie dokładnie strzegli prywatności, dlatego harem był najbardziej nieprzystępnym miejscem pałacu. Zamieszkiwały go nie tylko konkubiny i służba, ale również żony, dzieci i inni członkowie rządzącej rodziny.