این باغ در جبهه شمال غربی، خارج از شهر شیراز در استان فارس و در دامنه کوه آسیاب سه‌تایی قرار داشته و در حدود 3-2 کیلومتر تا کوه معروف بابا کوهی، در شهر شیراز فاصله دارد.
اطراف آن بیابان و رودخانه و سنگلاخ بوده، با گسترش شهرنشینی در جبهه غربی، به تدریج این باغ در داخل بافت شهری قرار گرفته. در حال حاضر در انتهای خیابان ارم و در تقاطع بلوار شرقی ـ غربی و بلوار شمالی ـ جنوبی جام جم و آسیاب سه تایی، باغ ارم قرار گرفته است. این باغ به مناسبت عمارت و باغ بزرگی که در گذشته توسط شداد بن عاد پادشاه عربستان جنوبی به رقابت با بهشت ساخته شده، به باغ ارم مشهور گردیده است.
