كانت القرية تنهض على تل من الحجر الرملي قليل الارتفاع في السهل الساحلي الأوسط, مشرفة على شاطئ البحر الأبيض المتوسط. وقد عرفت القرية أيضا باسم سيدنا علي, لأنها كانت مبنية حول مقام الحسن بن علي ( توفي سنة 1081م), سليل الخليفة الثاني عمر بن الخطاب. وذكر الرحالة الشامي البكري الصديقي المتصوف الذي جال في المنطقة في أواسط القرن الثامن عشر, أنه انزل ضيفا في مسجد الحرم في إحدى الليالي[ الحلة, مذكور في الخالدي 1968: 117-118]. وكان من التقاليد أن يأتي الناس من كل أنحاء فلسطين في الصيف للصلاة والقيام ببعض المناسك وأخذ التذكارات. وكان سكان الحرم في معظمهم من المسلمين. وكانت منازل القرية مبنية بالحجارة أو بالطوب, ومتقاربة بعضها من بعض. وقد أسست فيها مدرسة ابتدائية في سنة 1921, بلغ عدد التلامذة المسجلين فيها 68 تلميذا في أواسط الأربعينات. وكانت الزراعة عماد اقتصاد القرية, ففي 1944\1945, كان 136 دونما للحبوب, و 256 دونما مرويا أو مستخدما للبساتين. بالإضافة الى الزراعة اهتم السكان القرية بصيد السمك. وعلى بعد 800 متر الى الشمال من القرية تقع خربة أرصوف ( 132178) التي أظهرت أعمال التنقيب فيها, في سنتي 1977و 1982, بقايا سوق يعود تاريخها الى أوائل العصر الإسلامي. غير أن تاريخ الموقع يمتد من القرن الخامس قبل الميلاد الى القرن السادس عشر بعد الميلاد, وعرف في العصر الهلنستي باسم أبولونيا. وكان الصليبيون بنوا هناك قلعة دعوها أرسوا. وفي سجلات ضرائب القرن السادس عشر العثمانية, ورد اسم أرشوف. ويبدو أن قرية الحرم لم تبن الا بعد أن هجر موقع أرشوف في وقت ما من القرن السابع عشر.
إحتلال القرية وتطهيرها عرقيا
احتلت القوات الصهيونية الحرم, في الأرجح قبيل نهاية الانتداب البريطاني في 15 أيار\ مايو 1948. وكانت هذه القوات تسيطر, في تلك الآونة, على كامل المنطقة الساحلية الممتدة بين حيفا وتل أبيب( انظر كشك, قضاء يافا).
القرية اليوم
كل ما تبقي من القرية هو المقام وبعض المنازل والمقبرة والمقام, الذي جدد جزئيا مجمع متطور الطراز المعماري, يشتمل على رواق ذي أعمدة وقناطر ومئذنة ترتفع فوق أحد أبنية. ويشاهد قرب المقام الأسس المهدمة لمنازل القرية, وثمة على بعد قليل منه منازل عدة يسكنها اليهود اليوم. وتشرف المقبرة المتهدمة على البحر وتستخدم موقفا لسيارات السياح الاسرائيلين.
المغتصبات الصهيونية على اراضي القرية
بنيت مستعمرة ريشبون ( 133178) في سنة 1936 على الحدود الشمالية لأراضي الحرم. وأنشئت كفار شمرياهو ( 133176) في سنة 1937 الى الجنوب الشرقي من الموقع, على ما كان تقليديا من أراضي القرية.