"בהיותי בדד מסיעתא קדישתא בני מתיבתא קדישא, חכמי עיר הקודש קרית-ארבע כי נתגרשנו לעזה תובב"א, מפני יד ה' אשר היתה בכל הר הקודש ובירושלים תובב"א" כך כתב בתחילת המאה ה-17 ר' אברהם אזולאי, סבו של החיד"א, בספרו "בעלי ברית אברהם".

בין שתי הערים עזה וחברון, היו במרוצת ההיסטוריה קשרים הדוקים, כאשר לא מעט משפחות נדדו בין עזה וחברון וגם ירושלים. יהודים שנאלצו לברוח מירושלים וחברון היו מבקשים להם בשעת צרה מקלט זמני בעזה, שם היו שולטים מושלים אחרים. גם בתקופות של מגפות שהיו פורצות בירושלים ובחברון – וכאלו, מתברר, לא היו נדירות כלל בשווקים ובקסבות הצפופים של שתי ערים אלו – היו היהודים היושבים שם חשים אל העיר עזה המרווחת והשטופה פרדסים וגינות, בה יכלו למצוא את מחייתם בשפע. מאידך, כאשר התרגשו מלחמות על עזה – וכאלו מעולם לא חסרו לאורך ההיסטוריה בגלל מיקומה של העיר על הדרך הראשית ממצרים לארץ ישראל – היו יהודי עזה עולים למצוא מקלט בחברון ההררית.

דוגמאות לכך אנו מוצאים בספרי השו"תים השונים. כך אנו לומדים למשל כי בשנת ה"ש', 1540, היו בעזה סוחרים יהודים שעסקו במשא ומתן ואחד מהם לפחות היה יליד העיר חברון שעבר לגור בעזה ולסחור בה.

על השד"ר ר' אברהם בן חנניה מסופר כי בשנת ה'תכ"ב, 1562, עקב מגפה שפרצה בחברון, הוא נאלץ לברוח אל העיר עזה, שם נפטר. לפי צוואתו הועברו עצמותיו לקבורה בחברון.

על ר' אליעזר בן ארחא מסופר שכיהן כרב העיר עזה עד שנת שע"ט, 1619. באותה שנה עבר לחברון, אם משום שהוצעה שם משרה טובה יותר או משום שלעזה הגיע רב גדול ממנו ומפורסם בתורה שעתיד להתפרסם עד ימינו – ר' ישראל נג'ארה.

גם על בני משפחת קסטל (קאשטיל) שנמלטו לעזה בגירוש ספרד, ידוע כי עברו מעזה לחברון. בשנת ה'ת"כ, 1560 מוזכר ב"שו"ת הרדב"ז" שמו של ר' יעקב קאשטיל שהיה צורף בעזה והיתה לו חנות ב"סאגה", הוא שוק הצורפים.

באיגרת משנת תע"ז, 1717, נזכר שמו של ר' יוסף קאשטיל מחכמי חברון. מכאן למדים שהמשפחה עברה מעירה עזה לחברון.

אחרי פרשת משיח השקר שבתי צבי, שהוכתר כמשיח בבית הכנסת של עזה, התדלדל מאד היישוב היהודי בעיר. מי שחידש את היישוב היהודי בעזה בתחילת המאה הי"ח הוא ככל הנראה ר' שמואל ב"ר משה קאשטיל, אחד מבני משפחת קאשטיל שהתגוררה כזכור בעיר. בידי צאצאי המשפחה ישנו ציור שער של ספר "שיר השירים" שנכתב בידי שמואל קאשטיל ובו נאמר: "זהו ספר של שיר השירים תרגום עם ערבי, הועתק מחדש כתבתי אותה פה בעזה תוב"ב בשנת התע"ה ליצירה בחודש שבט אני הצעיר שמואל לבן לאדוני אבי הישיש החכם ונעים זמירות כת"ר משה קשטיל יצ"ו השם יזכני לכתוב ספרים לאין חקר כי"ר". שנת התע"ה היא שנת 1715, ומכאן שבאותה שנה שוב הולכת ומתחזקת הקהילה היהודית בעזה. 

אחד מצאצאי המשפחה, תא"ל (מיל.) יוסף קסטל ז"ל, כיהן בסוף שנות ה-70 של המאה העשרים כמושל הצבאי של חבל עזה.

עדות נוספת אנו מוצאים בספר מסעותיו של החיד"א, חיים יוסף דוד אזולאי שהגיע לעזה, העיר בה כזכור נפטר סבו, בחודש שבט תקי"ג, 1753, בדרכו מחברון למצרים.

בשנת תקצ"א, 1831, כבש את ארץ ישראל השליט המצרי איברהים פאשה (פחה) ושלט עליה 9 שנים. בשנת 1835 ציווה אברהים פאשה לפרק את מבנה בית-הכנסת שבראש התל ולבנות באבניו מצודה בעיר מג'דל, היא אשקלון של היום. שרידי הקהילה היהודית של עזה שהתגוררו בחברון – ובראשם משפחת קאשטיל – חשו לעיר, לקחו עמם את הדלתות המקושטות של בית-הכנסת ושבו לחברון, שם הוצבו הדלתות בבית-הכנסת "אברהם אבינו". בתמונות של ביכנ"ס זה מלפני שנת תרפ"ט נראות הדלתות ניצבות בפתח בית-הכנסת עם ציורי "מגן דוד", עיטורי צדפים ופיתוחים נוספים בחזיתן.

פחות ממאה שנים אחר כך, בפרעות שפרעו ערביי הארץ ביהודים בשנת תרפ"ט, 1929, נשרף בית-הכנסת אברהם אבינו ונחרב כליל. דלתות העץ היפהפיות נעלמו. לא ברור אם נשרפו או נשדדו, מכל מקום זכר לא נותר מהן.

היהודים השתוקקו לחזור לעזה. באיגרת ששלחו יוצאי עזה הגרים בחברון לשר משה מונטיפיורי בשנת תקצ"ט, 1839, הם מבקשים ממנו שיסייע להם להתיישב מחדש בעזה "לנטוע ולזרוע, לעשות בה כל מלאכה..." (מאיגרת זו נראה שיהודי עזה נטשוה רק אחרי שחיים פרחי נרצח). אבל מהפנייה לא יצא כנראה מאומה.

נעבור למאה העשרים. בעיתון "הצבי", עיתונו של אליעזר בן יהודה מיום ו' בכסלו תרמ"ו, מתפרסם תיאור של ביקור בעזה שכתב סלימאן מאני, תושב חברון ולימים רבה של העיר. מאני מזכיר, בין היתר, את היישוב היהודי המתחדש בעזה: "ששה עשר בעלי בתים מאחינו היהודים הי"ו תושבים בה... סי' יצחק נ"י וסי' אליהו הי"ו שכרו להם חצר נאה והפרישו ממנה חדר אחד לבית הכנסת, שם יתפללו שני וחמישי ושב"ק (שבת קודש – ח.ה.) ביותר ממניין. ושני ספרי תורה להם, אחד שהביאו מעיה"ק חברון ת"ו ואחד מעיה"ק ירושלים ת"ו, והוצאת שמן לתמיד וכדומה יצא מכיס שני אדונים הנ"ז (=הנזכרים).

באותן שנים, היה בעזה תלמוד תורה קטן. רק שתי משפחות שלהן ילדים גדולים, נזקקו לבית ספר, והן נאלצו לעזוב את עזה ולחזור ליפו. כשנוכחו ראש הקהילה חכם נסים אלקיים ואברהם חיים שלוש, שקיימת סכנת עזיבה בהיעדר בית ספר, הם יצאו לשכנע משפחות צעירות מחברון להתיישב בעזה, והצליחו להגדיל את היישוב גם בעזרת צעירים מיפו.

בשנים תרס"ו-תרע"א, 1911-1906, ישב על כס הרבנות בעזה הרב נסים בנימין אוחנה. בהמשך שימש רב של אלכסנדריה, מלטה, פורט-סעיד, קהיר – ולבסוף הרב הראשי הספרדי של חיפה. וכך הוא מספר על עצמו בהקדמה לספרו "ספר תרי"ג מצוות": "בן עשרים ואחת שנה נסמכתי לרב ע"י הרה"ג יש"א ברכה, הראשון לציון ר' חיים אלישר והרה"ג ש' סלנט זצ"ל. כיהנתי בתור רב לעזה, א"י, במשך חמש שנים... לא היה להם בית עלמין, וגם זה גרם ייסורים גדולים לנפטר ולקרוביו, שהיו שולחים את המת בתוך ארון עץ וקושרים אותו על גבי הגמל ומלווים אותו לקבורה בחברון, דרך שגרמה צער למתים ולקרובים שליוו את הארון עד חברון, כשקרוביהם מצפים לשובם בשלום מסכנת הדרכים, ובראותי את צערם הנורא הזה נקנה ביוזמתי בית עלמין לקבורת המתים".

בין המשפחות שחידשו את היישוב היהודי בעזה אחרי מלחמת העולם הראשונה, משפחה נוספת בעזה היתה משפחתו של אהרון יפה, יליד חברון, מומחה בהפעלת טחנות קמח ובארות. מקורה של משפחת יופה הינו ברוסיה. בתחילת המאה ה-19 עלתה המשפחה לארץ ונמנתה על ותיקי היישוב היהודי- אשכנזי בחברון. ב-1924 נבחר יעקב יפה לראש העדה בעזה.

5 שנים אח"כ, בפרעות תרפ"ט, חרבה הקהילה היהודית בחברון – וגם בעזה. אם כי בעזה, בניגוד לחברון, איש מיהודי העיר לא נפגע, בזכות משפחת א-שאווה, מנכבדי העיר שהיתה ידידת היהודים. בני משפחה זו הגנו על יהודי העיר מפני הפורעים עד שהבריטים פינו אותם מעזה ללוד. מאז לא חזרו יהודים לגור בעיר עזה – אף זאת בניגוד לחברון.