עלילת הסרט הינה ספור מסגרת לארבע עלילות נפרדות. המסגרת היא בואם של משקיפי האו"ם לגבעה 24, לאחר שהתחולל בה קרב, כדי לקבוע האם תישאר בידי ישראל או בידי הערבים. בגבעה מצאו המשקיפים ארבעה לוחמים הרוגים, וכשהתגלה כי בידו הקפוצה של אחד ההרוגים נמצא דגל ישראל, מכריזים המשקיפים כי הגבעה שייכת לישראל.
במסגרת זו נכללו בסרט ארבעה סיפורים:
הראשון הוא סיפורו של צעיר אירי ששירת במשטרת המנדט בתפקידי מעקב אחר ארגוני המחתרת, המתאהב בנערה ישראלית חברת אחד הארגונים (חיה הררית, שהחלה בסרט זה קריירה בינלאומית קצרה, במהלכה גם הופיעה באחד התפקידים הראשיים בסרט בן חור בשנת 1958). בעקבות אהבתו מתנדב השוטר הבריטי להילחם לצד היהודים.
השני הוא סיפורו של תייר אמריקאי שנקלע לעיר העתיקה ומתגייס להגנתה. בסיפור זה מתוארים ימיו האחרונים של הרובע היהודי לפני כניעתו, כשלוחמיו מתבצרים בבית החולים משגב לדך.
השלישי הוא סיפורו של צבר ישראלי עוקצני ולא רגשני (אריק לביא), הנפגש בקרבות הנגב עם קצין נאצי פצוע ששירת בצבא המצרי (עזריה רפפורט), והדבר מעורר בו רגשות יהודיים רדומים. בסצינה ידועה בסרט רואה הנאצי, בדמדומי פציעתו, את דמות הצבר כדמות יהודי גלותי לבוש שחורים ועונד טלאי צהוב.
הרביעי הוא סיפורה של צעירה בת היישוב השכן לגבעה, שהגבעה היא נוף מולדתה.
הסרט זכה להצלחה קופתית, אך נמתחה ביקורת על צידו האמנותי, ועל כך שלמרות שהיה כה ישראלי, דיבר אנגלית, כהכנה להפצתו בחו"ל.
"גבעה 24 אינה עונה" היה הסרט הגדול ביותר שהופק בישראל עד אותה עת, מבחינת תקציבו, אמצעיו הטכניים וכוכביו. תקציב הסרט היה 650 אלף לירות שטרלינג ובפועל עלתה הפקתו פי שלושה מהתכנון. הסרט ייצג את ישראל בפסטיבל הקולנוע בקאן.