تدور أحداث Summer Pockets على جزيرة معزولة وريفية وهادئة على بحر سيتو الداخلي تسمى Torishirojima، والتي يبلغ عدد سكانها حوالي 2000 نسمة. نشأ بطل الرواية، هيري تاكاهارا، في بيئة حضرية، ولكن بعد حادث غير سار، استخدم وفاة جدته مؤخرًا كذريعة للقدوم إلى الجزيرة لرعاية بيع عقاراتها. بمجرد وصوله، يتعرف على أربع فتيات، هن محور القصة: شيروها ناروسي، التي نسيت إجازتها الصيفية؛ آو سوراكادو، الذي يتابع أساطير الجزيرة؛ كامومي كوشيما، فتاة من الطبقة الراقية تبحث عن سفينة قراصنة؛ و Tsumugi Wenders، فتاة أصغر سنا تحاول أن تجد نفسها.