Summer Pockets rozgrywa się na odizolowanej, spokojnej wyspie Torishirojima, położonej na Wewnętrznym Morzu Seto. Miejsce to zamieszkuje około 2000 osób, a jego sielankowy charakter kontrastuje z życiem w wielkim mieście. Główny bohater, Hairi Takahara, dorastał w miejskim środowisku, ale po nieprzyjemnym incydencie postanawia wykorzystać niedawną śmierć swojej babci jako pretekst do przyjazdu na wyspę, by zająć się sprzedażą jej posiadłości. Na miejscu poznaje on cztery dziewczyny, które stają się centralnymi postaciami w jego nowym życiu: Shiroha Naruse, która zapomniała czym są dla niej letnie wakacje; Ao Sorakado, dziewczynę zafascynowaną legendami wyspy; Kamome Kushima, młodą arystokratkę poszukującą pirackiego statku; Tsumugi Wenders, najmłodszą z nich, która pragnie odnaleźć siebie. Lato spędzone na tej malowniczej wyspie odmieni życie Hairiego w sposób, którego nigdy by się nie spodziewał…