Около 1436 года отшельники, благополучно совершив морское плавание, пристали к Соловецким островам. Бог благословил место их поселения видением преподобному Зосиме прекрасной церкви на воздухе. Преподобные своими руками построили келью и ограду, начали возделывать и засевать землю. Однажды поздней осенью преподобный Герман отправился на материк за необходимыми припасами. Из-за осенней непогоды он не смог вернуться. Преподобный Зосима провел всю зиму один на острове. Много искушений он претерпел в борьбе с бесами. Ему угрожала голодная смерть, однако чудесно появившиеся два незнакомца оставили ему запас хлеба, муки и масла. Весной возвратился на Соловки преподобный Герман с рыбаком Марком и привез запас пищи и снасти для рыбной ловли.
Когда на острове собралось несколько отшельников, преподобный Зосима устроил для них небольшую деревянную церковь в честь Преображения Господня с трапезной. По просьбе преподобного Зосимы из Новгорода был прислан в новосозданную обитель игумен с антиминсом для соборного храма. Так было положено начало знаменитой Соловецкой обители. В суровых условиях отдаленного острова иноки сумели организовать хозяйство. Но настоятели, которых присылали на Соловки из Новгорода, не выдерживали жизни в непривычно трудных условиях, и братия избрали игуменом преподобного Зосиму.
Преподобный Зосима занялся устроением внутреннего быта обители, ввел строгое общежитие. В 1465 году он перенес на Соловки с реки Выг мощи преподобного Савватия. Обитель терпела притеснения от новгородских бояр, которые отнимали у иноков уловы рыбы. Преподобный вынужден был отправиться в Новгород и искать защиты у архиепископа. По совету архиепископа он обходил дома бояр и просил их не допускать обитель до разорения. Влиятельная и богатая боярыня Марфа Борецкая приказала с бесчестьем выгнать преподобного Зосиму, но потом раскаялась и пригласила его на обед, во время которого он вдруг увидел, что шесть знатнейших бояр сидят без голов. Преподобный Зосима поведал видение своему ученику Даниилу и предсказал боярам скорую смерть. Это предсказание исполнилось в 1478 году, когда при взятии Новгорода Иоанном III (1462–1505) бояре были казнены.
Незадолго до кончины преподобный сам приготовил себе гроб, в котором был погребен за алтарем Преображенского храма († 17 апреля 1478). Впоследствии над его могилой была устроена часовня. Мощи его совместно с мощами преподобного Савватия 8 августа 1566 года были перенесены в придел, освященный в их честь в Преображенском соборе. Много чудес было засвидетельствовано, когда преподобный Зосима с преподобным Савватием являлись гибнувшим в морской пучине рыбакам. Преподобный Зосима также покровитель пчеловодства и хранитель пчел, ему усвоено даже именование «пчельник». К преподобному Зосиме часто прибегают и в болезнях. Множество больничных храмов, посвященных ему, свидетельствует о великой целительной силе его молитв пред Богом.
