Действие «Оставленных» разворачивается спустя три года после глобального события под названием «Внезапный уход», необъяснимого, одновременного исчезновения 140 миллионов человек, 2% населения мира, 14 октября 2011 года. После этого события основные религии пришли в упадок и появился ряд культов, самыми заметными из которых являются «Повинные», группа одетых в белое, постоянно курящих нигилистов, и Святой Уэйн, человек, который считает себя вторым пришествием Иисуса Христа.
Первый сезон вращается вокруг семьи Гарви и их знакомых в вымышленном городе Мейплтон, Нью-Йорк. Кевин Гарви-мл. — шеф полиции. Его жена Лори присоединилась к Повинным. Их сын Томми ушёл из дома, чтобы присоединиться к культу Святого Уэйна, а их дочь Джилл постоянно отыгрывается. Тем временем, скорбящая вдова Нора Дёрст и её брат, преподобный Мэтт Джеймисон, изо всех сил пытаются справиться со своими травмами, приспосабливаясь к жизни после Ухода. Сезон также следуют за жизнью Мег Эбботт, женщиной, которую медленно соблазняет фракция Повинных в Мейплтоне, возглавляемая садисткой Пэтти Левин. Жизни этих персонажей переплетаются и сталкиваются, когда они оказываются в центре продолжающегося конфликта между Повинными и горожанами Мейплтона.
Во втором сезоне действие переносится из Мейплтона в вымышленный город Джарден, Техас, где ни один житель не исчез во время Внезапного ухода. Семья Мёрфи становится ключевой точкой фокуса в этом сезоне. Патриарх семьи, Джон, является главным пожарным в городе. Его жена, Эрика, работает медсестрой. Их сын Майкл является священником, а их дочь, Эви — старшеклассницей с эпилепсией. Семья Гарви, Нора и Мэтт переезжают в Джарден в то время, которое совпадает с инцидентом, который приводит к исчезновению трёх молодых девушек, а затем к массовой панике и хаосу, который угрожает безопасности города и заставляет семьи Гарви и Мёрфи противостоять своим внутренним демонам.