Но ничто не вечно: обаятельный артист примелькался. Вдобавок на шоу-бизнес, как и на другие сферы жизни, надвигался финансовый кризис. Из-за усталости, рабочих конфликтов и финансовых неурядиц группа, с которой выступал Чумаков, распалась в 1996 году. На смену тучным временам пришли тощие: выяснилось, что своими солидными гонорарами певец распоряжался легкомысленно, не накопив даже на отдельное жилье. Вдобавок гастрольная жизнь приучила его сбрасывать напряжение обычным для творческих людей образом, и вот отвергнутый славой Чумаков вернулся жить к родителям и сестре Наталье, отягощенный долгами и губительной зависимостью. Брак с Любой распался, такая же судьба ожидала и второй священный союз Чумакова.
Сам певец в интервью обходит этот период, но поговаривают, что вчерашней суперзвезде пришлось заниматься частным извозом и работать грузчиком. Огромным ударом стала для Чумакова смерть матери. Близким казалось, что он опустился на самое дно.
Однако талант, работоспособность и оптимизм Сергея взяли верх. В 2011 году Чумаков познакомился с продюсером Сергеем Дубилевским, который загорелся идеей вдохнуть новую жизнь в угасшую на пике карьеру звезды девяностых. Конечно, путь на центральное телевидение и в столичные концертные залы Сергею после стольких лет забвения был закрыт, но зато в Подмосковье и регионах нашлась благодарная аудитория, сквозь годы пронесшая в сердцах слова песен «Валяй-гуляй» и «Сиреневый вечер».