Сергей Борисович Рудаков родился 8(21) октября 1909 года в Воронеже в семье офицера. В 1921 или 1922 году отец был расстрелян по приговору следственной комиссии, занимавшейся расследованием деятельности офицеров царской армии. Вскоре после его гибели мать переехала с детьми в Петроград.

После окончания школы в 1928 году С. Рудаков поступил на Высшие государственные курсы искусствоведения при Институте история искусств. В 1930 году институт закрыли и С. Рудаков вынужден был устроиться на работу чертежником.

После убийства С. М. Кирова С. Рудаков из-за своего дворянского происхождения был выслан из Ленинграда и с марта 193S по июль 1936 года жил в Воронеже. Там он тесно сблизился с О. Э и Н. Я. Мандельштамами и начал работу над архивом О. Э. Мандельштама: записывал стихи с авторскими комментариями, копировал личные документы, черновики и другие материалы, со слов Н. Я. Мандельштам составлял биографию поэта.

Вернувшись в Ленинград, С. Рудаков поступил на заочное отделение Педагогического института им. А. И. Герцена, которое закончил в 1941 году. Преподавал в школе для взрослых, принимал участие в работе Пушкинской комиссии Академии наук.

С начала Великой Отечественной войны С. Рудаков воевал в частях морской пехоты на Ленинградском фронте, был тяжело ранен. После лечения с лета 1942 года служил в Москве (на нестроевой службе).

В 1943 году С. Рудаков был осужден за попытку помочь другу получить отсрочку от призыва в армию и в ноябре 1943 года снова оказался на фронте. Погиб 15 января 1944 года под Могилевом.