Сталлоне родился 6 июля 1946 года в Нью-Йорке в семье дамского парикмахера и танцовщицы из знаменитого ночного клуба «Алмазная подкова». Поскольку мальчик родился в трущобном роддоме, где даже медицинских инструментов не хватало, роды были приняты не самым лучшим образом. Врач так неумело обращался с родильными щипцами, что Сильвестр родился с серьезным недостатком: у него была парализована левая половина лица, а также не двигались и провисли левое веко и левый угол рта. Родители заметили эти травмы только дома, бросились обратно к врачам, но те заявили, что исправить что-либо уже невозможно. А на прощание еще обнадежили: дескать, в будущем следует ожидать серьезных нарушений речи. Прогноз врачей полностью подтвердился — говорить мальчик начал поздно и каждое слово давалось ему с большим трудом.

Стоит отметить, что Сильвестр родился не в самый подходящий для родителей момент, когда они только и делали, что пытались вырваться из нищеты, в которой прозябали. Появление лишнего рта в семье было для них обузой, поэтому ребенка почти сразу отдали на воспитание няньке из нью-йоркского района Куинс. Только на выходные нянька привозила мальчика к родителям, но даже эти короткие свидания не приносили им обоюдного удовлетворения: каждая сторона продолжала жить обособленно друг от друга. Позднее Сильвестр признается: «Я знаю, что это значит быть нелюбимым ребенком».

На рубеже 50-х годов в семье Сталлоне стали происходить перемены к лучшему. В 50-м у Сильвестра появился брат Фрэнк, а год спустя его семья наконец-то переехала из нищенского района Нью-Йорка в более престижный район Вашингтона, где Сталлоне-старший приобрел себе косметический салон. А спустя несколько лет, помимо салона, отец Сильвестра уже владел цепочкой магазинов и даже приобрел себе ферму, где стал разводить пони. Однако жизнь маленького Сильвестра мало изменилась. Для родителей он продолжал быть обузой, а тут еще на улице сверстники стали смеяться над его неправильной речью (у него и прозвище было соответствующее — «криворотый»). Короче, ад был везде: и дома, и на улице. О тех временах младший брат Сталлоне Фрэнк вспоминает так: «Наши родители почти не обращали на нас внимания. К Сильвестру они относились даже с неприязнью. Никогда не ласкали, не разговаривали с ним по душам. Счастливым наше детство никак не назовешь».

Чтобы заставить сверстников считаться с собой, Сильвестр рано начал драться. Сильные кулаки — единственное, что могло помочь мальчишке заставить уважать себя. В мечтах он отождествлял себя с Суперменом из комиксов и даже нижнее белье носил соответствующее: красные шорты и спортивный свитер с нарисованной на нем буквой «С». Но однажды это одеяние стало поводом к насмешкам со стороны одноклассников. Сильвестр по большому секрету рассказал о нем одному из близких приятелей, а тот возьми и проболтайся учителю. Педагог заставил Сильвестра выйти на середину класса и продемонстрировать всем свое суперменское одеяние. Унижение, которое испытал мальчик, на всю жизнь врезалось в его память.

Когда Сильвестру исполнилось девять лет, родители наконец обратили внимание на его неправильную речь. Для укрепления мускулов лица мальчик начал учиться играть на саксофоне, после чего его записали в любительский театр при отряде скаутов, чтобы он оттачивал свою речь на сцене. Когда и это не помогло, Сильвестра отвели к психотерапевту. Но поход закончился ничем: вскоре парень забросал камнями чужой автомобиль, превратив его в груду железа. Так он попал на учет в службе по делам несовершеннолетних штата Мэриленд. Все, кто знал в те годы Сильвестра, были уверены, что впереди его ожидает только одно — тюрьма. Ситуацию усугубил и развод родителей, который произошел в 1957 году.

Единственной отдушиной для Сильвестра в детстве было кино. По его собственным словам: «Кино заменяло мне семью, родителей. По-настоящему оживал я по субботам, когда мне разрешалось посещать кинотеатр. И я сидел там с утра до позднего вечера. С особым удовольствием я смотрел фантастические фильмы, например, о Геркулесе и Синдбаде, похожие на те, которые теперь делает Спилберг. Серьезные сюжеты меня не увлекали. Любил смотреть картины с монстрами, гномами, привидениями… Кино стало для меня родным домом. Если бы не кино, то теперь, наверное, я находился бы в тюрьме. Я не знал, куда себя деть, чем заняться…»

После развода родителей Сильвестр и Фрэнк стали жить попеременно в течение года у каждого из родителей. А когда мать мальчиков повторно вышла замуж и переехала в Филадельфию, большую часть времени они стали проводить с отцом. В отличие от младшего брата, которому учеба давалась легко, Сильвестр всегда учился плохо. Не блистал и примерным поведением. Он учился в трех государственных школах и отовсюду его хотели выгнать за злостное хулиганство. То он поджигал контейнеры с мусором, то избивал учеников, то дерзил учителям. Из католической школы в Мэриленде его выгнали за то, что он спрятал под матрацем распятие. В конце концов, когда Сильвестру исполнилось 15 лет, мать позвала его к себе в Калифорнию, где устроила в школу-интернат для трудных подростков Деверекс-Манор в Беруине (год обучения — 5,5 тысяч долларов). Там Сильвестр внезапно увлекся живописью, причем его первые картины произвели хорошее впечатление даже на отца. До этого тот считал старшего сына совершенно бесталанным ребенком (в отличие от младшего, который хорошо играл на гитаре, прилежно учился), а тут расщедрился на похвалу, чего раньше за ним никогда не наблюдалось.

В интернате Сильвестру пришлось взять себе другое имя — Майк, поскольку настоящее уже было достаточно засвечено хулиганскими выходками. Сталлоне увлекся боксом и стал одним из лучших игроков школьной футбольной команды. Там же он впервые по-стоящему «попробовал» девушку. При этом его не остановило даже то, что девица была любовницей самого крутого интернатского ученика, державшего в страхе всю школу. Они заперлись в одной из интернатских подсобок, Сильвестр поимел от девушки все, что требовалось, однако в тот момент, когда он собирался одеться, в помещение ворвался ее разъяренный любовник. Между юношами завязалась такая драка, что стены интерната буквально задрожали. Разнять дерущихся удалось только полицейским, которых напуганные педагоги вызвали к месту потасовки.

В 1964 году Сталлоне закончил интернат, однако ни одно из высших учебных заведений Америки не захотело взять его к себе в ученики. Поэтому при помощи все той же матери он отправился в Швейцарию, в один из тамошних элитных колледжей (Американский). Правда, приняли его туда на весьма дискриминационных условиях, главным из которых было: малейшая провинность и — гудбай, Швейцария. Об одном забавном эпизоде из швейцарской биографии Сталлоне рассказывает бывший президент киностудии «Юнайтед артистс» Норберт Ауэрбах, сын которого учился в этом же колледже:

«Как-то прилетаю я в Европу, прихожу домой, а сын не знал, что приедет отец. И что я вижу? Сидит сын, рядом — Сильвестр, на коленях какой-то журнал и… дрочат. Каждый сам себе. Увидели, перепугались, у сына член сразу упал, а у Сильвестра стоит. Я ему: «Кончи, потом приходите ко мне в кабинет, поговорим…» Пацаны пришли напуганные, думали, что бить буду. Я их усадил, порножурнал сжег. Поговорил. После этого Сталлоне перестал меня избегать. Как-то пришел, мнется весь, лицо потное. Я ему: