IV подтвердил автономию Витебска. Привилей 1441 года назвал Витебск в числе 15 главных городов Великого княжества Литовского. Привилегии Витебска были увеличены привилеями 1444 года – город получил право свободной торговли в Великом княжестве Литовском, привилеем 1447 года льготы получили не только витебская шляхта, но даже мещане. Король Казимир IV в 1451 и 1469 годах был в Витебске с проверкой состояний городских и замковых укреплений.

В 1506 году Витебск стал центром Витебского воеводства – по всему Великому княжеству Литовскому ликвидировались уделы. Воеводство состояло из двух поветов – Витебского и Оршанского. Первым витебским воеводой стал Юрий Глебович. Гербом Витебска стала «погоня» – на красном фоне всадник с поднятым над головой мечом. В 1503 и 1509 годах город получил очередные привилегии, имел свой суд и администрацию – горожане избирали войта, которого утверждал Великий князь Литовский. Витебск стал одним из «порубежных щитов» Литвы на востоке.

С начала XVI века начались русско-польские войны. С 1502 года по 1536 год окрестности Витебска были опустошены, предместья и посады выжжены 5 раз. Замок не был взят ни разу. В 1534 году Витебск не сумели взять московские войска князя Б. Горбатого. Поход повторился в следующем, 1536 году – с тем же результатом – население спасалось в замке, окрестности выжигались, людей уводили в плен. Во время Ливонской войны Витебск трижды осаждали московские войска Ивана Грозного – в 1562 и 1563 году князь А. М. Курбский штурмовал Витебск. В 1568 году Витебск штурмовали московские полки князей Шереметева, Бутурлина, Сабурова – часть города была сожжена. В 1569 году была создана Речь Посполитая. Витебск в составе Великого княжества Литовского вошел в новое государственное образование.

«Хроника Литовская и Немойтская» середины XVI века писала, что от каменных укреплений Витебска остались поврежденные стена и башня.

В 1597 году после подписания Брестской церковной унии в Витебске были построены монастыри иезуитов, францисканцев, доминиканцев, бернардинцев.

17 марта 1597 года король Сигизмунд III дал Витебску Магдебургское право – право на самоуправление и особые привилегии для купцов, и городской герб – «в блекитном полю образ святого Спаса Збавителя нашего, и притом зараз троху нижей меч голый червонный, то ся мает розумять кровавый». Город получил хоругвь, городскую печать, ратушу, гостиный двор, право на ярмарку. Городом стал управлять магистрат из рады во главе с войтом. Правда, войт избирался горожанами и назначался князем.

В 1614 году во время большого пожара сгорели Верхний и Нижний замок Витебска. Пожар повторился в 1623 году. Восстановление замков затянулось, тем более, что в 1626 году город потерял Магдебургское право.

Магдебургское право в течение 30 лет содействовало экономическому росту Витебска. Однако давление униатов и многочисленные налоги вызвали в Витебске восстание 1623 года.

Историко-экономический очерк «Витебск», изданный в 1974 году в Минске, описывал восстание: «Самое ужасное время национально-религиозного гонения началось для витебчан с возведением в архиепископский сан Иосафата Кунцевича. Он жестоким насилием насаждал унию, закрывал православные церкви, приказывал бросать в тюрьму тех, кто оказывал малейшее сопротивление.

От имени православного населения края витебчане обратились к Польскому сейму с прошением, в котором говорилось: «Отступник, владыка Полоцкий, чтобы досадить тамошним мещанам, приказал вырыть недавно похороненные подле церкви тела умерших и бросить на съедение собакам, как какую падаль. О несчастье! О невыносимая неволя!»

Прошение осталось без ответа.

Чаша народного терпения переполнилась. Набатный звон колокола на городской ратуше в воскресенье 12 ноября 1623 года поднял на ноги всех. Горожане хлынули на Успенскую горку к дому Кунцевича и с криком «Бей папежника, душехвата!» ворвались в него. Кунцевича вытащили во двор, восклицая «Убивай нашей веры изменника и русских церквей неприятеля!», добили из ружья, а затем отвезли на лодке в район Песковатика и с камнями на шее утопили в реке».

Были разграблены униатские хранилища, уничтожены документы, избиты другие униатские священники.

Началась расправа. Римский папа писал польскому королю Сигизмунду III: «Да будет проклят тот, кто удержит меч свой от крови. Итак, ты не должен удерживать от меча и огня».

На Витебск пошли правительственные войска. Многие участники восстания во главе со Степаном Пасиорой бежали, остальных суд во главе с канцлером Великого княжества Литовского Львом Сапегой в три дня приговорили к смертной казни. Из 100 приговоренных половину отбили витебчане.

В 1632 году один из московских разведчиков докладывал начальству о состоянии укреплений Витебска:

«От Сезрожи 40 верст город Витебск богат город делать земляной да не доделан, се стоит на горе, на не строен, взять его можно 500 человек, дворов мещанских с 2000, стоят не стройно, врозни, а живут люди не боевые, войны не знают».

По инвентарям 1638, 1639 и 1641 годов видно, что Верхний замок был сильно разрушен, в нем осталось 9 пушек. В замковом дворе стояло около 50 домов витебской элиты.

Нижний замок, почти уничтоженный, восстанавливался из дерева на каменных остатках стен.

В 1644 году Витебску было возвращено Магдебургское право.

Магдебургское право позволило оживить жизнь в городе. В середине XVII века в Витебске было около 10 000 жителей, работали мануфактуры – металлообрабатывающие, гончарные, кожевенные, медоварные, воскобойные мастерские, гостиный двор, красовался дворец магнатов Огинских. Витебск – снова крупный торговый и ремесленный центр. Ненадолго – началась очередная русско-польская война 1564–1667 годов.

В августе 1654 года Витебск окружило 20-тысячное войско московского воеводы В. Шереметева и казаки В. Золотаренко. В городе «сели в осаду» 10 000 человек, делавших частые вылазки. 27 августа В. Шереметев получил царский приказ: «Под Витебском промышлять подкопом и зажогом и сговором и разными военными промыслами, а приступать не велено, для того, чтоб в служилых людях потери не учинить».

Осада продолжалась 3 месяца. Между московскими и витебскими шли переговоры. К городу привезли пушку «Скворец» с приказом жечь Витебск. В сентябре московские полки штурмовали Витебск, но неудачно.

В октябре в замке кончился порох, начался голод. 22 ноября 1654 года Витебск был взят штурмом и до 1667 года был занят московскими войсками. В период с 1654 по 1667 год замки Витебска были восстановлены в каменном виде, в город привезли много пушек и боеприпасов.

В Оружейной, Золотой, Серебряной палатах Московского Кремля по приглашению царя Алексея Михайловича работали много мастеров-белорусов, среди которых было 44 витебчанина – оружейники, серебряники, резчики по дереву и кости.

В 1664 году по приказу Алексея Михайловича был составлен «Чертеж города Витебска», сохранившийся до наших дней средневековый облик города.

В мае 1667 года по Андрусовскому перемирию Витебск был возвращен Речи Посполитой. Король Ян Казимир освободил город от налогов на 4 года и «амнистировал» горожан за 13 лет жизни в «московском» Витебске.