В 1826 году русский учёный представил Парижской академии наук свою первую научную работу — «Мемуар о распространении волн в цилиндрическом бассейне», высоко оценённую Коши и напечатанную в трудах академии. О научном значении этой работы можно судить хотя бы по тому, что ещё в 1816 году академия объявила специальный конкурс на её решение.
В 1824–1827 годах Остроградский представил ещё несколько мемуаров. Эти работы укрепили научную репутацию молодого учёного и завоевали ему дружбу и уважение многих французских математиков.
Но Михаила Васильевича неумолимо тянет на родину, где о его успехах хорошо знали. Недаром молодых людей, отправлявшихся учиться за границу, родные и близкие напутствовали словами: «Становись Остроградским».
В 1828 году он выехал в Россию. Тяжёлой была эта поездка. В дороге его обокрали, и ему пришлось от Франкфурта-на-Майне до Петербурга добираться пешком. «Русский пешеход», пробирающийся к тому же из-за границы, выглядел весьма подозрительным, и мнительные власти, которым везде чудились восстания декабристов, установили за ним тайный полицейский надзор. Вероятно, об этом Остроградский не знал до конца своих дней.
Сразу же после приезда Остроградского в Петербург началась его плодотворная работа в Академии наук и кипучая педагогическая деятельность. Академия наук высоко оценила научную деятельность Остроградского: в августе 1830 года его избрали экстраординарным, а через год — ординарным академиком по прикладной математике. С этого времени его жизнь была полна творческих удач, и деятельность его отмечалась присвоением ряда почётных учёных званий. Так, в 1834 году он был избран членом Американской академии наук, в 1841 году — членом Туринской академии, в 1853 году — членом Римской академии Линчей и в 1856 году — членом-корреспондентом Парижской академии.
Научные интересы Остроградского определились рано, ещё до отъезда в Париж. В объяснении совету Харьковского университета Остроградский ещё в 1820 году писал, что желает «усовершенствовать себя по части наук, относящихся к прикладной математике». И действительно, многие свои труды он посвятил математической физике и механике, став одним из тех, кто заложил фундамент этих наук.
По математической физике Остроградский написал пятнадцать работ. Большая часть их относится к задачам распространения тепла, теории упругости, гидродинамики. Наибольшее научное значение имеют его работы по теории теплоты. Эти исследования, помимо того, что содержат важнейшие результаты, относящиеся непосредственное к теории распространения тепла, имеют огромное общематематическое значение. В них, с одной стороны, заложены начала для ряда важных теорий, развивающихся в наше время, а с другой стороны, в них содержатся теоремы, являющиеся одними из центральных в математическом анализе.
Первым из русских учёных Остроградский стал заниматься аналитической механикой. Ему принадлежат первоклассные исследования по методам интегрирования уравнений аналитической механики и разработке обобщённых принципов статики и динамики.
Наиболее выдающиеся исследования Остроградского относятся к обобщениям основных принципов и методов механики. Он внёс существенный вклад в развитие вариационных принципов. Вариационные принципы механики входят в круг вопросов, интересовавших учёного в течение всей его жизни. Постоянное возвращение к вариационному исчислению и вариационным принципам механики роднит его с Лагранжем, одним из создателей вариационного исчисления и творцом аналитической механики.
Остроградский изучал проблемы аналитической механики в самом общем виде. Такая постановка вопроса вела в свою очередь к изучению вариационного исчисления, в которое, как частный случай, входит динамика. Мемуар Остроградского «О дифференциальных уравнениях, относящихся к задаче изопериметров», напечатанный в «Трудах» Петербургской академии наук в 1850 году, принадлежит в равной мере механике и вариационному исчислению. В силу такого подхода исследования Остроградского по механике значительно обогатили и развили понимание вариационных принципов, прежде всего, с математической точки зрения. Поэтому интегрально-вариационный принцип, сформулированный Гамильтоном, справедливо называется принципом Гамильтона—Остроградского.
Его труды по механике, включая «Лекции по аналитической механике» и «Курс небесной механики», явились фундаментом, на котором строилась и развивалась русская школа в области механики. Работы Остроградского по математическому анализу в большинстве случаев вызваны его исследованиями по математической физике и механике: они дают решение математических вопросов, поставленных теоретическим естествознанием того времени. Так, в связи с исследованиями вопросов распространения тепла в твёрдом теле он получил знаменитую формулу, вошедшую теперь во все учебники математического анализа под именем формулы Остроградского—Грина. В настоящее время эта формула играет огромную роль в математической физике, векторном анализе и других разделах математики и её приложений.
Не будет преувеличением сказать, что Остроградский внёс выдающийся вклад и в область математического анализа. Его результаты вошли в современную математику в качестве существенной и неотъемлемой её части и представляют собой то необходимое оружие, без которого математика уже не может обойтись.
В круг интересов Остроградского входили также и алгебра, и теория чисел, и теория вероятностей. По словам Н. Е. Жуковского, «в творениях М. В. Остроградского нас привлекает общность анализа, основная мысль, столь же широкая, как широк простор его родных полей».
Остроградский оказал неоценимую услугу русской науке, воспитав целую плеяду талантливых учеников, впоследствии ставшие выдающимися представителями русской науки. В их числе И. А. Вышнеградский — основоположник теории автоматического регулирования; Н. П. Петров — создатель гидродинамической теории смазки и автор классических исследований по теории механизмов, А. Н. Тихомандрицкий, Е. И. Бейер, Д. М. Деларю, Е. Ф. Сабинин — профессора математики и многие другие математики и выдающиеся инженеры.
В разные годы Остроградский преподавал в Офицерских классах при Морском кадетском корпусе, был профессором Института корпуса инженеров путей сообщения, лучшего в то время технического учебного заведения страны. Он читал курс лекций на физико-математическом отделении Главного педагогического института, в стенах которого учились Д. И. Менделеев, Н. А. Добролюбов, И. А. Вышнеградский. С 1841 года преподавал в Офицерских классах Главного артиллерийского и Главного инженерного училищ. Остроградский до конца своей жизни оставался профессором всех этих учебных заведений.
На основе составленных при участии и под руководством Остроградского учебных планов, программ и конспектов были составлены учебные руководства по математическим наукам для военно-учебных заведений. В 1852 году вышли в литографированном издании лекции по аналитической механике, которые читал Остроградский в Главном педагогическом институте. Эти лекции имели большое значение для распространения физико-математических наук в России. Изложение Остроградского во многом оригинально. Он искал в механике наиболее простых и общих принципов, позволяющих доказывать её теоремы наиболее изящно, кратко и просто.
Студенты с восторгом встретили новый курс Остроградского. Один из слушателей Института инженеров путей сообщения В. А. Панаев, впоследствии крупный инженер, вспоминал: «Сочинение, которым Остроградский обессмертил себя, разрешив основной вопрос самой высшей мировой науки о движении, не разрешённый до того ни одним из прежних великих геометров, чем и короновал эту науку окончательно, и такой-то классический труд в цельном виде, отдельным сочинением, которого ждал учёный мир с нетерпением, в печати не появилось. Отчего же не появилось это сочинение? Всё по той же причине: у Остроградского не было материальных средств».
Также Остроградский написал несколько учебных пособий и трёхтомное «Руководство начальной геометрии».
Он был решительным сторонником введения в старших классах средних школ идеи функции и начал анализа. По его инициативе в 1850 году в кадетских корпусах были введены элементы высшей математики. Он шёл ещё дальше и утверждал, что основные понятия высшей математики должны стать достоянием широких кругов грамотных людей. Остроградский настойчиво добивался, чтобы преподавание математики и механики было увязано с физикой и естествознанием. Таким образом, есть все основания заключить, что в ряде пунктов Остроградский предвосхитил идеи известного международного движения за реформу преподавания, возникшего в XX веке.
Педагогические интересы Остроградского не ограничивались лишь вопросами методики преподавания