В 1822 г. окончил Пажеский корпус и был назначен пажом, после служил в гвардейской артиллерии.
Участвовал в русско-турецкой войне 1828-1829 гг. и в польской кампании 1831 г. С 1835 г. Я.И. Ростовцев – начальник штаба военно-учебных заведений, а с 18 октября 1849 по 6 февраля 1860 г. – Главноначальствующий военно-учебными заведениями. Под его руководством были составлены Свод законов о военно-учебных заведениях (1837 г.), Положение об управлении военно-учебными заведениями (1843 г.) и Наставление для образования воспитанников военно-учебных заведений (1848 г.)
В этот период в училище и в академии произошли значительные изменения в организации учебного процесса. В частности, были введены семестровые экзамены, разработано положение о порядке оценивания результатов экзаменов, установлены правила для перевода обучаемых в старшие классы. Ведущие преподаватели специальных предметов возводятся в звание профессоров.
На этом этапе ужесточились правила приема в училище. В 1853 г. впервые со дня основания вуза установили принимать в училище детей только потомственных дворян. В августе 1856 г. Я.И. Ростовцев получил высочайший благодарный отзыв о результатах обучения в Михайловском Артиллерийском Училище.
С 1857 г. Я.И. Ростовцев – член Секретного, а с 1858 г. – член Главного комитета по крестьянскому делу.
Я.И. Ростовцев умер 6 февраля 1860 г., похоронен в Петербурге.