Первоначальную церковь во имя Михаила Архангела построил Ростовский князь Константин Всеволодович в 1216 году, и простояла она 79 лет. Это, как предполагают краеведы, была дворцовая церковь Ярославских князей. Инок Пахомий в житии князей Василия и Константина, составленном около 1530 года, записал, что Константин Всеволож «в меньшем своем граде Ярославле» одновременно с Успенским собором «заложи церковь иную в большем граде, у врат, брусяную, собор Архистратига Михаила».
Около 1295 года княгиня Анна (жена князя Федора Ростиславовича) создала на этом месте новый деревянный храм: «созда новую Архистратига Михаила церковь, и в ней честную Богоматери икону постави, и украси ее златом и сребром, и камением драгим... наименовав оную церковь соборною». Он стоял на пригорке, близ р. Которосли, на западной границе посада.
В XVII веке Архангельский собор оказался расположенным в Стрелецкой слободе и с тех пор, (и по сей день) служит гарнизонным храмом. Тесной его связи с военными благоприятствовало не только географическое соседство, но и его посвящение Архистратигу Михаилу, покровителю военного дела.
Постройка нового храма была начата иждивением стрельцов в 1657 году и затянулась ровно на четверть века. Это наложило отпечаток на ее внешний облик, соединивший в себе черты двух периодов развития ярославского зодчества XVII века.
Основа храма, его общая композиция относится к ярославской архитектуре первой половины XVII века. Четырехстолпный пятиглавый храм на подклете был первоначально окружен с трех сторон галереями или папертями. Сохранилась лишь западная, с домообразным крыльцом на ползучих арках, в северной устроен придел Зосимы и Савватия, Соловецких чудотворцев, в виде башни, с тяжелой квадратной колокольней, а с южной - теплая церковь Благовещения Пресвятой Богородицы. Все это сближает храм с ранними ярославскими церквями (церковь Николы Надеина и др.). Очень высокий подклет церкви служил складом для товаров, что объясняется месторасположением ее на берегу Которосли близ Торговой площади.
Но пока длилось строительство, вкусы в храмовой архитектуре Ярославля переменились: от зодчих стали требовать более выразительного силуэта, более заметного издалека. Кроме того, исчезло красивое, но непрактичное позакомарное покрытие, поэтому верхняя часть храма уже относится к направлению второй половины XVII века. Это пять плотно стоящих высоких глав на мощных световых барабанах, поставленных на четырехскатную кровлю, под которой проведен ряд ложных закомар. Фасады храма получили большие окна с красивыми наличниками, а высокие крыльца украшены изразцами.
Храм со временем был перестроен, но не сильно: разобрали северное крыльцо, ведшее на галерею, в самой северной части галереи устроили придел Зосимы и Савватия.
Расписан храм был не сразу, а только в 1731 году артелью ярославских мастеров, руководимой известным местным изографом Федором Федоровым. Эти росписи сохранились до наших дней.
В советское время храм был закрыт в 1924 году и передан под склад. Внутри церкви были устроены перегородки; огромный урон нанесен стенописи. Отчасти утрачено изразцовое убранство паперти. Кирпичная ограда сохранилась, но без арочных ворот.
Затем храм находился в ведении Ярославского музея-заповедника, реставрировался. С 1994 года снова передан Церкви. Первые богослужения начались примерно к 2000 году.