Слово «гвардия» происходит от старогерманского или скандинавского слова «Warda» или «Garda», что означает «стеречь» или «защищать». С 1721 года гвардия стала называться Лейб-Гвардией, и до 1917 года подчёркивало близость к царскому трону — гвардейцы охраняли императора. Символом российской гвардии с начала XIX века стала Андреевская звезда с изображением символа «За веру и верность». 

Становление же советской гвардии пришлось на период ожесточенных оборонительных сражений лета и осени 1941 года под Смоленском. Знак «Гвардия» был учреждён Президиумом Верховного Совета СССР 21 мая 1942 года. Право его ношения имели военнослужащие, чьи подразделения были удостоены звания «Гвардейские». С 11 июня 1943 года знак помещался на знамёнах подразделений. 

История нагрудного знака началась 12 апреля 1942 года, когда было выдано первое задание сделать его наброски, а уже 18 апреля Верховный главнокомандующий Советского Союза Иосиф Сталин лично рассматривал и утвердил один из макетов. Эскизы были выполнены художником Сергеем Дмитриевым, автором медалей «XX лет Рабоче-крестьянской Красной Армии», «За отвагу» и «За боевые заслуги».

Для изготовления знака в массовых количествах был необходим металл, схожий цветом с золотом, недорогой в себестоимости, износостойкий и с высокой устойчивостью к коррозии. Исходя из этих требований выбор пал на томпак. Заказ на изготовление первых знаков разместили на различных производствах: фабрике «Московского товарищества художников», Щербинском штамповочно-механическом заводе Наркомата путей сообщений и московском заводе «Победа». 

Знак вручался военнослужащим СССР до 1992 года, точное количество выпущенных экземпляров неизвестно. Почти за 50-летнюю историю награждений наибольшую ценность знак «Гвардия» представлял во время войны. За период с 1942 по 1945 гг. званиями гвардейских были удостоены сотни подразделений армии и флота. Их общее число к 9 мая 1945 года составило 586. После войны с Японией добавилось дополнительно 25 воинских частей и боевых судов.

Нагрудный знак обнаружен брянским поисковым казачьим отрядом «Русь» в ходе проведения Вахты Памяти в Новгородской области, в местах ожесточенных боев 1942 года.