Родился 2 (14) марта 1897 (1898) года в деревне Лозовая Буда Бобруйского уезда Минской губернии (Российская империя) ныне Могилёвская область (Беларусь) в крестьянской семье. Беларус (Еврей). Окончил сельскую школу, трудился в родной деревне, батрачил огородником в усадьбе помещика Кутаёва.
В 1916 году был призван в армию императорской России.
Участвовал в первой мировой войне.
Служил рядовым, унтер-офицером.
После Октябрьской революции 1917 года вернулся домой. Вскоре после прихода белополяков вступает со своим братом в партизанский отряд под командованием К. П. Орловского, действовавшего в Бобруйском уезде против корпуса Довбор-Мусницкого и немецких оккупантов.
После изгнания белополяков и германских оккупантов с Могилевщины был избран земляками в волостной революционный комитет. Заведовал земельным отделом, участвовал в распределении помещичьих земель среди крестьян.
В РККА с конца 1918 года.
Участвовал в гражданской войне.
В октябре-ноябре 1919 года воевал на Петроградском фронте.
Окончил школу комсостава РККА в феврале 1920 года.
С февраля 1920 года был начальником полковой команды пеших разведчиков 29-го стрелкового полка.
В январе 1921 года Разведывательным управлением штаба РККА Западного фронта направлен в Западную Белоруссию (Польша), где по 1924 год участвовал в партизанском движении по линии «активной разведки», командовал партизанскими отрядами специального назначения под Барановичами и Пинском.
В 1925 году был переведен на работу в органы государственной безопасности (ОГПУ).
С 1930 год по 1937 год работал председателем организованного им колхоза в Бобруйском уезде.
Участвовал в национально-революционной войне в Испании с 1937 года по 1938 год по линии внешней разведки в качестве инструктора и командира диверсионно-разведывательного отряда 18-й бригады республиканской армии.
Имел псевдоним «Товарищ Виктор».
В одной из разведок был ранен.
После возвращения из Испании в 1938 году работал заведующим Кировского районного отдела здравоохранения Минской области БССР, с ноября 1939 года - заведующим городским отделом здравоохранения города Бреста.
Участвовал в Великой Отечественной войне с июня 1941 года.
Командовал ротой с июня 1941 года, затем батальоном в специально созданной Отдельной мотострелковой бригаде особого назначения (ОМСБОН) НКВД СССР. Бригада, о существовании которой знал очень ограниченный круг лиц, использовалась для обеспечения безопасности И. В. Сталина и членов Политбюро.
В июне 1942 года был назначен командиром партизанского отряда особого назначения «Храбрецы». В начале июля 1942 года вместе со своим отрядом был выброшен на парашюте в 24 километрах от Бобруйска. По 1945 год отряд действовал в районах Могилёвской, Полесской и Пинской областей Белоруссии. Бойцы отряда совершили 218 диверсий, подорвали 1 бронепоезд и 91 эшелон, 24 танка (в том числе 5 «Тигров»), 26 бронемашин, 102 автомашины, 2 катера, вывели из строя 5 шоссейных мостов и много других технических сооружений. После полного освобождения Белоруссии отряд продолжил борьбу с немецко-фашистскими захватчиками на территории Польши.
Присвоено звание майора государственной безопасности.
С марта 1945 года по сентябрь 1952 года работал в органах госбезопасности Белорусской ССР, был комендантом министерства, начальником 1-го отделения оперативного отдела, заместителем начальника отдела охраны.
В 1952 году в звании полковника вышел в отставку.
Проживал в городе Минск (Беларусь).
Умер 11 апреля 1961 года. Похоронен на Аллее Героев военного кладбища Минска.
Указом Президиума Верховного Совета СССР от 5 ноября 1944 года «за образцовое выполнение боевых заданий командования в тылу немецко-фашистских захватчиков и проявленные при этом отвагу и мужество» майору государственной безопасности Александру Марковичу Рабцевичу было присвоено звание Героя Советского Союза (медаль «Золотая Звезда» № 4512).
Награждён орденом Ленина (05.11.1944), орденом Красного Знамени (21.04.1945), орденом Отечественной войны 2-й степени (20.09.1943), орденом Красной Звезды (13.11.1937), орденом «Знак Почёта» (30.12.1948), медалью «За победу над Германией в Великой Отечественной войне 1941–1945 гг.» и другими, а также Георгиевским Крестом императорской России.