Родился 6 декабря 1899 года в городе Шклов Могилевской губернии, Российская империя (ныне Беларусь) в семье конторщика бумажной фабрики. Еврей. Окончил 7 классов Могилевского коммерческого училища, занимался репетиторством.
С марта 1917 года — инструктор отдела статистики Могилевской городской управы, затем — Пенсионного отдела Могилевского совета.
С весны 1918 года — рабочий, а затем кладовщик на бетонном заводе.
С ноября 1918 года — сотрудник Могилевского губпродкома.
В период «военного коммунизма» активно участвовал в продразверстках и подавлении кулацкого саботажа, затем работал в тресте «Губпродукт».
Окончил курсы при Всероссийском совете рабочих кооперации в Москве (учился с апреля 1919 года по сентябрь 1919 года).
С сентября 1919 года в составе коммунистического отряда принимал участия в защите Гомеля, затем работал там инструктором по кооперации и профсоюзной работе.
Весной 1920 года решением Гомельского губкома РКП(б) был направлен на работу в органы ВЧК.
С мая 1920 года – уполномоченный Гомельского укрепрайона, затем уполномоченный по военным делам, член коллегии, заместитель председателя Гомельской Губчека.
Активно участвовал в борьбе с бандитизмом на Гомельщине: руководил агентурной разработкой и захватом известного авантюриста Э. О. Оперпута, ликвидацией савинковской организации (агентурное дело «Крот») и бандформирований Булах-Булаховича.
В октябре 1921 года в бою у местечка Давыдовка был тяжело ранен в левую голень, в течение 4 месяцев находился на излечении и всю оставшуюся жизнь немного прихрамывал.
После выздоровления, в марте 1922 года, был переведен в Уфу на должность члена Коллегии Башкирского губотдела ГПУ.
В мае 1923 года был отозван в Москву и назначен уполномоченным, а затем заместителем начальника отделения Восточного отдела ОГПУ.
Одновременно приступил к учебе на Восточном факультете Военной Академии РККА.
В октябре 1925 года, после завершения учебы, был зачислен в ИНО ОГПУ и в том же году направлен резидентом внеш¬ней разведки в Шанхае.
С 1926 года под прикрытием консула СССР возглавлял резидентуры в Пекине, а с 1927 года — и в Харбине. Во время работы в Китае ему удалось добиться освобождения группы советских военных советников, захваченных китайскими националистами в Маньчжурии, сорвать попытку захвата советского консульства в Шанхае агентами Чан Кай-ши. В 1928 году совместно с резидентом РУ РККА в Шанхае организовал устранение фактического диктатора пекинского правительства маршала Чжан Цзо-линя.
Весной 1929 года, после разгрома китайской полицией советского консульства в Харбине, был отозван в Москву и под именем Леонида Александровича Наумова направлен в Турцию на должность легального резидента в Стамбуле в качестве атташе консульства СССР, где сосредоточил усилия на добывании информации в иностранных посольствах в Константинополе.
По возвращении в Москву был назначен заместителем начальника Особой группы при председателе ОГПУ («группа Яши»), несколько раз выезжал за рубеж, в том числе в Калифорнию, где руководил созданием там глубоко законспирированной нелегальной агентурной сети.
В 1931 году перешел на должность начальника 8-го отделения ИНО ОГПУ и в скором времени был командирован во Францию, а затем в Бельгию.
С марта 1933 года — начальник 1-го отделения (нелегальная разведка) ИНО ОГПУ.
Во второй половине 1933 года вновь был направлен за рубеж для работы в нелегальных резидентурах в США.
Участвовал в национально-революционной войне в Испании с 1936 года в качестве заместителя резидента НКВД и главного советника по безопасности республиканского правительства. Занимался подготовкой испанских сил госбезопасности, руководил партизанскими операциями республиканцев в тылу противника, участвовал в ликвидации руководителей испанской Рабочей партии марксистского единства (ПОУМ).
Имел псевдоним «Леонид Александрович Котов».
20 декабря 1936 года присвоено звание капитана государственной безопасности.
С августа 1937 года был советником командира 14-го (партизанского) спецкорпуса, в июле 1938 года возглавил резидентуру.
После поражения республиканцев в 1939 году руководил эвакуацией советских специалистов и добровольцев из Испании в СССР, затем перебрался во Францию, где в течение нескольких месяцев реорганизовывал и восстанавливал остатки испанской агентурной сети НКВД.
Имел псевдоним «Пьер».
Среди привлеченных им к сотрудничеству с советской разведкой лиц был и племянник главы испанской фаланги Примо де Риверы, который до 1942 года был важным источником информации о планах Франко и Гитлера.
С марта 1939 года в Мексике осуществлял общее руководство операцией, получившей кодовое наименование «Утка», по устранению лидера международного троцкистского движения Л. Д. Троцкого (Старика), который после покушения на него скончался 21 августа 1940 года.
После успешного завершения операции весной 1941 года вернулся в Москву.
28 апреля 1941 года присвоено звание майора государственной безопасности.
Участвовал в Великой Отечественной войне с июня 1941 года.
5 июля 1941 года был назначен заместителем начальника Особой группы (ОГ) при наркоме ВД СССР, возглавляемой П. А. Судоплатовым. Основной задачей группы была организация диверсий в тылу противника.
13 августа 1941 года присвоено звание старшего майора государственной безопасности.
Осенью 1941 года вместе с двумя разведчиками и группой боевиков выехал в Турцию, где по заданию Сталина должен был организовать ликвидацию германского посла в Анкаре Франца фон Папена. В августе 1942 года вернулся в Москву, так как покушение сорвалось.
С 20 августа 1942 года – заместитель начальника 4-го управления НКВД-НКГБ СССР, являлся одним из организаторов партизанского движения и разведывательно-диверсионной работы на оккупированной территории СССР, а позже — в Польше, Чехословакии, Болгарии и Румынии, сыграл ведущую роль в проведении ставших легендарными оперативных радиоигр против немецкой разведки «Монастырь» и «Березино».
14 февраля 1943 года присвоено звание комиссара Госбезопасности.
9 июля 1945 года присвоено звание генерал-майора.
После окончания войны принимал активное участие в разработке и осуществлении агентурных комбинаций по ликвидации польских и литовских националистических бандформирований.
С 27 сентября 1945 года – заместитель начальника отдела «С» НКВД СССР (по совместительству), занимавшегося координацией разведывательной работы по созданию атомного оружия.
С 10 января 1946 года – заместитель начальника Отдела «С» НКГБ – МГБ СССР.
В конце 1946 года специальным решением И. В. Сталина на него было возложено проведение операции по оказанию помощи органам безопасности КП Китая в подавлении сепаратистского движения мусульман-уйгуров в провинции Синьцзян (Восточный Туркестан), в итоге к 1949 года уйгурские сепаратисты потерпели полное поражение.
С 15 февраля 1947 года – заместитель начальника отдела «ДР» (диверсии), а с 9 сентября 1950 года — бюро № 1 МГБ СССР по диверсионной работе за границей.
В октябре 1951 года, как и многие другие работники МГБ, был арестован по так называемому «делу о сионистском заговоре в МГБ».
В марте 1953 года, по распоряжению Л. П. Берии был освобожден из тюрьмы и восстановлен в органах госбезопасности.
31 мая 1953 года был назначен заместителем начальника 9-го (разведывательно-диверсионного) отдела МВД СССР.
21 июля 1953 года был арестован по «делу Берии».
В 1957 году был осужден к 12 годам лишения свободы и с марта 1957 года отбывал срок во Владимирской тюрьме.
В 1964 году вышел на свободу.
С 1965 года работал старшим редактором издательства «Международные отношения».
Умер в 1981 году от язвы желудка в московской Центральной клинической больнице. Похоронен на Новом Донском кладбище в городе Москва (Россия).
В апреле 1992 года посмертно был реабилитирован.
Награждён двумя орденами Ленина (17.06.1941, 12.05.1945), двумя орденами Красного Знамени (13.11.1937, 03.11.1944), орденом Суворова 2-й степени (05.11.1944), орденом Александра Невского (1944), медалью «За победу над Германией в Великой Отечественной войне 1941–1945 гг.» и другими.