Родился 14 марта 1908 года в деревне Емельяновка Юхновского района Калужской области (Россия) в семье крестьянина. Русский. Окончил начальную школу. Работал пастухом.
В РККА с 1930 года.
Окончил школу младших командиров-танкистов.
Служил до 1932 года, затем вышел в запас и работал инструктором Осоавиахима в Юхнове.
В 1934 году добровольно ушел на сверхсрочную службу в Красную Армию.
В звании младшего командира служил в танковых войсках, был командиром танка, затем командиром танкового взвода в 4-й отдельной механизированной бригаде Белорусского военного округа.
Участвовал в национально-революционной войне в Испании с ноября 1936 года по 6 (16) марта 1937 года в качестве командира танка Т-26 республиканской армии.
Погиб в бою 6 (16) марта 1937 года в районе реки Харама. Похоронен на городском кладбище Мадрида (Испания).
За мужество и героизм, проявленный при выполнении воинского и интернационального долга, 4 июля 1937 года Билибину Кузьме Яковлевичу посмертно было присвоено звание Героя Советского Союза (медаль «Золотая Звезда» № 50).
Награжден орденом Ленина (04.07.1937), орденом Красной Звезды (02.01.1937).
К. Я. Билибин стал первым Героем Советского Союза - уроженцем Калужской области.