Речь идёт о рекурсии. Герой Лема, пытаясь пытаясь понять, что же такое "сепульки", попадает, если так можно выразиться, в рекурсивный цикл, ведущий к нулевому результату. Или можно сказать, находится в состоянии косвенной рекурсии.
Треугольник на фотографии - один из массы фрактальных геометрических изображений - называется треугольник (или салфетка) Серпинского. Легче всего построить его при помощи рекурсии, или рекурсивной функции, которая определяет свой значение через обращение к себе самой с другими аргументами.
Выражение "сепульки и сепулькарии" одно время означало ряд бесполезных, не ведущих ни к какому результату действий. Замкнутый круг.