Q. Что такое эффективное кодирование?
A. Подобно тому, как в математике важную роль играют теоремы существования и единственности, в инженерной практике важны критерии физической реализуемости и эффективности. Технические решения редко бывают единственно возможными, и важно показать, что выбранное решение не хуже любого другого реализуемого при заданных ограничениях, то есть оптимально (с точностью до изоморфизма).
Очень часто, критерием оптимальности служат относительные характеристики (КПД, коэффициент использования материала, соотношение цена/качество итд.). Клод Шеннон, занимаясь вопросами транспорта информации, ввел понятие коэффициента использования тары (информационной энтропии).
Идеальное значение КПД - единица (бит/бит) - разумеется, недостижимо, но с увеличением длины сообщения можно асимптотически у нему приближаться. Эффективное кодирование - это именно способ наилучшего заполнения тары.
Например, если в емкости 0.7 л у вас налито только 0.5 л жидкости (неважно, чего: воды, коньяка, уксуса, крысиного яда), то тара использована неэффективно и то же самое содержимое может быть помещено в упаковку меньшего объема (сжато).