Основная теорема Шеннона о кодировании для канала связи без помех.


1) При любой производительности источника сообщения существует способ кодирования, позволяющий передавать поканалу с меньшей пропускной способностью все сообщения, вырабатываемые источником.
2) Не существует способа кодирования, обеспечивающего передачу сообщений без их неограниченного накопления, если производительность источника сообщений больше пропускной способности канала.

Принципы построения оптимальных кодов:
1) выбор каждого кодового слова производится так, чтобы содержащееся в нем количество информации было максимально;
2) буквам первичного алфавита имеюшим большую вероятность присваиваются более короткие кодовые слова во вторичном алфавите.
Построение оптимальных кодов сводится к построению кодовых деревьев.