Одним із перших, хто почав вивчати проблематику інформації щодо її кількісного аспекту, був Ральф Хартлі [7]. Математична формула кількості інформації, яку він запровадив у 1928 р. та узагальнив К. Шеннон, тотожна формулі Людвіга Больцмана для фізичної ентропії систем.
