Információ kontra entrópia

2018.01.12 15:28

Az alábbiakban az információ és a fizikai entrópia összefüggéséről lesz szó. Az információ nem alakítható át energiává, mint néhányan gondolják. Viszont nem csak metaforikus értelemben mutat hasonlóságot az entrópiával. Levezetjük az információ-entrópia egyenértékűségét, és megfogalmazzuk az információ inflálódásának tételét

Az információt (információmennyiséget) abban a jelentésben használjuk, ahogyan azt az információelméletben Claude E. Shannon és Warren Weaver bevezette. Pontosabban csak az egyedi üzenetek információtartalmára lesz szükségünk.

Tekintsük a következő helyzetet. Az adó egy tetszőleges esemény kimeneteléről (eredményéről) vagy egy rendszer konkrét állapotáról, komplett üzenetet küld a vevő felé. A vevő az üzenetet fogadja, azaz megállapítja, hogy a lehetségesek közül melyik érkezett. Minden lehetséges üzenetnek meghatározott valószínűsége van. A kulcsfogalmakat meglehetősen széleskörűen értelmezzük: az adó lehet bármilyen anyagi dolog, amely jeleket, jelsorozatokat, azaz üzeneteket küld, függetlenül attól, hogy a jeleket tudatos akarat, gép vagy természeti folyamatok eredményezik, a vevő is lehet bármi, ami jeleket, jelsorozatokat fogad (tárol, kezel). Az információ definiálásakor megköveteljük még a következőt: Az üzenet információtartalma annál nagyobb legyen, minél nagyobb a váratlansága, azaz minél kisebb az üzenet valószínűsége.

Ha n számú független üzenetből álló készletet tekintünk, - n az összes lehetséges üzenet száma, - amelyek kiválasztási (bekövetkezési) valószínűségei ismertek, rendre: p1, p2, …pj, … pn, és p ezek közül az egyik, akkor egy egyedi üzenet információja:

H = - log₂ p.                (1)

Megjegyzés: A H információ nem lesz mínusz, mert p  0 és 1 közötti szám. Abban a speciális esetben, ha minden üzenet azonos valószínűségű és a valószínűségek összege egy, akkor p = 1/n. Például n=2 esetén p=1/2 és H=1 bit.

{Az információ várható értékére vonatkozó kifejezésünk pedig:

H = - Szum(pj*log2 pj), ahol összegezni kell j=1-től n-ig.                    (2)

Megjegyzés: Itt H az egyedi üzenetek információinak várható értéke. Mindegy, hogy mi az üzenetek jelentése.}

Az alábbiakban felidézzük az entrópia statisztikus értelmezését, és a termodinamikai valószínűség fogalmát.

Tekintsünk egy N molekulából álló gázt! A molekulák lehetnek bonyolult szerkezetűek, egy  molekula állapotának leírásához f szabadságfokra van szükség, ami általában 3-nál sokkal nagyobb egész szám. Egy molekula állapotának teljes jellemzésére a helyet és helyzetet megadó q1, q2, …qf koordináták, és a mozgásállapotot meghatározó p1, p2, …pf  impulzusok szolgálnak. Egy molekulát tehát 2f darab koordináta határoz meg, egy 2f dimenziós úgynevezett fázistérben. A molekula állapotát a fázistér egy pontja jellemzi. A fázisteret osszuk fel mikroszkopikus méretű dq1…dqf*dp1…dpf térfogatelemekre és valamilyen eljárás szerint számozzuk meg az egyes cellákat 1-től n-ig. (A d kicsi de véges változást jelent, N és n is meglehetősen nagy számok.) A számozás jelöli a fázistér egyes helyeit. A gáz állapotát jó közelítéssel ismerjük, ha minden pillanatban, minden egyes egyedi molekuláról tudjuk, hogy a fázistér melyik cellájában van. A gáznak egy ilyen, minden molekula, minden koordinátájának megadásával jellemzett állapotát, mikroállapotnak nevezzük. Alapfeltevésünk, hogy a gáznak minden mikroállapota egyformán valószínű. A mikroállapotokat azonban nem tudjuk mérni. A mérések számára csak az ún. makroállapot hozzáférhető.

A makroállapotot az egyes cellákban helyet foglaló molekulák Ni száma határozza meg, amit N1, N2, …Ni,…Nn számsorral jelölünk. Ilyen makroállapotokból n^N db van. Fontos, hogy az egy-egy cellában lévő molekulák nem különböztethetők meg egymástól, egyformák. Így egybizonyos makroállapotot megvalósító mikroállapotok száma:

W = N! / (N1!*…Nn!)           (3)

Ezt az értéket nevezzük termodinamikai valószínűségnek.

Kézenfekvő, hogy egy tetszőleges helyzetben (makroállapotban) lévő gázt magára hagyva a gáz átmegy olyan állapotba, amelyben a termodinamikai valószínűsége egyre nagyobb, végül maximális, az adott feltételek mellett. A termodinamikában ugyanezt mondhatjuk el az entrópiáról. A második főtétel szerint minden spontán folyamatban a teljes entrópia nő. Az entrópia valamilyen függvénye a termodinamikai valószínűségnek. Mivel független rendszerek egyesítésekor az entrópiák összeadódnak (extenzív mennyiségek), a termodinamikai valószínűségek pedig szorzódnak, a keresett függvény a logaritmus lesz, tehát:

S = k_B ln W,  ahol k_B = 1,38064 *10^-23 J/K  a Boltzmann állandó.          (4)

Az entrópia nem más, mint a termodinamikai valószínűség logaritmusa.

Ezt követően megállapítjuk, hogy egy részecskesokaságra vonatkozó mérhető termodinamikai makroállapotokat esetünkben az üzenetek reprezentálják. Majd a vonatkozó egyenletekből levezetjük az információ-entrópia ekvivalenciát. Az a felismerés, hogy az információ és az entrópia hasonló kifejezéssel írható le és összefüggő fogalmak, még Neumann Jánostól és Claude E. Shannontól származik.

Látható, hogy a (4) entrópia kifejezése formai szempontból (1)-re hasonlít, de van néhány különbözőség. Ezek a következők: az előjel, a k állandó, az ln és log2 természetes és 2-es alapú logaritmusok, és végül a W termodinamikai valószínűség, (általában igen nagy szám) és a p valószínűség, amely mindig 0 és 1 közötti szám. A kétféle logaritmus közötti összefüggés: ln x = ln 2* log₂ x.

Az információ és az entrópia fogalmak összehasonlításánál, vegyük észre, hogy egy üzenet megfelel egy makroállapotnak. Ezt úgy is interpretálhatjuk, hogy egy makroállapot (adó) adatairól egy üzenet érkezik a mérő rendszerbe (vevő) p valószínűséggel.

Az üzenet p valószínűsége megfelel a makroállapotra vonatkozó W termodinamikai valószínűségből képzett W/n^N valószínűségnek. Helyettesítsük ezt be az (1) kifejezésbe, p helyére! {Az (1) kifejezésbe a W/n^N valószínűséget írjuk a W termodinamikai valószínűség helyett.}

Ezek után (4)-ből log2 W-t is fejezzük ki és írjuk be (1)-be! Ekkor az információra a következő kifejezést kapjuk:

H = - S / (k_B*ln 2) + N*log₂ n = - S / (k_B*ln 2) + H_max   (5)

Az entrópia arányos az információval, de negatív előjellel. Egy (zárt) rendszerben növekvő entrópia, szükségképpen csökkenő információt jelent.
S együtthatóját nevezzük el k_A -nak, (kappának),
Kappa értéke:  k_A=1,044 * 10²³ bit*K/J.

Nézzünk két szélsőséges esetet!

Ha S = 0 akkor H = N*log₂ n, azaz maximális az információ H_max = N*log₂ n, az adott feltételek mellett, a részecskék számával és a fáziscellák logaritmusával arányos.

Ha H = 0 akkor S = (k_B*ln 2)*N*log₂ n, azaz maximális az entrópia S_max,  a (k_B*ln 2) szorzótényezőtől eltekintve megegyezik a maximális információval.

(5)-ben az utolsó tag egy konstans, amely csak a konkrét fizikai rendszertől, nevezetesen a fáziscellák és a molekulák számától függ. Írjuk fel az entrópia változás és az információ változás közötti összefüggést!

dH = - k_A* dS             (6)

d-vel a mennyiségek változását, deltát jelöljük. Itt a negatív előjel valójában az információnak a definíciójából következik, lásd (1), ott pedig azért kell negatív előjel a logaritmus előtt, mert megköveteltük, hogy a nagyobb valószínűségű üzenet, kisebb információt jelentsen. Az igazán érdekes nem ez, hanem a Kappa szorzótényező értéke, ebből adódik például, hogy 1 Joule energiának, 310 K testhőmérsékleten 3,36 * 10²¹ bit információ felel meg. Ez összehasonlíthatatlanul több mint, amit az ember DNS-e tartalmaz. A DNS adatmennyisége kb. 6,6 * 10⁹ bit, de még ez is jóval több, mint a valódi információmennyisége, mert a „DNS szövege” meglehetősen redundáns.

Mivel a k_A (kappa) rendkívül nagy szám, 10²³ nagyságrendű, a (6) összefüggés azt is jelenti, hogy viszonylag kevés energiával és kevés anyagban nagyon sok információ (adat) tárolható, továbbítható, feldolgozható… Kínálkozik egy érdekes analógia az energia-tömeg egyenértékűséggel. Az E=mc2 képletben c²=9*10¹⁶ (m/s)², ez azt jelenti, hogy 1 g anyag energiája kb. 10¹⁴ J, azaz száz billió Joule. k_A ennél is sok nagyságrenddel nagyobb szorzó!

Egy zárt fizikai rendszer entrópiájának spontán növekedése azt jelenti, hogy a rendszer egyre nagyobb valószínűségű állapotokba kerül, amíg el nem ér egy maximális értéket, amely a rendszerre jellemző. Ha a rendszer entrópiája növekszik, akkor ugyanilyen mértékben csökken az állapotát leíró üzenet információja. Erre számos példát találhatunk. Egy több száz éves könyv entrópiája láthatóan nő, a papír beszakad, elöregszik, a jelek elkopnak …, a könyvben lévő információ pedig csökken, igaz, ennek látható része (pl. ha néhány szó nem olvasható) csak elenyésző töredéke a teljes csökkenésnek.

A fentieket szem előtt tartva a termodinamika 2. főtételét így is átfogalmazhatjuk:

Egy izolált, zárt rendszer információtartalma nem nőhet, irreverzibilis (spontán) folyamatok során mindig csökken. Nevezzük ezt az információ inflálódása tételének.

Tehát, spontán folyamatokban az információ csökken. Előfordulhat ugyan, hogy egy rendszer információtartalma megfelelő folyamatok során növekszik, de akkor a környezetének ennél nagyobb mértékben csökken az információja.

Egy működő rendszer, akár egy élőlény "élő állapotának" összeomlását, halálát mindig egy kritikus mennyiségű entrópianövekedés és információvesztés okozza.

 

Végh András fizikus

                                                           

Irodalom

Claude E. Shannon és Warren Weaver, A kommunikáció matematikai elmélete, OMIKK, budapest, 1986.

Simonyi Károly, A fizika kultúrtörténete, Gondolat, Budapest, 1978.

Fényes Imre, Modern fizikai kisenciklopédia, Gondolat, Budapest, 1971.

Tom Stonier, Információ és az univerzum belső szerkezete, Springer Hungarica Kiadó, 1993.