Bitti, Shannon-informaation entropia ja Hamming-koodi. Kuinka mitata mitä tahansa tietoa ja välittää se ilman menetyksiä. Informaattiantropia Määritelmä entropiasta informaatioteorian näkökulmasta

1.4 Lähteen entropia. Tietomäärän ja entropian ominaisuudet

Yhden perussanoman sisältämien tietojen määrä x i ei luonnehdi täysin lähdettä. Erillisten viestien lähde voidaan karakterisoida keskimääräinen tietomäärä alkeisviestiä kohti , jota kutsutaan lähteen entropiaksi

, i =1…k , (1.3)

missä k - viestin aakkosen koko.

Siten entropia on keskimääräinen tilastollinen mitta epävarmuudesta vastaanottajan tiedossa havaitun kohteen tilasta.

Lausekkeessa (1.3) tilastollinen keskiarvo (eli diskreetin satunnaismuuttujan matemaattisen odotuksen määrittäminen Minä (X i )) suoritetaan koko lähdesanomien joukossa. On tarpeen ottaa huomioon kaikki todennäköisyysyhteydet viestien välillä. Mitä korkeampi lähteen entropia, sitä enemmän tietoa on keskimäärin upotettu kuhunkin viestiin, sitä vaikeampi on muistaa (kirjoittaa ylös) tai lähettää tällainen viesti viestintäkanavan kautta. Shannonin entropian ydin on siis seuraava: erillisen satunnaismuuttujan entropia on pienin keskimääräinen bittien lukumäärä, joka on lähetettävä tietoliikennekanavan kautta tietyn satunnaismuuttujan nykyisen arvon suhteen.

Sanoman lähettämiseen tarvittava energia on verrannollinen entropiaan (keskimääräinen tiedon määrä viestiä kohti). Tästä seuraa, että informaation määrä järjestyksessä alkaen N viestit määräytyvät näiden viestien lukumäärän ja lähteen entropian, ts.

Minä (N)=NH(X) .

Entropialla lähteen tietosisällön määrällisenä mittarina on seuraava ominaisuudet:

1) entropia on nolla, jos ainakin yksi viesteistä on luotettava (ts. on todennäköisyys p i = 1);

2) entropian arvo on aina suurempi tai yhtä suuri kuin nolla, pätevä ja rajoitettu;

3) lähteen entropia, jossa on kaksi vaihtoehtoista tapahtumaa, voi vaihdella 0: sta 1: een;

4) entropia on additiivinen määrä: lähteen entropia, jonka viestit koostuvat useista tilastollisesti riippumattomista lähteistä, on yhtä suuri kuin näiden lähteiden entropioiden summa;

5) entropia on suurin, jos kaikki viestit ovat yhtä todennäköisiä

. (1.4)

Erilaisten viestien tapauksessa x i entropia vähenee. Tässä suhteessa sellainen lähdemittaus otetaan käyttöön lähdeaakkosen tilastollisena redundanssina

, (1.5)

missä H (X ) - todellisen lähteen entropia H (X ) enint= hirsi 2 k Onko suurin mahdollinen lähteen entropia.

Kaavan (1.5) avulla määritetty tietolähteen redundanssi puhuu sanomien tietovarannosta, jonka elementit ovat epätasaisia.

Siellä on myös käsite semanttinen redundanssi , mikä seuraa siitä, että mikä tahansa ajatus, joka sisältyy viestiin ihmiskielen lauseista, voidaan muotoilla lyhyemmällä tavalla. Uskotaan, että jos jokin viesti voidaan lyhentää menettämättä semanttista sisältöään, sillä on semanttinen redundanssi.

Harkitse erillisiä satunnaismuuttujia (d.v.) X ja Y jakelulakien mukaan P (X = X i )= p i , P (Y = Y j )= q j ja yhteinen jakelu P (X = X i , Y = Y j )= p ij ... Sitten kanssa tiedostossa olevien tietojen määrä. sisään. X d: n suhteen. sisään. Y , määritetään kaavalla

. (1.6)

Jatkuville satunnaismuuttujille (r.v.) X ja Y antaa todennäköisyysjakauman tiheydet r X (t 1 ) , r Y (t 2 ) ja r XY (t 1 , t 2 ) , samanlaisella kaavalla on muoto

On selvää, että

siten

nuo. pääsemme lausekkeeseen (1.3) entropian laskemiseksi H (X ) .

Tietomäärän ja entropian ominaisuudet:

1) Minä (X , Y ) ≥ 0 ; Minä (X , Y ) =0 Û X ja Y riippumaton (yksi satunnaismuuttuja ei kuvaa toista millään tavalla);

2) Minä (X, Y ) =Minä(Y, X ) ;

3) Hx =0 Û X \u003d vakio ;

4) Minä (X, Y) \u003d HX + HY-H (X, Y) , missä ;

5) Minä (X, Y) ≤ I (X, X); I (X, Y) \u003d I (X, X) Þ X \u003d f (Y) .

TESTIKYSYMYKSET

1 Millaisia \u200b\u200btietoja on olemassa?

2 Kuinka muuntaa jatkuva tieto erilliseksi (digitaaliseksi) muodoksi?

3 Mikä on jatkuvan tiedon näytteenottotaajuus?

4 Kuinka diskretisointilause muotoillaan?

5 Mitä on tieto, koodaus, viestintäkanava, melu?

6 Mitkä ovat Shannonin todennäköisyysperiaatteen tärkeimmät säännökset tiedon määrän määrittämisessä?

7 Kuinka määritetään erillisen lähteen yhteen viestiin sisältyvän tiedon määrä?

8 Kuinka määritetään keskenään riippuvien viestien lähteen tiedon määrä viestiä kohti?

9 Mikä on lähteen entropia? Mitkä ovat sen ominaisuudet?

10 Missä olosuhteissa lähteen entropia on suurin?

11 Kuinka tiedon määrä määritetään? Mitkä ovat tiedon määrän ominaisuudet?

12 Mikä aiheutti tietolähteen tilastollisen redundanssin?

"Tiedot ovat elämän muoto", kirjoitti amerikkalainen runoilija ja esseisti John Perry Barlow. Tosiaankin kohtaamme jatkuvasti sanan "tieto" - se vastaanotetaan, lähetetään ja tallennetaan. Sääennusteen tai jalkapallo-ottelun tuloksen, elokuvan tai kirjan sisällön selvittäminen, puhelimitse puhuminen - on aina selvää, minkä tyyppistä tietoa olemme tekemisissä. Mutta mikä on itse tieto ja mikä tärkeintä - kuinka sitä voidaan mitata, kukaan ei yleensä ajattele. Sillä välin tieto ja sen siirtomenetelmät ovat tärkeä asia, joka määrää pitkälti elämämme, jonka tietotekniikasta on tullut olennainen osa. Laba.Media-julkaisun tieteellinen toimittaja Vladimir Gubailovsky kertoo, mitä tietoja on, miten niitä mitataan ja miksi vaikeinta on siirtää tietoa vääristymättä.

Satunnaisten tapahtumien tila

Vuonna 1946 amerikkalainen tilastotieteilijä John Tukey ehdotti nimeä BIT (BIT, BInary digiT - "binääriluku" - "High-tech") - yksi 1900-luvun pääkäsitteistä. Tukey valitsi vähän merkitsemään yhtä binäärilukua, joka voi olla arvo 0 tai 1. Claude Shannon ehdotti ohjelmaartikkelissaan "Matemaattisen viestinnän teoria" mittaamaan informaation määrää bitteinä. Mutta tämä ei ole ainoa käsite, jonka Shannon esitteli ja tutki artikkelissaan.

Kuvittele satunnaisten tapahtumien tila, joka koostuu yhden väärennetyn kolikon heittämisestä kotkan molemmin puolin. Milloin pää putoaa? Se on aina selvää. Tiedämme tämän etukäteen, koska tilamme on näin järjestetty. Kaatuva pää on luotettava tapahtuma, eli sen todennäköisyys on 1. Kuinka paljon tietoa annamme, jos sanomme putoavasta päästä? Ei. Pidämme tällaisessa viestissä olevan tiedon määrää 0.

Käännetään nyt oikea kolikko: toisella puolella siinä on päät, ja toisella puolella hännät, kuten sen pitäisi olla. Putoavat päät tai hännät ovat kaksi erilaista tapahtumaa, jotka muodostavat tilamme satunnaisista tapahtumista. Jos ilmoitamme yhden heiton tuloksesta, se on todellakin uutta tietoa. Päässä ilmoitamme 0 ja hännät 1. Jotta voimme välittää nämä tiedot, tarvitsemme vain yhden bitin.

Mikä muuttui? Epävarmuus on ilmaantunut tapahtumien avaruuteen. Meillä on jotain kerrottavaa hänestä jollekulle, joka ei heitä kolikkoa itse eikä näe heiton lopputulosta. Mutta ymmärtääkseen viestimme oikein, hänen on tiedettävä tarkalleen, mitä teemme, mitä tarkoittavat 0 ja 1. Tapahtumatilojemme on vastattava toisiaan, ja dekoodausprosessin on ainutlaatuisesti rekonstruoitava heiton tulos. Jos lähetyksen ja vastaanoton tapahtumatila ei ole sama tai viestin yksiselitteinen dekoodaus ei ole mahdollista, informaatio pysyy vain kohinana viestintäkanavassa.

Jos kaksi kolikkoa heitetään itsenäisesti ja samanaikaisesti, tuloksena on neljä erilaista yhtä todennäköistä tulosta: päät-päät, päät-hännät, hännät-päät ja hännät-hännät. Tietojen lähettämiseen tarvitaan 2 bittiä, ja viestimme ovat seuraavat: 00, 01, 10 ja 11. Tiedot ovat kaksinkertaistuneet. Tämä tapahtui, koska epävarmuus kasvoi. Jos yritämme arvata tällaisen kaksinkertaisen heiton lopputuloksen, meillä on kaksi kertaa mahdollisuus tehdä virhe.

Mitä suurempi epävarmuus tapahtumistilasta, sitä enemmän tietoa sen tilasta oleva viesti sisältää.

Tehdään tapahtumapaikkamme monimutkaisemmaksi. Toistaiseksi kaikki tapahtuneet tapahtumat olivat yhtä todennäköisiä. Mutta todellisissa tiloissa kaikki tapahtumat eivät ole yhtä todennäköisiä. Oletetaan, että todennäköisyys siitä, että varis on musta, on lähellä 1. Todennäköisyys, että ensimmäinen ohikulkija, jonka tapaamme kadulla, on mies, on noin 0,5. Mutta tavata krokotiili Moskovan kaduilla on melkein uskomatonta. Intuitiivisesti ymmärrämme, että sanomalla tapaamisesta krokotiilin kanssa on paljon enemmän informatiivista arvoa kuin mustasta korpesta. Mitä pienempi tapahtuman todennäköisyys, sitä enemmän sanomassa on tietoa tällaisesta tapahtumasta.

Vaikka tapahtumapaikka ei olekaan niin eksoottista. Seisomme vain ikkunassa ja katsomme ohi kulkevia autoja. Neliväriset autot kulkevat ohi, mistä meidän on ilmoitettava. Tätä varten koodataan värit: musta - 00, valkoinen - 01, punainen - 10, sininen - 11. Jotta voimme ilmoittaa ohitetun auton, meidän on vain lähetettävä 2 bittiä tietoa.

Mutta kun katsomme autoja melko kauan, huomaamme, että autojen väri on jakautunut epätasaisesti: musta - 50% (joka sekunti), valkoinen - 25% (joka neljäs), punainen ja sininen - 12,5% (joka kahdeksas). Sitten voit optimoida lähetetyt tiedot.

Suurimmaksi osaksi mustia autoja, joten merkitään musta - 0 - lyhin koodi, ja kaikkien muiden koodien alku on 1. Alle jäljellä olevista puolet ovat valkoisia - 10 ja loput värit alkavat 11. Lopuksi merkitsemme punaista - 110 ja sinistä - 111.

Nyt välittämällä tietoa autojen väreistä voimme koodata sen tiheämmin.

Shannon-entropia

Olkoon, että tapahtumapaikkamme koostuu n eri tapahtumasta. Kun heitetään kolikko kahdella päällä, on täsmälleen yksi tällainen tapahtuma, kun heitetään yksi oikea kolikko - 2, heitetään kaksi kolikkoa tai katsellaan autoja - 4. Jokaisella tapahtumalla on vastaava todennäköisyys sen esiintymiseen. Kun kaksipäinen kolikko heitetään, tapahtuma (päät) on yksi ja sen todennäköisyys p1 \u003d 1. Kun oikea kolikko heitetään, tapahtumia on kaksi, ne ovat yhtä todennäköisiä ja niiden todennäköisyys on 0,5: p1 \u003d 0,5, p2 \u003d 0,5. Heitettäessä kahta oikeaa kolikkoa on neljä tapahtumaa, jotka kaikki ovat yhtä todennäköisiä ja kunkin todennäköisyys on 0,25: p1 \u003d 0,25, p2 \u003d 0,25, p3 \u003d 0,25, p4 \u003d 0,25. Autoja tarkkailemalla on neljä tapahtumaa, ja niillä on eri todennäköisyydet: musta - 0,5, valkoinen - 0,25, punainen - 0,125, sininen - 0,125: p1 \u003d 0,5, p2 \u003d 0,25, p3 \u003d 0,125, p4 \u003d 0,125.

Tämä ei ole sattumaa. Shannon valitsi entropian (epävarmuuden mittari tapahtumien avaruudessa) siten, että kolme ehtoa täyttyy:

• 1 Tietyn tapahtuman entropia todennäköisyydellä 1 on 0.

• Kahden itsenäisen tapahtuman entropia on yhtä suuri kuin näiden tapahtumien entropioiden summa.

• Entropia on suurin, jos kaikki tapahtumat ovat yhtä todennäköisiä.

Kaikki nämä vaatimukset ovat melko yhdenmukaisia \u200b\u200bajatuksemme tapahtumistilan epävarmuudesta. Jos tapahtumia on vain yksi (ensimmäinen esimerkki), epävarmuutta ei ole. Jos tapahtumat ovat itsenäisiä - summan epävarmuus on yhtä suuri kuin epävarmuuksien summa - ne yksinkertaisesti laskevat yhteen (esimerkki heittämällä kaksi kolikkoa). Ja lopuksi, jos kaikki tapahtumat ovat yhtä todennäköisiä, järjestelmän epävarmuusaste on suurin. Kuten kahden kolikon heittämisen tapauksessa, kaikki neljä tapahtumaa ovat yhtä todennäköisiä ja entropia on 2, se on suurempi kuin autojen tapauksessa, kun tapahtumia on myös neljä, mutta niillä on eri todennäköisyydet - tässä tapauksessa entropia on 1,75.

H-määrällä on keskeinen rooli informaatioteoriassa tiedon määrän, valinnan ja epävarmuuden mittana.

Claude Shannon

Claude Elwood Shannon - Amerikkalainen insinööri, kryptanalyytikko ja matemaatikko. Pidetään "tietokauden isänä". Perustaja tietoteorialle, joka on löytänyt sovelluksen nykyaikaisiin korkean teknologian viestintäjärjestelmiin. Annetut peruskäsitteet, ideat ja niiden matemaattiset muotoilut, jotka tällä hetkellä muodostavat perustan nykyaikaiselle viestintätekniikalle.

Vuonna 1948 hän ehdotti sanan "bit" käyttämistä viittaamaan pienimpään tietoyksikköön. Hän osoitti myös, että hänen esittämänsä entropia vastaa lähetetyn viestin tietojen epävarmuuden mittausta. Shannonin artikkeleita "Matemaattinen viestintateoria" ja "Viestintäteoria salaisissa järjestelmissä" pidetään tietoteorian ja salauksen perustekijöinä.

Toisen maailmansodan aikana Shannon oli mukana kehittämässä Bell Laboratoriesin salausjärjestelmiä, mikä auttoi häntä myöhemmin löytämään virheenkorjauskoodauksen menetelmiä.

Shannon osallistui avainasemassa todennäköisyyskaavioiden, peliteorian, automaatti- ja ohjausjärjestelmän teoriaan - tieteenaloihin, jotka sisältyvät "kybernetiikan" käsitteeseen.

Koodaus

Heitettävät kolikot ja ohi kulkevat autot eivät ole kuin numerot 0 ja 1. Jos haluat ilmoittaa avaruudessa tapahtuvista tapahtumista, sinun on keksittävä tapa kuvailla näitä tapahtumia. Tätä kuvausta kutsutaan koodaukseksi.

Voit koodata viestejä lukemattomalla eri tavalla. Mutta Shannon osoitti, että lyhin koodi ei voi olla pienempi bitteinä kuin entropia.

Siksi viestin entropia on viestin informaation mitta. Koska kaikissa tarkastelluissa tapauksissa bittien lukumäärä koodauksen aikana on yhtä suuri kuin entropia, joten koodaus oli optimaalinen. Lyhyesti sanottuna ei ole enää mahdollista koodata viestejä tilojamme tapahtumista.

Optimaalisella koodauksella mitään lähetettyjä bittejä ei voi kadota tai vääristyä viestissä. Jos edes yksi bitti menetetään, tiedot vääristyvät. Mutta kaikki todelliset viestintäkanavat eivät anna 100-prosenttista varmuutta siitä, että kaikki viestin bitit saapuvat vastaanottajalle vääristymättä.

Voit korjata tämän ongelman tekemällä koodisi tarpeettomaksi optimaalisen sijasta. Esimerkiksi viestin mukana lähettämiseksi sen tarkistussumma - erityisesti laskettu arvo, joka saadaan muunnettaessa sanomakoodi ja joka voidaan tarkistaa laskemalla uudelleen, kun viesti vastaanotetaan. Jos lähetetty tarkistus summa vastaa laskettua, todennäköisyys lähetyksen läpikäymiselle virheettömänä on melko suuri. Ja jos tarkistus summa ei täsmää, sinun on pyydettävä uudelleenlähetystä. Näin useimmat viestintäkanavat toimivat nykyään esimerkiksi siirtäessään tietopaketteja Internetin kautta.

Luonnolliset kieliviestit

Harkitse tapahtumistilaa, joka koostuu luonnollisista kieliviesteistä. Tämä on erityistapaus, mutta yksi tärkeimmistä. Täällä olevat tapahtumat lähetetään merkkeinä (kiinteät aakkoset). Nämä merkit löytyvät kielestä eri todennäköisyydellä.

Yleisin merkki (eli se, joka löytyy useimmiten kaikista venäjäksi kirjoitetuista teksteistä) on välilyönti: tuhannesta merkistä keskimäärin tilaa esiintyy 175 kertaa. Toinen taajuus on symboli "o" - 90, sitten seuraavat muut vokaalit: "e" (tai "e" - emme erota niitä) - 72, "a" - 62, "ja" - 62, ja vain edelleen ensimmäinen konsonantti "t" - 53. Ja harvinaisin "f" - tämä symboli esiintyy vain kahdesti tuhatta merkkiä kohden.

Käytämme venäjän kielen 31-kirjainta aakkosia (se ei eroa "e" ja "ё" sekä "b" ja "b"). Jos kaikki kirjaimet esiintyisivät kielellä samalla todennäköisyydellä, entropia symbolia kohden olisi H \u003d 5 bittiä, mutta jos otetaan huomioon symbolien todelliset taajuudet, entropia olisi vähemmän: H \u003d 4,35 bittiä. (Tämä on melkein puolet perinteisen koodauksen koosta, kun merkki lähetetään tavuna - 8 bittiä).

Mutta symbolin entropia kielellä on vielä pienempi. Kaikkien tekstien keskimääräinen taajuus ei määritä täysin seuraavan merkin esiintymisen todennäköisyyttä. Kumpi merkki seuraa jo lähetettyjä merkkejä. Esimerkiksi nykyaikaisella venäjän kielellä konsonanttisymboli ei voi seurata "b" -symbolia. Kahden peräkkäisen vokaalin "e" jälkeen kolmas vokaali "e" seuraa erittäin harvoin lukuun ottamatta sanaa "pitkäkaulainen". Eli seuraava merkki on jonkin verran ennalta määrätty. Jos otetaan huomioon tällainen seuraavan merkin ennalta määritys, seuraavan merkin epävarmuus (eli tieto) on jopa alle 4,35. Joidenkin arvioiden mukaan seuraava merkki venäjäksi määrää kielen rakenne yli 50%, ts. Optimaalisella koodauksella kaikki tiedot voidaan lähettää poistamalla puolet kirjaimista viestistä.

Toinen asia on, että kaikkia kirjaimia ei voida poistaa kivuttomasti. Esimerkiksi korkean taajuuden "o" (ja yleensä vokaalit) on helppo ylittää, mutta harvinainen "f" tai "e" on melko ongelmallinen.

Luonnollinen kieli, jolla kommunikoimme keskenämme, on erittäin turha ja siksi luotettava, jos kuulemme jotain väärin - se ei ole pelottavaa, vaan tiedot välitetään edelleen.

Mutta ennen kuin Shannon esitteli tietomäärän, emme voineet ymmärtää, että kieli on tarpeeton ja missä määrin voimme pakata viestejä (ja miksi arkistoija pakkaa tekstitiedostot niin hyvin).

Luonnollisen kielen redundanssi

Artikkelissa "Kuinka käytämme tekstiä" (nimi kuulostaa tältä!) Otettiin fragmentti Ivan Turgenevin romaanista "Jalo pesä", joka muuttui jonkin verran: 34% kirjeistä poistettiin fragmentista, mutta ei satunnaisia. Sanojen ensimmäinen ja viimeinen kirjain jätettiin, vain vokaalit poistettiin, eivätkä kaikki. Tavoitteena oli paitsi pystyä palauttamaan kaikki tiedot muunnetusta tekstistä, myös varmistamaan, että tätä tekstiä lukevalle henkilölle ei aiheutunut erityisiä vaikeuksia puuttuvien kirjainten vuoksi.

Miksi tämä vioittunut teksti on suhteellisen helppo lukea? Se todella sisältää tietoja, joita tarvitset kokonaisten sanojen palauttamiseksi. Venäjän äidinkielenään puhuvalla on erityinen joukko tapahtumia (sanoja ja kokonaisia \u200b\u200blauseita), joita hän käyttää tunnustuksena. Lisäksi lentoliikenteen harjoittajalla on käytössään tavalliset kielirakenteet, jotka auttavat häntä palauttamaan tietoja. Esimerkiksi, "Hän on blah blah blah blah blah." - voidaan lukea suurella todennäköisyydellä "Hän oli herkempi"... Mutta otetaan erikseen lause "Hän blah blah"mieluummin palautetaan "Hän oli valkoisempi"... Koska jokapäiväisessä viestinnässä käsittelemme kanavia, joissa on kohinaa ja häiriöitä, olemme melko hyviä palauttamaan tietoja, mutta vain ne, jotka tiedämme jo etukäteen. Esimerkiksi lause "Hitto, hän ei ole kiva, htya nmngo rsphli ja spll" lukee hyvin lukuun ottamatta viimeistä sanaa "Splls" - "roiskunut"... Tätä sanaa ei ole nykyaikaisessa sanakirjassa. Nopeasti lukeva sana "Splls" lukee enemmän kuin "kiinni", hitaasti - vain hämmentävää.

Signaalin digitointi

Ääni tai akustinen tärinä on sinimuotoinen. Tämä näkyy esimerkiksi äänieditorin näytössä. Äänen välittämiseksi tarkasti tarvitset rajattoman määrän arvoja - koko siniaallon. Tämä on mahdollista analogisella liitännällä. Hän laulaa - kuuntelet, kontakti ei keskeydy niin kauan kuin kappale kestää.

Digitaalisella viestinnällä kanavan kautta voimme lähettää vain rajallisen määrän arvoja. Tarkoittaako tämä, että ääntä ei voida toistaa tarkasti? Ei käy ilmi.

Eri äänet ovat eri tavalla moduloitu sinimuotoinen. Lähetämme vain erillisiä arvoja (taajuuksia ja amplitudeja), eikä sinimuotoa itse tarvitse lähettää - vastaanottava laite voi tuottaa sen. Se muodostaa sinimuotoisen, ja modulointi on sen päällä, luotu tietoliikennekanavan kautta lähetetyistä arvoista. On olemassa tarkat periaatteet siitä, mitkä erilliset arvot on lähetettävä siten, että tiedonsiirtokanavan sisääntulossa oleva ääni osuu yhteen lähdön äänen kanssa, jossa nämä arvot ovat päällekkäin joillekin tavallisille sinimuotoisille (tämä on täsmälleen Kotelnikov-lause).

Kotelnikovin lause (englanninkielisessä kirjallisuudessa - Nyquist - Shannon-lause, näytteenottolause) - perustavanlaatuinen lausunto digitaalisen signaalinkäsittelyn alalla, joka yhdistää jatkuvat ja erilliset signaalit ja toteaa, että "mitä tahansa toimintoa F (t), joka koostuu taajuuksista 0 - f1, voidaan lähettää jatkuvasti millä tahansa tarkkuudella käyttämällä numeroita, jotka seuraavat toisiaan läpi / (2 * f1) sekuntia.

Häiriöiden vastainen koodaus. Hamming-koodit

Jos Ivan Turgenevin koodattu teksti lähetetään epäluotettavan kanavan kautta, vaikkakin tietyllä määrällä virheitä, saat täysin merkityksellisen tekstin. Mutta jos meidän on lähetettävä kaikki jopa vähän, tehtävä ratkaistaan: emme tiedä mitkä bitit ovat väärät, koska virhe on satunnainen. Edes tarkistussumma ei aina toimi.

Siksi, kun he lähettävät tietoja verkkojen kautta, he eivät nykyään tavoittele niinkään optimaalista koodausta, jossa suurin mahdollinen tieto voidaan työntää kanavalle, vaan kohti sellaista koodausta (ilmeisesti tarpeeton), jolla virheet voidaan palauttaa - samalla tavalla kuin palautimme sanat fragmentti: Ivan Turgenev.

On olemassa erityisiä virheenkorjauskoodeja, joiden avulla voit palauttaa tietoja vian jälkeen. Yksi niistä on Hamming-koodi. Sanotaan, että koko kielemme koostuu kolmesta sanasta: 111000, 001110, 100011. Nämä sanat tunnetaan sekä viestin lähteestä että vastaanottajasta. Ja tiedämme, että viestintäkanavassa esiintyy virheitä, mutta kun lähetetään yksi sana, vain yksi bitti tietoa vääristyy.

Oletetaan, että välitämme ensin sanan 111000. Enintään yhden virheen seurauksena (olemme korostaneet virheitä) se voi muuttua yhdeksi sanoista:

1) 111000, 0 11000, 10 1000, 110 000, 1111 00, 11101 0, 111001 .

Lähetettäessä sana 001110 mikä tahansa sanoista voi osoittautua:

2) 001110, 1 01110, 01 1110, 000 110, 0010 10, 00110 0, 001111 .

Lopuksi, 100011: lle voimme saada vastaanotosta:

3) 100011, 0 00011, 11 0011, 101 011, 1001 11, 10000 1, 100010 .

Huomaa, että kaikki kolme luetteloa eivät ole päällekkäisiä pareittain. Toisin sanoen, jos jokin luettelon 1 sana esiintyy viestintäkanavan toisessa päässä, vastaanottaja tietää varmasti, että hänelle lähetettiin sana 111000, ja jos jokin sana luettelosta 2 esiintyy, sana 001110 ja luettelosta 3 sana 100011. Tässä tapauksessa koodimme sanotaan korjaavan yhden virheen.

Korjaus johtui kahdesta tekijästä. Ensinnäkin vastaanottaja tuntee koko "sanakirjan", ts. sanoman vastaanottajan tapahtumatila on sama kuin viestin lähettäneen tilan. Kun koodi lähetettiin vain yhdellä virheellä, tuotettiin sana, jota ei ollut sanakirjassa.

Toiseksi sanakirjan sanat valittiin erityisellä tavalla. Vaikka tapahtuisi virhe, vastaanottaja ei voinut sekoittaa sanaa toiseen. Esimerkiksi, jos sanakirja koostuu sanoista "tytär", "piste", "kolahtaa" ja lähetys osoittautui "vochkaksi", vastaanottaja, tietäen, että sellaista sanaa ei ole, ei voinut korjata virhettä - mikä tahansa kolmesta sanasta voi olla oikea. Jos sanakirjassa on "piste", "haukko", "haara" ja tiedämme, että vain yksi virhe on sallittu, niin "vochka" on tietysti "piste", ei "jätkä". Virheenkorjauskoodeissa sanat valitaan siten, että ne ovat "tunnistettavissa" myös virheen jälkeen. Ainoa ero on, että koodissa "aakkoset" on vain kaksi kirjainta - nolla ja yksi.

Tällaisen koodauksen redundanssi on erittäin suuri, ja tällä tavoin lähetettävien sanojen määrä on suhteellisen pieni. Loppujen lopuksi meidän on suljettava sanakirjasta pois kaikki sanat, jotka virheen sattuessa saattavat osua yhteen lähetettyjä sanoja vastaavan koko luettelon kanssa (esimerkiksi sanakirja ei voi sisältää sanoja "tytär" ja "kohta"). Sanoman tarkka lähetys on kuitenkin niin tärkeää, että virheenkorjaavien koodien tutkimiseen käytetään paljon työtä.

Tunne

Sanoman entropian (tai epävarmuuden ja arvaamattomuuden) ja redundanssin (tai ennalta määrittelyn ja ennustettavuuden) käsitteet vastaavat hyvin luonnollisesti intuitiivisia ajatuksiamme tiedon mittaamisesta. Mitä arvaamattomampi viesti on (sitä suurempi on sen entropia, koska sitä vähemmän todennäköinen), sitä enemmän tietoa sillä on. Sensation (esimerkiksi tapaaminen krokotiilin kanssa Tverskajalla) on harvinainen tapahtuma, sen ennustettavuus on hyvin pieni ja siksi informaatioarvo on korkea. Usein uutisia kutsutaan tiedoksi - viestejä juuri tapahtuneista tapahtumista, joista emme vielä tiedä mitään. Mutta jos meille kerrotaan siitä, mitä tapahtui toisen ja kolmannen kerran suunnilleen samoilla sanoilla, viestin redundanssi on suuri, sen arvaamattomuus laskee nollaan, emmekä yksinkertaisesti kuuntele, harjata puhuja pois sanoilla "Tiedän, tiedän". Siksi media yrittää niin kovasti olla ensimmäinen. Tämä on vastaavuus intuitiiviseen uutuuden tunteeseen, joka tuottaa todella odottamattomia uutisia, ja jolla oli tärkeä rooli siinä, että Shannonin artikkelista, jota ei lainkaan ollut tarkoitettu massalukijalle, tuli sensaatio, jonka lehdistö otti, jonka eri erikoisuuksien tutkijat hyväksyivät universaaliksi avaimeksi luonnon ymmärtämiselle. - kielitieteilijöistä ja kirjallisuustutkijoista biologeihin.

Mutta shannonin tiedon käsite on tiukka matemaattinen teoria, ja sen soveltaminen kommunikaatioteorian ulkopuolella on hyvin epäluotettavaa. Mutta itse viestinnän teoriassa sillä on keskeinen rooli.

Semanttiset tiedot

Shannon, joka otti käyttöön entropian käsitteen tiedon mittana, pystyi työskentelemään informaation kanssa - ennen kaikkea mittaamaan sitä ja arvioimaan sellaisia \u200b\u200bominaisuuksia kuin kanavan kapasiteetti tai optimoinnin koodaus. Mutta tärkein oletus, joka antoi Shannonille mahdollisuuden menestyksekkäästi toimia informaation kanssa, oli oletus, että tiedon tuottaminen on satunnainen prosessi, joka voidaan kuvata onnistuneesti todennäköisyysteorian perusteella. Jos prosessi ei ole satunnainen, toisin sanoen se noudattaa lakeja (eikä se ole aina selvää, kuten tapahtuu luonnollisella kielellä), niin Shannonin päättelyä ei voida soveltaa siihen. Kaikella, mitä Shannon sanoo, ei ole mitään tekemistä tiedon mielekkyyden kanssa.

Kun puhumme symboleista (tai aakkosten kirjaimista), voimme hyvinkin perustella satunnaisia \u200b\u200btapahtumia, mutta heti kun siirrymme kielen sanoihin, tilanne muuttuu dramaattisesti. Puhe on erityisellä tavalla järjestetty prosessi, ja tässä viestin rakenne on yhtä tärkeä kuin symbolit, joilla se välitetään.

Viime aikoihin asti tuntui siltä, \u200b\u200bettä emme voineet tehdä mitään, jotta ainakin jotenkin pääsisimme lähemmäksi tekstin mielekkyyden mittaamista, mutta tilanne on viime vuosina muuttunut. Ja tämä johtuu ensisijaisesti keinotekoisten hermoverkkojen soveltamisesta konekääntämiseen, tekstien automaattiseen abstraktointiin, tietojen poimimiseen teksteistä, raporttien luomiseen luonnollisella kielellä. Kaikissa näissä tehtävissä tapahtuu luonnollisen kielen sisältämän merkityksellisen tiedon muunnos, koodaus ja dekoodaus. Ja ajatus tiedonhäviöistä tällaisten muutosten aikana on asteittain muotoutumassa, mikä tarkoittaa - merkityksellisen tiedon mittausta. Mutta tänään Shannonin tietoteorian selkeyttä ja tarkkuutta näissä vaikeissa ongelmissa ei ole vielä saatavilla.

Claude Elwood Shannon (1916-2001) -
amerikkalainen insinööri ja matemaatikko,
tietoteorian perustaja,
nuo. prosessiteoria, siirto
tietojen tallennus

Claude Shannon ensin alkoi tulkita lähetettyjä viestejä ja ääniä viestintäkanavissa tilastojen näkökulmasta, ottaen huomioon sekä rajalliset että jatkuvat viestisarjat. Claude Shannon kutsutaan "Tietoteorian isä".

Yksi Claude Shannonin tunnetuimmista tieteellisistä teoksista on hänen artikkeli "Matemaattinen kommunikaatioteoria"julkaistu vuonna 1948.

Tässä työssä Shannon tutkii ongelman järkevästä tiedonsiirrosta meluisen viestintäkanavan kautta ja ehdotti todennäköisyystapaa viestinnän ymmärtämiselle, loi ensimmäisen, todella matemaattisen entropiateorian satunnaisuuden mittana ja esitteli diskreetin jakauman mittarin s todennäköisyydet viestilähettimen ja -vastaanottimen vaihtoehtoisten tilojen joukossa.

Shannon asetti vaatimukset entropian mittaukselle ja johti kaavan, josta tuli kvantitatiivisen tietoteorian perusta:

H (p).

Tässä n - merkkien lukumäärä, josta viesti (aakkoset) voidaan laatia, H - informaatio binaarinen entropia .

Käytännössä todennäköisyyksien arvot p i Korvaa yllä olevassa kaavassa ne tilastollisilla arvioilla: p i - suhteellinen taajuus ith merkki viestissä, missä N - viestin kaikkien merkkien määrä, N i - absoluuttinen taajuus iviestin kolmas merkki, ts. esiintymisnumero iviestin kolmas merkki.

Shannon huomauttaa artikkelinsa "Matemaattisen viestinnän teoria" johdannossa, että hän laajentaa tässä artikkelissa viestinnän teoriaa, jonka pääkohdat sisältyvät tärkeisiin teoksiin Nyquist ja Hartley.

Harry Nyquist (1889-1976) -
amerikkalainen ruotsalainen insinööri
alkuperästä, yksi edelläkävijöistä
informaatioteoria

Nyquistin ensimmäiset tulokset tiedonsiirron edellyttämän taajuusalueen leveyden määrittämisessä loivat perustan Claude Shannonin myöhemmälle menestykselle tietoteorian kehittämisessä.

Vuonna 1928 Hartley esitteli tiedon logaritmisen mittauksen H = K Loki 2 N, jota kutsutaan usein Hartleyn tietomääräksi.

Hartley omistaa seuraavan tärkeän lauseen vaaditusta tietomäärästä: jos tietyssä joukossa Mjoka koostuu N elementit, sisältää elementin x, josta tiedämme vain, että se kuuluu tähän sarjaan Msitten löytää x, on tarpeen hankkia tästä joukosta informaation määrä, joka on yhtä suuri kuin log 2 N bitti.

Muuten, huomaa, että nimi BITTI tulee englanninkielisestä lyhenteestä BIT - BInaryn digiT... Tämän termin ehdotti ensin amerikkalainen matemaatikko John Tukey vuonna 1946. Hartley ja Shannon käyttivät bittiä tiedon mittayksikkönä.

Yleensä Shannonin entropia on todennäköisyyksien joukko s 1 , s 2 ,…, p n.

Ralph Winton Lyon Hartley (1888-1970)
- Amerikkalainen elektroniikkatieteilijä

Tarkkaan ottaen, jos X s 1 , s 2 ,…, p n - kaikkien sen mahdollisten arvojen todennäköisyydet ja sitten funktio H (X) asettaa tämän satunnaismuuttujan entropian, vaikka, vaikka X ja se ei ole entropian argumentti, voit kirjoittaa H (X).

Samoin, jos Y on äärellinen diskreetti satunnaismuuttuja ja q 1 , q 2 ,…, q m ovat kaikkien sen mahdollisten arvojen todennäköisyydet, niin tälle satunnaismuuttujalle voimme kirjoittaa H (Y).

John Wilder Tukey (1915-2000) -
Amerikkalainen matemaatikko. Tukey valitsi
bit tarkoittaa yhtä bittiä
binäärimuodossa

Shannon nimesi funktion H(X)entropia neuvoja John von Neumann.

Neumann väitti: tätä toimintoa tulisi kutsua entropiaksi ”Kahdesta syystä. Ensinnäkin epävarmuustoimintoa käytettiin tilastomekaniikassa tällä nimellä, joten sillä on jo nimi. Toiseksi ja mikä tärkeintä, kukaan ei tiedä mikä entropia oikeastaan \u200b\u200bon, joten sinulla on aina etu keskustelussa. ".

Meidän on oletettava, että tämä Neumannin neuvo ei ollut yksinkertainen vitsi. Todennäköisesti sekä John von Neumann että Claude Shannon tiesivät Boltzmannin entropian tietotulkinnasta suuruutena, joka luonnehtii järjestelmän epätäydellisyyttä.

Shannonin määritelmässä haje - on tietomäärä lähdettä kohti yhtä alkuviestiä, joka tuottaa tilastollisesti itsenäisiä sanomia.

7. Kolmogorovin entropia

Andrey Nikolaevich
Kolmogorov (1903-1987) -
neuvostoliiton tiedemies, yksi suurimmista
1900-luvun matemaatikot

A.N. Kolmogorov perustutkimuksia saatiin monilla matematiikan aloilla, mukaan lukien algoritmien monimutkaisuuden teoria ja informaatioteoria.

Erityisesti hänellä on avainrooli muuntamalla Claude Shannonin teknisenä tieteenalana muotoilema informaatioteoria tiukaksi matemaattiseksi tiedeeksi ja rakentamalla tietoteorian perusteellisesti eri perustein kuin Shannon.

Teoksissaan informaatioteoriasta ja dynaamisen systeemiteorian alalta A.N. Kolmogorov yleisti entropian käsitteen ergodisiin stokastisiin prosesseihin rajoittavan todennäköisyysjakauman kautta. Tämän yleistyksen merkityksen ymmärtämiseksi on tarpeen tuntea satunnaisprosessien teorian perusmäärittelyt ja -käsitteet.

Kolmogorov-entropian arvo (kutsutaan myös nimellä K-entropia) määrittelee tiedon menetysnopeuden ja voidaan tulkita järjestelmän "muistin" mittana tai alkuolosuhteiden "unohtamisen" mittana. Sitä voidaan myös pitää järjestelmän satunnaisuuden mittana.

8. Renyin entropia

Alfred Renyi (1921-1970) -
Unkarilainen matemaatikko, luoja
Matematiikan instituutti Budapestissa,
nyt hänen nimensä

Esitti Renyi-entropioiden yhden parametrin spektrin.

Toisaalta Renyi-entropia on yleistys Shannon-entropiasta. Toisaalta, se on samalla etäisyyden yleistyminen (ristiriita) Kullback-Leibler... Huomaa myös, että Renyi on vastuussa Hartleyn lauseen täydellisestä todistamisesta vaaditusta tietomäärästä.

Kullback-Leibler-etäisyys (informaation divergenssi, suhteellinen entropia) on kahden todennäköisyysjakauman epäsymmetrinen mitta toisistaan.

Yleensä yksi verrattujakaumista on "todellinen" jakauma, ja toinen jakauma on päätelty (testattu) jakauma, joka on ensimmäisen arvio.

Anna olla X, Y ovat rajallisia erillisiä satunnaismuuttujia, joiden mahdollisten arvojen alue kuuluu annettuun joukkoon ja todennäköisyysfunktiot tunnetaan: P (X = a i) = p i ja P (Y = a i) = q i.

Sitten lasketaan Kullback-Leibler-etäisyyden arvo DKL kaavojen avulla

D KL (X, Y) =, D KL (Y, X) = .

Ehdottomasti jatkuvien satunnaismuuttujien tapauksessa X, Yniiden jakautumistiheydet antavat Kullback-Leibler-etäisyyden laskentakaavoissa summat korvattu vastaavilla integraaleilla.

Kullback-Leibler-etäisyys on aina ei-negatiivinen luku, kun se on nolla D KL(X, Y) \u003d 0 vain ja vain, jos annetuille satunnaismuuttujille yhtälö X = Y.

Vuonna 1960 Alfred Renyi ehdottaa entropian yleistämistä.

Renyi-entropia on funktionaalien perhe järjestelmän satunnaisuuden kvantitatiiviselle monimuotoisuudelle. Renyi määritti entropiansa ε-osion (peitteen) mitan a järjestyshetkeksi.

Olkoon α annettu todellinen luku, joka täyttää vaatimukset α ≥ 0, α ≠ 1. Sitten kaavan α Renyi-entropia määritetään kaavalla H α = H α ( X)missä p i = P (X = x i) on tapahtuman todennäköisyys, joka on erillinen satunnaismuuttuja X osoittautuu yhtä suureksi kuin vastaava mahdollinen arvo, n - satunnaismuuttujan erilaisten mahdollisten arvojen kokonaismäärä X.

Tasaiselle levitykselle milloin s 1 = s 2 =…= p n =1/n, kaikki Renyi-entropiat ovat samanarvoisia H α ( X) \u003d ln n.

Muussa tapauksessa Renyi-entropioiden arvot laskevat hieman parametrin α arvojen kasvaessa. Renyi-entropioilla on tärkeä rooli ekologiassa ja tilastoissa monimuotoisuuden indekseinä.

Renyi-entropia on tärkeä myös kvanttitiedoissa, sitä voidaan käyttää monimutkaisuuden mittana.

Tarkastellaan joitain Renyi-entropian erityistapauksia järjestyksen α tietyille arvoille:

1. Hartleyn entropia : H 0 = H 0 (X) \u003d ln nmissä n on äärellisen satunnaismuuttujan mahdollisten arvojen alueen teho Xeli mahdollisten arvojen joukkoon kuuluvien erillisten elementtien määrä;

2. Shannon-informaation entropia : H 1 = H 1 (X) = H 1 (s) (määritelty rajaksi α → 1, joka on helppo löytää esimerkiksi L'Hôpital-säännön avulla);

3. Korrelaatioentropia tai entropian törmäys: H 2 = H 2 (X) \u003d - ln ( X = Y);

4. Minitropia : H ∞ = H ∞ (X).

Huomaa, että minkä tahansa järjestyksen ei-negatiivisen arvon (α ≥ 0) eriarvoisuudet H ∞ (X) ≤ H α ( X). Sitä paitsi, H 2 (X) ≤ H 1 (X) ja H ∞ (X) ≤ H 2 (X) ≤ 2 H ∞ (X).

Alfred Renyi esitteli paitsi absoluuttiset entropiansa (1.15), myös määritteli joukon eroja, jotka yleistävät Kullback-Leibner -erot.

Olkoon α annettu todellinen luku, joka täyttää vaatimukset α\u003e 0, α ≠ 1. Sitten arvon määrittämisessä käytetyssä notaatissa D KL Kullback-Leibler-etäisyys, a-asteen Rényi-divergenssin arvo määritetään kaavoilla

D α ( X, Y), D α ( X, Y).

Renyi-eroavaisuutta kutsutaan myös alfa- divergenssi tai α-divergenssi. Rényi itse käytti logaritmia pohjaan 2, mutta kuten aina, logaritmin perustan arvo on ehdottomasti merkityksetön.

9. Tsalliksen entropia

Constantino Tsallis (s. 1943) -
Brasilian fyysikko
kreikan alkuperä

Vuonna 1988 hän ehdotti uutta entropian yleistämistä, joka on kätevä käytettäväksi epälineaarisen termodynamiikan teorian kehittämisessä.

Hänen ehdottamalla entropian yleistymisellä voi olla lähitulevaisuudessa merkittävä rooli teoreettisessa fysiikassa ja astrofysiikassa.

Tsalliksen entropia Neliö, jota kutsutaan usein ei-laajaksi (ei-additiiviseksi) entropiaksi, on määritelty n mikrotilat seuraavan kaavan mukaisesti:

S q = S q (X) = S q (s) = K· , .

Tässä K - mittavakio, jos ulottuvuudella on tärkeä rooli ongelman ymmärtämisessä.

Tsallis ja hänen kannattajansa ehdottavat "laajamittaisen tilastomekaniikan ja termodynamiikan" kehittämistä näiden klassisten tieteenalojen yleistämiseksi järjestelmille, joilla on pitkä muisti ja / tai pitkän kantaman voimat.

Kaikista muista entropiatyypeistä, mukaan lukien ja Renyi-entropiasta Tsallis-entropia eroaa siitä, että se ei ole lisäaine. Tämä on tärkeä ja tärkeä ero..

Tsallis ja hänen kannattajansa uskovat, että tämä ominaisuus antaa mahdollisuuden rakentaa uusi termodynamiikka ja uusi tilastoteoria, jotka ovat tapoja yksinkertaisesti ja oikein kuvata järjestelmiä, joilla on pitkä muisti, ja järjestelmiä, joissa kukin elementti on vuorovaikutuksessa paitsi lähimpien naapureidensa kanssa, myös koko järjestelmän kanssa. tai sen suuret osat.

Esimerkki tällaisista systeemeistä ja siten myös mahdollista teoriaa käyttävä tutkimuksen kohde ovat avaruuden gravitaatiojärjestelmät: tähtijoukot, sumuja, galakseja, galaksijoukkoja jne.

Vuodesta 1988, jolloin Constantino Tsallis ehdotti entropiaansa, on ilmestynyt huomattava määrä epänormaalien järjestelmien termodynamiikan sovelluksia (pituusmuistilla ja / tai pitkän kantaman voimilla), myös painovoimajärjestelmien termodynamiikan alalla.

10. von Neumannin kvanttitropia

John (Janos) von Neumann (1903-1957) -
Amerikkalainen matemaatikko ja fyysikko
unkarilainen laskeutuminen

Von Neumannin entropialla on tärkeä rooli kvanttifysiikassa ja astrofyysisessä tutkimuksessa.

John von Neumann osallistunut merkittävästi sellaisten tieteenalojen kehitykseen kuin kvanttifysiikka, kvanttilogiikka, toiminnallinen analyysi, joukko-teoria, tietojenkäsittelytiede ja taloustiede.

Hän oli osallistuja Manhattanin ydinaseiden projektiin, yksi matemaattisen peliteorian ja soluautomaatin käsitteiden perustajista ja modernin tietokonearkkitehtuurin perustaja.

Von Neumannin entropia, kuten mikä tahansa entropia, liittyy tietoihin: tässä tapauksessa kvanttijärjestelmää koskeviin tietoihin. Ja tässä suhteessa sillä on perusparametri, joka kvantitatiivisesti kuvaa kvanttijärjestelmän tilaa ja evoluutiosuuntaa.

Tällä hetkellä von Neumannin entropiaa käytetään laajalti eri muodoissa (ehdollinen entropia, suhteellinen entropia jne.) Kvanttitietoteorian puitteissa.

Erilaiset sotkeutumistoimenpiteet liittyvät suoraan von Neumannin entropiaan. Kuitenkin viime aikoina on ilmestynyt joukko teoksia, jotka on omistettu kritiikille Shannonin entropiasta tiedon mittana ja sen mahdollisena riittämättömyytenä ja näin ollen von Neumannin entropian riittämättömyytenä Shannonin entropian yleistymisenä.

Tämä katsaus (valitettavasti pinnallinen ja joskus matemaattisesti riittämättömän tarkka) entropian käsitteeseen liittyvien tieteellisten näkemysten evoluutiosta antaa meille mahdollisuuden vastata tärkeisiin kysymyksiin, jotka liittyvät entropian todelliseen olemukseen ja mahdollisuuksiin käyttää entropia-lähestymistapaa tieteellisessä ja käytännön tutkimuksessa. Ainoastaan \u200b\u200btarkastelemme vastauksia kahteen tällaiseen kysymykseen.

Ensimmäinen kysymys: Onko lukuisilla entropian muunnoksilla, joita sekä tarkastellaan että ei oteta huomioon edellä, ole muuta yhteistä kuin sama nimi?

Tämä kysymys syntyy luonnollisesti, jos otetaan huomioon monimuotoisuus, joka luonnehtii nykyisiä entropian käsitteitä.

Tähän mennessä tiedeyhteisö ei ole kehittänyt yhtä, yleisesti tunnustettua vastausta tähän kysymykseen: jotkut tutkijat vastaavat tähän kysymykseen myöntävästi, toiset kielteisesti ja toiset taas liittyvät erilaisten lajien entropioiden yleisyyteen huomattavan epäilevästi ...

Clausius oli ilmeisesti ensimmäinen tutkija, joka oli vakuuttunut entropian universaalista luonteesta ja uskoi, että sillä on tärkeä rooli kaikissa maailmankaikkeudessa tapahtuvissa prosesseissa, erityisesti määrittäen niiden kehityssuunnan ajassa.

Muuten, Rudolph Clausius omistaa yhden termodynamiikan toisen lain muotoiluista: "Prosessi on mahdoton, jonka ainoa tulos olisi lämmön siirtyminen kylmemmästä ruumiista kuumempaan.".

Tätä termodynamiikan toisen lain sanamuotoa kutsutaan clausiuksen postulaatti , ja tässä postulaatissa tarkoitettu peruuttamaton prosessi on clausius-prosessi .

Termodynamiikan toisen lain löytämisen jälkeen peruuttamattomilla prosesseilla on ollut ainutlaatuinen rooli maailman fyysisessä kuvassa. Niinpä kuuluisa artikkeli vuodelta 1849 William Thompson, jossa annetaan yksi termodynamiikan toisen lain ensimmäisistä muotoiluista, kutsuttiin nimellä "Luonnon universaalista taipumuksesta hajottaa mekaanista energiaa".

Huomaa myös, että Clausius joutui käyttämään kosmologista kieltä: "Universumin entropia pyrkii maksimoimaan".

Ilya Romanovich Prigozhin (1917-2003) -
Belgialais-amerikkalainen fyysikko ja
venäläistä alkuperää oleva kemisti,
Nobelin palkinnon saaja
kemiassa 1977

Pääsin samankaltaisiin johtopäätöksiin Ilya Prigogine... Prigogine uskoo, että entropian periaate on vastuussa ajan peruuttamattomuudesta maailmankaikkeudessa ja mahdollisesti sillä on tärkeä rooli ajan merkityksen ymmärtämisessä fyysisenä ilmiönä.

Tähän mennessä on tehty monia tutkimuksia ja entropian yleistyksiä, mukaan lukien tiukan matemaattisen teorian näkökulmasta. Matematiikan huomattavaa aktiivisuutta tällä alalla ei kuitenkaan ole vielä haettu sovelluksissa, lukuun ottamatta ehkä teoksia Kolmogorov, Renyi ja Tsallisa.

Epäilemättä entropia on aina kaaoksen ja häiriön mitta (aste). Kaaos- ja häiriöilmiöiden ilmentymien moninaisuus tekee entropiamuutosten moninaisuudesta väistämätöntä.

Toinen kysymys: Onko mahdollista tunnistaa entropia-lähestymistavan soveltamisala laajaksi vai rajoittuvatko kaikki entropian ja toisen termodynamiikan lain soveltamiset itse termodynamiikkaan ja siihen liittyviin fysiikan aloihin?

Entropian tieteellisen tutkimuksen historia todistaa, että entropia on tieteellinen ilmiö, joka löydettiin termodynamiikasta ja siirtyi sitten menestyksekkäästi muihin tieteisiin ja ennen kaikkea tietoteoriaan.

Epäilemättä entropialla on tärkeä rooli melkein kaikilla nykyajan luonnontieteiden alueilla: lämpöfysiikassa, tilastofysiikassa, fysikaalisessa ja kemiallisessa kinetiikassa, biofysiikassa, astrofysiikassa, kosmologiassa ja informaatioteoriassa.

Kun puhutaan soveltavasta matematiikasta, ei voida mainita maksimoida entropian periaatteen sovelluksia.

Kuten jo todettiin, kvanttimekaaniset ja relativistiset objektit ovat tärkeitä entropian soveltamisalueita. Kvanttifysiikassa ja astrofysiikassa tällaiset entropian sovellukset ovat erittäin kiinnostavia.

Mainitsemme vain yhden mustan aukon termodynamiikan alkuperäisen tuloksen: mustan aukon entropia on yhtä suuri kuin neljäsosa sen pinta-alasta (tapahtumahorisontin pinta-ala).

Kosmologiassa uskotaan, että maailmankaikkeuden entropia on yhtä suuri kuin reliikkisäteilykvanttien määrä nukleonia kohden.

Siksi entropialähestymistavan soveltamisala on hyvin laaja, ja siihen sisältyy laaja valikoima tiedonhaaroja, termodynamiikasta, muista fysiikan aloista, informatiikasta ja päättyen esimerkiksi historiaan ja taloustieteeseen.

A.V. Segal , Taloustieteen tohtori, Krimin yliopisto, nimetty V.I. Vernadsky

Tiedot ja entropia

Kun keskustellaan tiedon käsitteestä, on mahdotonta olla koskematta toista asiaan liittyvää käsitettä - entropiaa. K. Shannon linkitti ensimmäistä kertaa entropian ja informaation käsitteet.

Claude Elwood Shannon ( Claude Elwood Shannon), 1916-2001 - yhdysvaltalainen insinööri ja matemaatikko Thomas Edisonin kaukainen sukulainen oli Bell Laboratoriesin työntekijä vuosina 1941-1972. Teoksessaan "Matemaattisen viestinnän teoria" (http://cm.bell-labs.com/cm/ms / what / shannonday /), julkaistu vuonna 1948, määritteli ensimmäistä kertaa minkä tahansa viestin tietosisällön mitan ja tietokvantin käsitteen - vähän. Nämä ideat muodostivat perustan modernin digitaalisen viestinnän teorialle. Toinen Shannonin teos, salaisuusjärjestelmien viestintateoria, julkaistu vuonna 1949, auttoi muuttamaan salauksen tieteelliseksi tieteenalaksi. Hän on perustaja informaatioteoria, joka on löytänyt sovelluksen nykyaikaisissa korkean teknologian viestintäjärjestelmissä. Shannon vaikutti valtavasti todennäköisyysmenetelmien teoriaan, automaattien teoriaan ja ohjausjärjestelmien teoriaan - tieteisiin, joita yhdistää "kybernetiikan" käsite.

Entropian fyysinen määritelmä

Entropian käsitteen otti Clausius ensimmäisen kerran käyttöön vuonna 1865 järjestelmän termodynaamisen tilan funktiona

missä Q on lämpö, \u200b\u200bT on lämpötila.

Entropian fyysinen merkitys näkyy osana järjestelmän sisäistä energiaa, jota ei voida muuttaa työksi. Clausius sai tämän toiminnon empiirisesti kokeilemalla kaasuja.

L. Boltzmann (1872) tilastollisen fysiikan menetelmillä johti entropian teoreettiseen ilmaisuun

missä K on vakio; W on termodynaaminen todennäköisyys (ihanteellisten kaasumolekyylien permutaatioiden määrä, joka ei vaikuta järjestelmän makrotasoon).

Boltzmannin entropia on johdettu ihanteelliselle kaasulle ja sitä tulkitaan häiriön mittana, järjestelmän kaaoksen mittana. Ihanteellisen kaasun saamiseksi Boltzmannin ja Clausiusin entropiat ovat identtiset. Boltzmannin kaava tuli niin kuuluisaksi, että se kirjoitettiin epitaafina haudalle. Uskotaan, että entropia ja kaaos ovat yksi ja sama. Huolimatta siitä, että entropia kuvaa vain ihanteellisia kaasuja, sitä alettiin käyttää kriittisesti kuvaamaan monimutkaisempia esineitä.

Boltzmann itse vuonna 1886. yritti selittää entropian avulla, mitä elämä on. Boltzmannin mukaan elämä on ilmiö, joka voi vähentää sen entropiaa. Boltzmannin ja hänen seuraajiensa mukaan kaikki maailmankaikkeuden prosessit muuttuvat kaaoksen suuntaan. Maailmankaikkeus on kohti lämpökuolemaa. Tämä synkkä ennuste on pitkään dominoinut tiedettä. Tietämyksen syventäminen ympäröivästä maailmasta hajosi kuitenkin vähitellen tämän dogman.

Klassikot eivät liittäneet entropiaa tietoihin.

Entropia tiedon mittana

Huomaa, että "informaation" käsite tulkitaan usein "informaatioksi", ja tiedonsiirto tapahtuu viestinnän avulla. K. Shannon piti entropiaa hyödyllisen tiedon mittana johtojen kautta tapahtuvassa signaalinsiirrossa.

Entropian laskemiseksi Shannon ehdotti yhtälöä, joka muistuttaa Boltzmannin löytämää entropian klassista ilmaisua. Itsenäinen satunnainen tapahtuma otetaan huomioon x N mahdollisen tilan kanssa ja p i on i: nnen tilan todennäköisyys. Sitten tapahtuman entropia x

Tätä määrää kutsutaan myös keskimääräiseksi entropiaksi. Esimerkiksi voimme puhua viestin lähettämisestä luonnollisella kielellä. Kun lähetämme erilaisia \u200b\u200bkirjaimia, välitämme erilaisia \u200b\u200btietoja. Kirjainkohtainen tiedon määrä liittyy tämän kirjeen käyttötiheyteen kaikissa kielellä tuotetuissa viesteissä. Mitä harvinaisempi kirje lähetämme, sitä enemmän tietoa se sisältää.

Määrä

H i \u003d P i log 2 1 / P i \u003d -P i log 2 P i,

kutsutaan yksityiseksi entropiaksi, joka luonnehtii vain i-e-tilaa.

Selittäkäämme esimerkkejä... Kun kolikko heitetään, päät tai hännät putoavat, tämä on varmaa tietoa heiton tuloksista.

Kolikon kohdalla vastaavien mahdollisuuksien lukumäärä on N \u003d 2. Pään (hännän) saamisen todennäköisyys on 1/2.

Heittäessämme noppaa saamme tietoa tietystä pisteiden määrästä (esimerkiksi kolmesta). Milloin saamme lisätietoja?

Noppaa kohden yhtä todennäköisten mahdollisuuksien lukumäärä on N \u003d 6. Todennäköisyys saada kolme noppapistettä on 1/6. Entropia on 2,58. Vähemmän todennäköisen tapahtuman toteutuminen antaa enemmän tietoa. Mitä suurempi epävarmuus ennen viestin vastaanottamista tapahtumasta (heittää kolikkoa, noppaa), sitä enemmän tietoa vastaanotetaan viestiä vastaanotettaessa.

Tämä lähestymistapa tietojen kvantitatiiviseen ilmaisuun ei ole kaukana yleismaailmallisesta, koska hyväksytyt yksiköt eivät ota huomioon tiedon niin tärkeitä ominaisuuksia kuin sen arvo ja merkitys. Abstrakti tietyistä ominaisuuksista (merkitys, arvo) todellisista esineistä, kuten myöhemmin kävi ilmi, mahdollisti yleisten tietomallien tunnistamisen. Shannonin ehdottamat yksiköt (bittiä) tietomäärän mittaamiseksi soveltuvat kaikkien viestien (pojan syntymä, urheilupelien tulokset jne.) Arviointiin. Tulevaisuudessa yritettiin löytää mittauksia tiedon määrästä, joka ottaisi huomioon sen arvon ja merkityksen. Universaalisuus menetettiin kuitenkin välittömästi: eri prosesseille arvon ja merkityksen kriteerit ovat erilaiset. Lisäksi tiedon merkityksen ja arvon määritelmät ovat subjektiivisia, ja Shannonin ehdottama tiedon määrä on objektiivinen. Esimerkiksi haju välittää valtavan määrän tietoa eläimelle, mutta on vaikeasti havaittavissa ihmiselle. Ihmiskorva ei havaitse ultraäänisignaaleja, mutta ne välittävät paljon tietoa delfiineille jne. Siksi Shannonin ehdottama tiedonmitta sopii kaikenlaisten tietoprosessien tutkimiseen riippumatta tiedon kuluttajan "mausta".

Mittaustiedot

Fysiikan kurssilta tiedät, että ennen minkään fyysisen määrän arvon mittaamista sinun on annettava mittayksikkö. Informaatiolla on myös tällainen yksikkö - vähän, mutta sen merkitys on erilainen, kun "tiedon" käsitteen määritelmää lähestytään eri tavoin.

Tietojen mittaamiseen on useita erilaisia \u200b\u200blähestymistapoja.