Korisnik:Palapa/Teorija informacija
Teorija informacija je naučna studija kvantifikacije, skladištenja i komunikacije digitalnih informacija. [1] Područje je temeljno uspostavljeno radovima Harryja Nyquista i Ralpha Hartleya, 1920-ih, i Claudea Shanona iz 1940-ih. [2] : vii Oblast je na razmeđu teorije vjerovatnoće, statistike, računarstva, statističke mehanike, informacionog inženjerstva i elektrotehnike.
Ključna mjera u teoriji informacija je entropija. Entropija kvantificira količinu neizvjesnosti uključene u vrijednost slučajne varijable ili ishod slučajnog procesa. Na primjer, identifikacija ishoda poštenog bacanja novčića (sa dva jednako vjerovatna ishoda) daje manje informacija (niža entropija) od specificiranja ishoda bacanja kockice (sa šest jednako vjerovatnih ishoda). Neke druge važne mjere u teoriji informacija su međusobne informacije, kapacitet kanala, eksponenti greške i relativna entropija. Važne podoblasti teorije informacija uključuju izvorno kodiranje, teoriju algoritamske složenosti, algoritamsku teoriju informacija i informacijsko-teorijsku sigurnost.
Primjene fundamentalnih tema teorije informacija uključuju izvorno kodiranje/ kompresiju podataka (npr. za ZIP datoteke ), i kanalno kodiranje/ otkrivanje grešaka i ispravljanje (npr. za DSL). Njegov uticaj je bio presudan za uspjeh misije Voyagera u duboki svemir, pronalazak kompakt diska, izvodljivost mobilnih telefona i razvoj interneta. Teorija je također našla primjenu u drugim područjima, uključujući statističko zaključivanje, [3] kriptografiju, neurobiologiju, [4] percepciju, [5] lingvistiku, evoluciju [6] i funkciju [7] molekularnih kodova (bioinformatiku), termičku fiziku, [8] molekularnu dinamiku, [9] kvantno računarstvo, crne rupe, pronalaženje informacija, prikupljanje obavještajnih podataka, otkrivanje plagijata, [10] prepoznavanje uzoraka, detekcija anomalija [11] pa čak i stvaranje umjetnosti.
Pregled
[uredi | uredi izvor]Teorija informacija proučava prijenos, obradu, ekstrakciju i korištenje informacija. Apstraktno, informacija se može smatrati rješenjem neizvjesnosti. U slučaju komunikacije informacija preko bučnog kanala, ovaj apstraktni koncept je 1948. godine formalizirao Claude Shannon u radu pod naslovom A Mathematical Theory of Communication, u kojem se informacija smatra skupom mogućih poruka, a cilj je da se šalju ove poruke preko šumnog kanala, i da prijemnik rekonstruiše poruku sa malom vjerovatnoćom greške, uprkos šumu kanala. Šenonov glavni rezultat, teorema kodiranja kanala sa šumom, pokazala je da je, u granicama upotrebe mnogih kanala, stopa informacija koja je asimptotski dostižna jednaka kapacitetu kanala, količini koja zavisi samo od statistike kanala preko kojeg se poruke prenose. su poslani.[4]
Teorija kodiranja bavi se pronalaženjem eksplicitnih metoda, nazvanih kodovi, za povećanje efikasnosti i smanjenje stope greške u komunikaciji podataka preko bučnih kanala na blizu kapaciteta kanala. Ovi kodovi se mogu grubo podijeliti na tehnike kompresije podataka (izvorno kodiranje) i tehnike ispravljanja grešaka (kanalno kodiranje). U potonjem slučaju, trebalo je mnogo godina da se pronađu metode koje je Šenonov rad pokazao mogućim.
Treća klasa kodova teorije informacija su kriptografski algoritmi (i kodovi i šifre ). Koncepti, metode i rezultati iz teorije kodiranja i teorije informacija se široko koriste u kriptografiji i kriptoanalizi . Pogledajte članak ban (jedinica) za historijsku primjenu.
Historijska pozadina
[uredi | uredi izvor]Značajan događaj koji je uspostavio disciplinu teorije informacija i doveo je do neposredne svjetske pažnje bilo je objavljivanje klasičnog rada Claudea E. Shannon-a "Matematička teorija komunikacije" u Bell System Technical Journalu u julu i oktobru 1948. godine.
Reference
[uredi | uredi izvor]- ^ "Claude Shannon, pioneered digital information theory". FierceTelecom (jezik: engleski). Pristupljeno 2021-04-30.
- ^ Shannon, Claude Elwood (1998). The mathematical theory of communication. Warren Weaver. Urbana: University of Illinois Press. ISBN 0-252-72546-8. OCLC 40716662.
- ^ Burnham, K. P. and Anderson D. R. (2002) Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition (Springer Science, New York) ISBN 978-0-387-95364-9.
- ^ a b F. Rieke; D. Warland; R Ruyter van Steveninck; W Bialek (1997). Spikes: Exploring the Neural Code. The MIT press. ISBN 978-0262681087. Greška kod citiranja: Neispravna oznaka
<ref>; naziv "Spikes" definiran je nekoliko puta s različitim sadržajem - ^ Delgado-Bonal, Alfonso; Martín-Torres, Javier (2016-11-03). "Human vision is determined based on information theory". Scientific Reports (jezik: engleski). 6 (1): 36038. Bibcode:2016NatSR...636038D. doi:10.1038/srep36038. ISSN 2045-2322. PMC 5093619. PMID 27808236.
- ^ cf; Huelsenbeck, J. P.; Ronquist, F.; Nielsen, R.; Bollback, J. P. (2001). "Bayesian inference of phylogeny and its impact on evolutionary biology". Science. 294 (5550): 2310–2314. Bibcode:2001Sci...294.2310H. doi:10.1126/science.1065889. PMID 11743192.
- ^ Allikmets, Rando; Wasserman, Wyeth W.; Hutchinson, Amy; Smallwood, Philip; Nathans, Jeremy; Rogan, Peter K. (1998). "Thomas D. Schneider], Michael Dean (1998) Organization of the ABCR gene: analysis of promoter and splice junction sequences". Gene. 215 (1): 111–122. doi:10.1016/s0378-1119(98)00269-8. PMID 9666097.
- ^ Jaynes, E. T. (1957). "Information Theory and Statistical Mechanics". Phys. Rev. 106 (4): 620. Bibcode:1957PhRv..106..620J. doi:10.1103/physrev.106.620.
- ^ Talaat, Khaled; Cowen, Benjamin; Anderoglu, Osman (2020-10-05). "Method of information entropy for convergence assessment of molecular dynamics simulations". Journal of Applied Physics (jezik: engleski). 128 (13): 135102. Bibcode:2020JAP...128m5102T. doi:10.1063/5.0019078. OSTI 1691442.
- ^ Bennett, Charles H.; Li, Ming; Ma, Bin (2003). "Chain Letters and Evolutionary Histories". Scientific American. 288 (6): 76–81. Bibcode:2003SciAm.288f..76B. doi:10.1038/scientificamerican0603-76. PMID 12764940. Arhivirano s originala, 2007-10-07. Pristupljeno 2008-03-11.
- ^ David R. Anderson (November 1, 2003). "Some background on why people in the empirical sciences may want to better understand the information-theoretic methods" (PDF). Arhivirano s originala (PDF), July 23, 2011. Pristupljeno 2010-06-23.
[[Kategorija:Historija matematike]] [[Kategorija:Formalne nauke]] [[Kategorija:Kibernetika]] [[Kategorija:Teorija informacije]] [[Kategorija:Pages with unreviewed translations]]