Elementi di scienza dell’informazione.

• INFORMATICA: informazione automatica, informazione trattata con sistemi automatici (computer).
• INFORMAZIONE: dato di cui si conosce il significato, conoscenza che si trasmette.
• QUANTITA’ D’INFORMAZIONE: si misura in BIT (BINARY DIGIT), si calcola in base alla probabilità che la sorgente fornisca proprio l’informazione in esame tra tutte le informazioni possibili.

con  P=probabilità dell’evento

si ha I=quantità di informazione

I=log₂ (1/P) [bit]

esempio: lancio di una moneta  –  eventi equiprobabili :  testa P=0,5  –  croce P=0,5

      I(testa)=log₂ (1/0,5)=log₂ (2) = 1 bit

      I(croce)=log₂ (1/0,5)=log₂ (2) = 1 bit

esempio: lancio di un dado a 6 facce  eventi equiprobabili

                   * P=1/6 – ** P=1/6 – *** P=1/6 – **** P=1/6 – ***** P=1/6 – ****** P=1/6

      I(*)=log₂ (1/1/6)=log₂ (6) = 2,585 bit

      I(**)=log₂ (1/1/6)=log₂ (6) = 2,585 bit

       ……..

• ENTROPIA:il numero di bit necessari in media a memorizzare un simbolo emesso dalla sorgente; pari alla media della quantità di informazione di ogni simbolo emesso della sorgente pesata con la propria probabilità.