#MT01 - Come l'entropia di Shannon impone limiti fondamentali alla comunicazione
Che cos'è un messaggio, in realtà? Claude Shannon ha riconosciuto che l'ingrediente fondamentale è la sorpresa.
Questo è il primo di una serie di articoli che ci accompagneranno, durante una breve gita nella “tana del coniglio” matematico, alla scoperta di un argomento che tange - come molti altri - lo studio di #bitcoin: lo scambio di informazioni crittografate.
Traduzione dall’originale di Kevin Hartnett - pubblicato il 6 sett 2022
Per comunicare una serie di eventi casuali, come il lancio di una moneta, è necessario utilizzare molte informazioni, poiché il messaggio non è strutturato. L'entropia di Shannon misura questo vincolo fondamentale.
Se qualcuno vi dice un fatto che già conoscete, in sostanza non vi ha detto nulla. Se invece vi svela un segreto, si può dire che vi ha comunicato qualcosa.
Questa distinzione è al centro della teoria dell'informazione di Claude Shannon. Introdotta in un documento epocale del 1948, "A Mathematical Theory of Communication" (Una teoria matematica della comunicazione), fornisce un quadro matematico rigoroso per quantificare la quantità di informazioni necessarie per inviare e ricevere accuratamente un messaggio, determinata dal grado di incertezza su ciò che il messaggio inteso potrebbe dire.
È il momento di fare un esempio.
In uno scenario, ho una moneta truccata: è testa da entrambe le parti. La lancio due volte. Quante informazioni servono per comunicare il risultato? Nessuna, perché prima di ricevere il messaggio si ha la certezza assoluta che entrambi i lanci daranno esito positivo.
Nel secondo scenario eseguo i due lanci con una normale moneta: testa da una parte, croce dall'altra. Possiamo comunicare il risultato utilizzando il codice binario: 0 per testa, 1 per croce. Ci sono quattro possibili messaggi - 00, 11, 01, 10 - e ognuno richiede due bit di informazione.
Quindi, qual è il punto? Nel primo scenario si ha la certezza assoluta del contenuto del messaggio e sono necessari zero bit per trasmetterlo. Nel secondo caso si aveva una probabilità su quattro di indovinare la risposta giusta, ovvero il 25% di certezza, e il messaggio necessitava di due bit di informazioni per risolvere l'ambiguità. Più in generale, meno si sa cosa dirà il messaggio, più informazioni occorrono per trasmetterlo.
Shannon è stato il primo a rendere matematicamente precisa questa relazione. La catturò in una formula che calcola il numero minimo di bit - una soglia successivamente chiamata entropia di Shannon - necessario per comunicare un messaggio. Dimostrò inoltre che se un mittente utilizza un numero di bit inferiore a quello minimo, il messaggio verrà inevitabilmente distorto.
"Ha avuto la grande intuizione che l'informazione è massima quando si è più sorpresi di apprendere qualcosa", ha detto Tara Javidi, teorica dell'informazione presso l'Università della California, San Diego.
Il termine "entropia" è mutuato dalla fisica, dove l'entropia è una misura del disordine. Una nuvola ha un'entropia più alta di un cubetto di ghiaccio, poiché una nuvola permette di disporre le molecole d'acqua in molti più modi rispetto alla struttura cristallina di un cubetto. In modo analogo, un messaggio casuale ha un'alta entropia di Shannon - ci sono molte possibilità di disposizione delle informazioni - mentre uno che obbedisce a uno schema rigido ha un'entropia bassa. Esistono anche analogie formali nel modo in cui l'entropia viene calcolata sia in fisica che nella teoria dell'informazione. In fisica, la formula dell'entropia consiste nel prendere il logaritmo dei possibili stati fisici. Nella teoria dell'informazione, è il logaritmo dei possibili esiti degli eventi.
La formula logaritmica dell'entropia di Shannon smentisce la semplicità di ciò che cattura, perché un altro modo di pensare all'entropia di Shannon è il numero di domande "sì o no" necessarie, in media, per accertare il contenuto di un messaggio.
Per esempio, immaginiamo due stazioni meteorologiche, una a San Diego e l'altra a Saint Louis. Ciascuna vuole inviare all'altra le previsioni a sette giorni per la propria città. A San Diego c'è quasi sempre il sole, il che significa che si ha un'elevata fiducia in quello che diranno le previsioni. Il tempo a St. Louis è più incerto: la probabilità di una giornata di sole è più vicina al 50%.
Quante domande "sì o no" sarebbero necessarie per trasmettere ogni previsione a sette giorni? Per San Diego, una prima domanda utile potrebbe essere: Tutti e sette i giorni della previsione sono soleggiati? Se la risposta è sì (e c'è una buona probabilità che lo sia), avete determinato l'intera previsione con una sola domanda. Per St. Louis, invece, è necessario analizzare le previsioni un giorno alla volta: Il primo giorno è soleggiato? E il secondo?
Maggiore è la certezza del contenuto di un messaggio, minore sarà il numero di domande "sì o no" necessarie, in media, per determinarlo.
Per fare un altro esempio, consideriamo due versioni di un gioco dell'alfabeto. Nella prima, ho scelto una lettera a caso dell'alfabeto inglese e voglio che la indoviniate. Se utilizzate la migliore strategia di indovinare possibile, impiegherete in media 4,7 domande per indovinarla. (Una prima domanda utile sarebbe: "La lettera si trova nella prima metà dell'alfabeto?").
Nella seconda versione del gioco, invece di indovinare il valore di lettere casuali, si cerca di indovinare le lettere di parole inglesi vere e proprie. Ora è possibile adattare le proprie ipotesi per sfruttare il fatto che alcune lettere compaiono più spesso di altre ("È una vocale?") e che conoscere il valore di una lettera aiuta a indovinare il valore di quella successiva (q è quasi sempre seguita da u). Shannon ha calcolato che l'entropia della lingua inglese è di 2,62 bit per lettera (o 2,62 domande "sì o no"), molto meno dei 4,7 necessari se ogni lettera apparisse in modo casuale. In altre parole, i modelli riducono l'incertezza, il che rende possibile comunicare molto utilizzando relativamente poche informazioni.
Si noti che in esempi come questi è possibile porre domande migliori o peggiori. L'entropia di Shannon stabilisce un limite inviolabile: è il numero minimo assoluto di bit, o di domande "sì o no", necessarie per trasmettere un messaggio.
"Shannon ha dimostrato che esiste qualcosa di simile alla velocità della luce, un limite fondamentale", ha detto Javidi. "Ha dimostrato che l'entropia di Shannon è un limite fondamentale per quanto possiamo comprimere una fonte, senza rischiare distorsioni o perdite".
Oggi l'entropia di Shannon serve come parametro di riferimento in molte applicazioni, tra cui la tecnologia di compressione delle informazioni. La possibilità di comprimere un file cinematografico di grandi dimensioni, ad esempio, è dovuta al fatto che i colori dei pixel hanno un modello statistico, come le parole inglesi. Gli ingegneri possono costruire modelli probabilistici per gli schemi dei colori dei pixel da un fotogramma all'altro. I modelli permettono di calcolare l'entropia di Shannon assegnando dei pesi ai modelli e poi prendendo il logaritmo del peso per tutti i possibili modi in cui i pixel potrebbero apparire. Questo valore indica il limite della compressione "senza perdita", cioè il massimo assoluto che si può comprimere prima che il filmato inizi a perdere informazioni sul suo contenuto.
Le prestazioni di qualsiasi algoritmo di compressione possono essere confrontate con questo limite. Se si è lontani da questo limite, si è incentivati a lavorare di più per trovare un algoritmo migliore. Ma se ci si avvicina, si sa che le leggi dell'informazione dell'universo impediscono di fare molto meglio.
Il trailer del documentario sulla vita e le scoperte di Claude Shannon : The Bit Player
Come acquistare Bitcoin?
Personalmente, reputo il miglior servizio quello offerto da Relai.
Per acquistare bitcoin risparmiando lo 0,5% in commissioni puoi usare il codice “REL3166”.
Si tratta di un’applicazione sviluppata da un’azienda svizzera che applica una politica di KYC light: a differenza dei grandi exchange non richiede registrazioni o dati personali, tutto ciò che serve per acquistare è il tuo IBAN.
E’ lo strumento ottimale per impostare dei piani di accumulo (DCA).
Per ridurre al massimo le commissioni di acquisto, ti consiglio di:
effettuare acquisti maggiori di 100€ (-0,5%)
impostare un piano di accumulo settimanale o mensile (-0,5%)
applicare il codice invito REL3166 (-0,5%)
Una delle migliori caratteristiche è il servizio non-custodial. Gli euro bonificati a Relai vengono convertiti automaticamente in bitcoin e trasferiti su un wallet di cui sei solo tu ad avere il controllo. I grossi exchange, al contrario, non forniscono le chiavi private ai clienti. In più Relai non vende centinaia di inutili criptovalute, ma solo bitcoin.
Cosa ci guadagno? Quello che fanno guadagnare i referral code. In questo caso se acquisti usando il codice “REL3166” risparmi lo 0,5% sulle commissioni e io ricevo (in bitcoin) lo 0,5% dell’importo che hai deciso di investire.
Per ulteriori informazioni, o per effettuare il primo acquisto, premi sul pulsante sottostante e ti verrà mostrata una dettagliata guida in italiano.
NOTA - Questo NON è un messaggio pubblicitario. Relai è un servizio che utilizzo personalmente e che reputo tra i migliori sul mercato in termini di affidabilità, sicurezza e facilità d’uso. Lo consiglio spesso ad amici e parenti.