Entropi biner, uga dikenal minangka entropi Shannon, minangka konsep ing teori informasi sing ngukur ketidakpastian utawa acak variabel acak biner kanthi rong asil. Beda karo entropi klasik amarga khusus ditrapake kanggo variabel biner, dene entropi klasik bisa ditrapake kanggo variabel kanthi jumlah asil apa wae.
Kanggo mangerteni entropi biner, kita kudu ngerti konsep entropi dhewe. Entropi minangka ukuran saka jumlah rata-rata informasi utawa kahanan sing durung mesthi sing ana ing variabel acak. Iku ngitung carane ora bisa ditebak asil saka variabel acak. Ing tembung liyane, iku ngandhani carane akeh "kaget" kita bisa nyana nalika mirsani asil saka variabel acak.
Ing kasus variabel acak biner kanthi rong asil, ayo nuduhake asil kasebut minangka 0 lan 1. Entropi biner variabel iki, sing dilambangake minangka H(X), diitung nganggo rumus:
H(X) = -p(0) * log2(p(0)) – p(1) * log2(p(1))
ngendi p(0) lan p(1) minangka probabilitas kanggo ngamati asil 0 lan 1, mungguh. Logaritma dijupuk menyang basis 2 kanggo mesthekake yen nilai entropi sing diasilake diukur ing bit.
Kanggo ngetung entropi binar, kita kudu nemtokake kemungkinan saka rong asil kasebut. Yen probabilitas padha, yaiku, p(0) = p(1) = 0.5, banjur entropi biner maksimal, nuduhake kahanan sing durung mesthi maksimal. Iki amarga loro asil padha kamungkinan, lan kita ora bisa prédhiksi kang siji bakal kelakon. Ing kasus iki, entropi binar yaiku H(X) = -0.5 * log2(0.5) – 0.5 * log2(0.5) = 1 bit.
Ing sisih liya, yen siji asil luwih mungkin tinimbang liyane, entropi binar dikurangi, nuduhake kahanan sing durung mesthi. Contone, yen p(0) = 0.8 lan p(1) = 0.2, entropi biner H(X) = -0.8 * log2(0.8) – 0.2 * log2(0.2) ≈ 0.72 bit. Iki tegese, rata-rata, kita butuh kurang saka siji informasi kanggo makili asil saka variabel acak binar iki.
Wigati dicathet yen entropi biner tansah non-negatif, tegese luwih gedhe tinimbang utawa padha karo nol. Iki maksimal nalika kemungkinan saka rong asil padha lan minimalake nalika siji asil duwe kemungkinan 1 lan liyane duwe kemungkinan 0.
Entropi biner ngukur kahanan sing durung mesthi utawa acak saka variabel acak biner kanthi rong asil. Iki diwilang nggunakake rumus -p(0) * log2(p(0)) – p(1) * log2(p(1)), ngendi p(0) lan p(1) minangka probabilitas saka loro asil. . Nilai entropi sing diasilake diukur ing bit, kanthi nilai sing luwih dhuwur nuduhake kahanan sing durung mesthi luwih gedhe lan nilai sing luwih murah nuduhake kahanan sing durung mesthi.
Pitakonan lan jawaban anyar liyane babagan Entropi klasik:
- Kepiye pemahaman entropi nyumbang kanggo desain lan evaluasi algoritma kriptografi sing kuat ing bidang keamanan siber?
- Apa nilai maksimum entropi, lan nalika entuk?
- Ing kahanan apa entropi variabel acak ilang, lan apa tegese babagan variabel kasebut?
- Apa sifat-sifat matematika entropi, lan kenapa ora negatif?
- Kepiye entropi variabel acak diganti nalika kemungkinan disebarake kanthi rata ing antarane asil dibandhingake nalika bias menyang siji asil?
- Apa hubungane antarane tembung kode sing dikarepake lan entropi variabel acak ing kode dawa variabel?
- Nerangake kepiye konsep entropi klasik digunakake ing skema pengkodean dawa variabel kanggo enkoding informasi sing efisien.
- Apa sifat entropi klasik lan kepiye hubungane karo kemungkinan asil?
- Kepiye carane entropi klasik ngukur kahanan sing durung mesthi utawa acak ing sistem tartamtu?