قبلا در مورد سکه‌ای صحبت کردم که شانس شیر یا خط اومدن‌اش برابر نبود. در اون جا گفتم که احتمالا برای انتخاب یک نفر از دو نفر با استفاده از این سکه یک بار انداختن سکه کافی نیست.

به طور کلی اطلاعات یک واقعه رو متناسب با احتمال رخ دادن اون واقعه تعریف می‌کنن به این ترتیب که هر چه قدر احتمال رخ دادن کم‌تر باشه، اطلاعات اون رخ‌داد بیش‌تر بوده. مثلا به این مثال توجه کنین(۱): در یک کیسه ده توپ داریم با شماره‌های صفر تا نه. توپ شماره صفر سبز رنگه و بقیه‌ی توپ‌ها قرمز رنگ هستند. اگر یک نفر به داخل کیسه دست ببره و یک توپ در بیاره و بگه که رنگش قرمزه، نتیجه‌ای که می‌شه گرفت اینه که عدد روی توپ عددی بوده بین یک تا نه. ولی اگر بگه که رنگ توپ سبزه، به قطع می‌تونیم بگیم که عدد روی توپ صفره. یعنی وقتی که رنگ توپ قرمز بود، اطلاعات خیلی کم‌تری منتقل شد به نسبت وقتی که رنگ توپ سبز بود.

اطلاعات یک واقعه با احتمال p رو برابر با

-log p

تعریف می‌کنند (مثلا در مبنای دو. در این متن تمام لگاریتم‌ها در مبنای دو هستند). در نتیجه در مثالی که گفتیم اطلاعات موجود در بیرون کشیده شدن توپ سبز برابر با

-log 0.1 = 3.32192809

بود در حالی که اطلاعات موجود در بیرون کشیده شدن توپ قرمز برابر با

-log 0.9 = 0.152003093

بود. با این ترتیب برای سکه‌ای که شانس برابر نداشته باشه، فرض کنین که احتمال اومدن شیر برابر با p باشه (و در نتیجه خط برابر با 1-p خواهد بود). با توجه به این که هر کدوم احتمال رخ دادن خودش رو داره و در صورت اتفاق افتادن هر کدوم یک مقدار اطلاعات منتقل شده، پس اطلاعاتی که از یک بار انداختن اون سکه حاصل می‌شه برابره با:

-p*log p – (1-p)*log 1-p

حالا اگر بخواهیم این شکل رو رسم کنیم، می‌تونیم نمودار اطلاعات رو بر اساس احتمال اومدن شیر بکشیم که این شکلی می‌شه (۲):

که به این معناست که اگر احتمال اومدن شیر یک‌دوم باشه، بیش‌ترین اطلاعات از انداختن سکه حاصل می‌شه و هرچه قدر که سکه به سمت ناعادلانه شدن پیش‌تر می‌ره، اطلاعات حاصل از انداختن هربار سکه کم‌تر می‌شه.

منتظر مطالب بعدی باشید!

(۱) این مثال رو از کتاب Dynamics of Complex Systems گرفتم.
(۲) شکل رو در این‌جا ساختم: http://www.walterzorn.com/grapher/grapher_e.htm