بیت ، آنتروپی اطلاعات شانون و کد هممینگ. چگونه می توان هر اطلاعاتی را اندازه گیری کرد و آنها را بدون از دست دادن انتقال داد. آنتروپی اطلاعات تعریف آنتروپی از دیدگاه تئوری اطلاعات

1.4 آنتروپی منبع. خصوصیات مقدار اطلاعات و آنتروپی

مقدار اطلاعات موجود در یک پیام ابتدایی x من منبع را کاملا مشخص نمی کند. منبع پیام های گسسته را می توان مشخص کرد مقدار متوسط \u200b\u200bاطلاعات در هر پیام ابتدایی ، آنتروپی منبع نامیده می شود

, من =1…ک , (1.3)

جایی که ک - اندازه الفبای پیام.

بنابراین ، آنتروپی یک معیار آماری متوسط \u200b\u200bاز عدم اطمینان دانش گیرنده از وضعیت جسم مشاهده شده است.

در عبارت (1.3) ، میانگین آماری (به عنوان مثال ، تعیین انتظار ریاضی از یک متغیر تصادفی گسسته) من (X من )) در کل مجموعه پیامهای منبع اجرا می شود. در این حالت لازم است کلیه ارتباطات احتمالی بین پیام ها در نظر گرفته شود. هرچه آنتروپی منبع بیشتر باشد ، به طور متوسط \u200b\u200bاطلاعات بیشتری در هر پیام قرار می گیرد ، به خاطر سپردن (نوشتن) یا انتقال چنین پیامی از طریق یک کانال ارتباطی دشوارتر است. بنابراین ، اصل آنتروپی شانون به شرح زیر است: آنتروپی یک متغیر تصادفی گسسته حداقل حداقل تعداد بیت هایی است که باید از طریق کانال ارتباطی در مورد مقدار فعلی متغیر تصادفی داده شده منتقل شود.

انرژی مورد نیاز برای انتقال پیام متناسب با آنتروپی (میزان متوسط \u200b\u200bاطلاعات در هر پیام) است. نتیجه این است که مقدار اطلاعات در توالی از N پیام ها با تعداد این پیام ها و آنتروپی منبع تعیین می شوند ، یعنی

من (N)=NH(ایکس) .

آنتروپی به عنوان اندازه گیری کمی محتوای اطلاعات یک منبع دارای موارد زیر است خواص:

1) اگر حداقل یکی از پیام ها قابل اعتماد باشد آنتروپی صفر است (به عنوان مثال این احتمال وجود دارد) p i = 1);

2) مقدار آنتروپی همیشه بیشتر یا برابر با صفر ، معتبر و محدود است.

3) آنتروپی یک منبع با دو رویداد جایگزین می تواند از 0 تا 1 باشد.

4) آنتروپی یک مقدار افزودنی است: آنتروپی منبعی که پیامهای آن متشکل از پیامهای چندین منبع آماری مستقل است ، برابر با جمع آنتروپی های این منابع است.

5) اگر همه پیامها به یک اندازه محتمل باشند ، انتروپی حداکثر خواهد بود

. (1.4)

در صورت پیام های نابرابر ایکس من آنتروپی کاهش می یابد. در این راستا ، چنین معیار منبع به عنوان افزونگی آماری الفبای منبع معرفی شده است

, (1.5)

جایی که ح (ایکس ) - آنتروپی یک منبع واقعی ؛ ح (ایکس ) حداکثر= ورود به سیستم 2 ک حداکثر آنتروپی منبع قابل دستیابی است.

افزونگی منبع اطلاعات تعیین شده توسط فرمول (1.5) از ذخیره اطلاعات پیام ها صحبت می کند ، عناصر آن نابرابر است.

این مفهوم نیز وجود دارد افزونگی معنایی ، که از این واقعیت ناشی می شود که هر فکری که در پیام جملاتی از زبان انسان وجود دارد ، می تواند به روشی کوتاهتر صورت بندی شود. اعتقاد بر این است که اگر هر پیامی بدون از دست دادن محتوای معنایی آن کوتاه شود ، در آن صورت افزونه معنایی وجود دارد.

متغیرهای تصادفی گسسته را در نظر بگیرید (d.v.) ایکس و بله قوانین توزیع داده شده است پ (ایکس = X من )= p i , پ (بله = Y j )= q j و توزیع مشترک پ (ایکس = X من , بله = Y j )= p ij ... سپس مقدار اطلاعات موجود در پرونده با. که در. X نسبت به d از. که در. بله ، با فرمول تعیین می شود

. (1.6)

برای متغیرهای تصادفی پیوسته (r.v.) ایکس و بله با تراکم توزیع احتمال داده می شود ر ایکس (تی 1 ) , ر بله (تی 2 ) و ر XY (تی 1 , تی 2 ) ، یک فرمول مشابه دارای فرم است

واضح است که

از این رو

آنهایی که ما برای محاسبه آنتروپی به عبارت (1.3) می رسیم ح (ایکس ) .

ویژگی های مقدار اطلاعات و آنتروپی:

1) من (ایکس , بله ) ≥ 0 ; من (ایکس , بله ) =0 Û ایکس و بله مستقل (یک متغیر تصادفی دیگری را به هیچ وجه توصیف نمی کند).

2) من (ایکس، بله ) =من(Y ، ایکس ) ;

3) Hx =0 Û X \u003d ساختار ;

4) من (X ، Y) \u003d HX + HY-H (X ، Y) , جایی که ;

5) من (X ، Y) ≤ من (X ، X) ؛ I (X، Y) \u003d I (X، X) Þ X \u003d f (Y) .

س Tالات آزمون

1 چه نوع اطلاعاتی وجود دارد؟

2 چگونه اطلاعات مداوم را به فرم گسسته (دیجیتال) تبدیل کنیم؟

3 میزان نمونه برداری از اطلاعات مداوم چقدر است؟

4 قضیه گسسته سازی چگونه تدوین می شود؟

5 اطلاعات ، کدگذاری ، کانال ارتباطی ، نویز چیست؟

6 مفاد اصلی رویکرد احتمالی شانون در تعیین میزان اطلاعات چیست؟

7 میزان اطلاعات موجود در یک پیام از یک منبع گسسته چگونه تعیین می شود؟

8 میزان اطلاعات هر پیام منبع پیامهای متقابل چگونه تعیین می شود؟

9 آنتروپی منبع چیست؟ چه خصوصیاتی دارد؟

10 در چه شرایطی آنتروپی منبع حداکثر است؟

11 میزان اطلاعات چگونه تعیین می شود؟ خصوصیات مقدار اطلاعات چیست؟

12 علت افزونگی آماری منبع اطلاعات چیست؟

جان پری بارلو ، شاعر و مقاله نویس مقاله آمریکایی نوشت: "اطلاعات نوعی زندگی است." در واقع ، ما دائماً با كلمه "اطلاعات" روبرو هستیم - آنها دریافت ، انتقال و ذخیره می شوند. دانستن پیش بینی هوا یا نتیجه یک مسابقه فوتبال ، محتوای یک فیلم یا کتاب ، صحبت تلفنی - همیشه مشخص است که با چه نوع اطلاعاتی روبرو هستیم. اما اینکه خود اطلاعات چیست و از همه مهمتر ، اینکه چگونه می توان آن را اندازه گرفت ، هیچ کس معمولاً به آن فکر نمی کند. در همین حال ، اطلاعات و روش های انتقال آن نکته مهمی است که زندگی ما را تا حد زیادی تعیین می کند ، فناوری های اطلاعاتی جزئی جدایی ناپذیر از آن شده اند. ویراستار علمی نشریه Laba.Media ولادیمیر گوبایلوفسکی توضیح می دهد که اطلاعات چیست ، چگونه می توان آنها را اندازه گیری کرد و چرا دشوارترین کار انتقال اطلاعات بدون تحریف است.

فضای حوادث تصادفی

در سال 1946 ، جان توکی آماری آمریكایی نام BIT (BIT ، BInary digiT - "عدد باینری" - "High-tech") - یكی از مفاهیم اصلی قرن 20 را مطرح كرد. توکی برای نشان دادن یک رقم باینری که می تواند مقدار 0 یا 1 را انتخاب کند ، کمی انتخاب کرد. اما این تنها مفهومی نیست که شانون در مقاله خود معرفی و بررسی کرده است.

فضایی از وقایع تصادفی را تصور کنید که شامل پرتاب یک سکه تقلبی با عقاب در هر دو طرف باشد. چه موقع سر می افتد؟ همیشه روشن است. ما این را از قبل می دانیم ، زیرا فضای ما به این ترتیب است. Head-up یک رویداد قابل اعتماد است ، یعنی احتمال آن 1 است. اگر بگوییم Heads Down چقدر اطلاعات خواهیم داد؟ نه ما مقدار اطلاعات موجود در چنین پیامی را 0 در نظر خواهیم گرفت.

حالا بیایید سکه صحیح را ورق بزنیم: از یک طرف آن سر دارد ، و از طرف دیگر دم است ، همانطور که باید باشد. سر یا دم افتادن دو رویداد متفاوت خواهد بود که فضای رویدادهای تصادفی ما را تشکیل می دهد. اگر نتیجه یک پرتاب را گزارش کنیم ، در واقع اطلاعات جدید خواهد بود. ما روی سر ، 0 و دمها را گزارش خواهیم داد. 1. برای برقراری ارتباط این اطلاعات ، فقط به 1 بیت نیاز داریم.

چه چیزی تغییر کرد؟ عدم اطمینان در فضای حوادث ما ظاهر شده است. ما چیزی داریم که می توانیم در مورد او به کسی بگوییم که خودش سکه نمی اندازد و نتیجه پرتاب را نمی بیند. اما برای درک صحیح پیام ما ، او باید دقیقاً بداند که ما در حال انجام چه کاری هستیم ، معنای 0 و 1. فضاهای رویداد ما باید مطابقت داشته باشند و روند رمزگشایی باید نتیجه پرتاب را به طور منحصر به فرد بازسازی کند. اگر فضای رویداد انتقال و دریافت همزمان نباشد یا امکان رمزگشایی بدون ابهام پیام وجود نداشته باشد ، اطلاعات فقط نویز در کانال ارتباطی باقی می ماند.

اگر دو سکه به طور مستقل و همزمان پرتاب شوند ، چهار نتیجه متفاوت احتمالاً وجود دارد: سر-سر ، سر-دم ، دم-سر و دم-دم. برای انتقال اطلاعات ، ما به 2 بیت نیاز داریم و پیام های ما به صورت زیر خواهد بود: 00 ، 01 ، 10 و 11. اطلاعات دو برابر شده است. این اتفاق افتاد زیرا عدم اطمینان افزایش یافت. اگر بخواهیم نتیجه چنین پرتابی مضاعف را حدس بزنیم ، دو برابر احتمال اشتباه داریم.

هرچه عدم اطمینان فضای رویداد بیشتر باشد ، اطلاعات بیشتری در مورد وضعیت پیام در آن وجود دارد.

بیایید فضای رویداد خود را کمی پیچیده کنیم. تاکنون همه وقایع رخ داده به یک اندازه محتمل بوده اند. اما در فضاهای واقعی ، همه وقایع به یک اندازه محتمل نیستند. بیایید بگوییم احتمال سیاه بودن کلاغی که می بینیم نزدیک به 1 است. احتمال اینکه اولین عابری که در خیابان با آن روبرو می شویم مرد باشد حدود 0/5 است. اما دیدار با یک تمساح در خیابان های مسکو تقریباً باورنکردنی است. به صورت شهودی ، ما می فهمیم که پیام مربوط به ملاقات با تمساح دارای ارزش اطلاعاتی بسیار بیشتری نسبت به یک زاغ سیاه است. هرچه احتمال یک رویداد کمتر باشد ، اطلاعات بیشتری در مورد پیام چنین رویدادی در پیام وجود دارد.

حتی اگر فضای رویداد خیلی عجیب و غریب نباشد. ما فقط کنار پنجره می ایستیم و ماشین های عبوری را تماشا می کنیم. ماشین های چهار رنگ در حال عبور هستند که باید گزارش دهیم. برای این کار ، ما رنگها را کد می کنیم: سیاه - 00 ، سفید - 01 ، قرمز - 10 ، آبی - 11. برای گزارش اینکه کدام ماشین عبور کرده است ، فقط باید 2 بیت اطلاعات را انتقال دهیم.

اما پس از مدت طولانی تماشای اتومبیل ها ، متوجه می شویم که رنگ خودروها به طور ناهمگونی توزیع شده است: سیاه - 50٪ (هر ثانیه) ، سفید - 25٪ (هر چهارم) ، قرمز و آبی - 12.5٪ (هر هشتم). سپس می توانید اطلاعات ارسالی را بهینه کنید.

بیشتر از همه اتومبیل های سیاه ، بنابراین اجازه دهید سیاه - 0 - کوتاه ترین کد را نشان دهیم ، و اجازه دهید کد همه بقیه با 1 شروع شود. از نیمه باقی مانده سفید - 10 ، و رنگ های باقی مانده از 11 شروع می شود. در نتیجه ، ما قرمز - 110 و آبی - 111 را نشان می دهیم.

اکنون ، با انتقال اطلاعات در مورد رنگ اتومبیل ها ، می توانیم آن را با تراکم بیشتری رمزگذاری کنیم.

آنتروپی شانون

اجازه دهید فضای رویداد ما شامل n رویداد مختلف باشد. هنگام پرتاب یک سکه با دو سر ، دقیقاً یک واقعه وجود دارد ، هنگام پرتاب یک سکه صحیح - 2 ، هنگام پرتاب دو سکه یا تماشای اتومبیل - 4. هر رویداد احتمال وقوع آن را دارد. وقتی سکه ای با دو سر پرتاب می شود ، واقعه (سر) یک و احتمال آن p1 \u003d 1 است. وقتی سکه صحیح پرتاب می شود ، دو واقعه وجود دارد ، به یک اندازه محتمل هستند و احتمال هر کدام 0.5 است: p1 \u003d 0.5 ، p2 \u003d 0.5. هنگام پرتاب دو سکه صحیح ، چهار رویداد وجود دارد ، همه آنها به یک اندازه محتمل هستند و احتمال هر کدام 0.25 است: p1 \u003d 0.25 ، p2 \u003d 0.25 ، p3 \u003d 0.25 ، p4 \u003d 0.25. هنگام مشاهده اتومبیل ، چهار رویداد وجود دارد و آنها احتمالات مختلفی دارند: سیاه - 0.5 ، سفید - 0.25 ، قرمز - 0.125 ، آبی - 0.125: p1 \u003d 0.5 ، p2 \u003d 0.25 ، p3 \u003d 0.125 ، p4 \u003d 0.125.

این یک تصادف نیست. شانون آنتروپی (معیار عدم اطمینان در فضای حوادث) را به گونه ای انتخاب کرد که سه شرط برآورده شود:

• 1 آنتروپی یک رویداد خاص با احتمال 1 0 است.

• آنتروپی دو واقعه مستقل برابر است با مجموع آنتروپی این وقایع.

• اگر همه وقایع به یک اندازه محتمل باشند ، آنتروپی حداکثر است.

همه این الزامات کاملاً منطبق با ایده های ما درباره عدم اطمینان فضای رویداد است. اگر فقط یک واقعه وجود داشته باشد (مثال اول) ، عدم قطعیت وجود ندارد. اگر وقایع مستقل باشند - عدم قطعیت مبلغ برابر است با مجموع عدم قطعیت ها - آنها به سادگی جمع می شوند (به عنوان مثال با پرتاب دو سکه). و سرانجام ، اگر همه وقایع به یک اندازه محتمل باشند ، درجه عدم اطمینان سیستم حداکثر است. همانطور که در مورد پرتاب دو سکه ، هر چهار رویداد به یک اندازه محتمل هستند و آنتروپی 2 است ، این بیشتر از مورد اتومبیل است ، زمانی که چهار رویداد نیز وجود دارد ، اما آنها احتمالات مختلفی دارند - در این حالت ، آنتروپی 1.75 است.

کمیت H نقش اصلی را در نظریه اطلاعات به عنوان سنجشی از میزان اطلاعات ، انتخاب و عدم اطمینان بازی می کند.

کلود شانون

کلود الوود شانون - مهندس ، رمزنگار و ریاضیدان آمریکایی. "پدر عصر اطلاعات" در نظر گرفته شده است. بنیانگذار تئوری اطلاعات ، که در سیستم های ارتباطی مدرن و پیشرفته کاربرد دارد. مفاهیم بنیادی ، ایده ها و فرمول های ریاضی آنها را ارائه می دهد که در حال حاضر پایه و اساس فناوری های ارتباطی مدرن هستند.

در سال 1948 ، وی پیشنهاد كرد كه از كلمه "بیت" برای اشاره به كوچكترین واحد اطلاعات استفاده كند. وی همچنین نشان داد که آنتروپی که معرفی کرده برابر است با میزان عدم اطمینان اطلاعات در پیام ارسالی. مقالات "نظریه ارتباطات ریاضی" و "نظریه ارتباطات در سیستم های مخفی" شنون برای تئوری اطلاعات و رمزنگاری اساسی محسوب می شوند.

در طول جنگ جهانی دوم ، شانون درگیر توسعه سیستم های رمزنگاری در آزمایشگاه های بل بود که بعداً به او کمک کرد تا روش های کدگذاری تصحیح خطا را کشف کند.

شانون در تئوری طرح های احتمالی ، نظریه بازی ها ، تئوری اتومات ها و نظریه سیستم های کنترل - حوزه های علمی که در مفهوم "سایبرنتیک" گنجانده شده است ، سهم عمده ای داشت.

برنامه نویسی

سکه های انداخته شده و ماشین های عبوری مانند اعداد 0 و 1 نیستند. برای گزارش وقایع در فضا ، شما باید راهی برای توصیف این وقایع ارائه دهید. این توصیف رمزگذاری نامیده می شود.

شما می توانید پیام ها را به تعداد بی نهایت از راه های مختلف رمزگذاری کنید. اما شانون نشان داد که کوتاه ترین کد نمی تواند در بیت کمتر از آنتروپی باشد.

به همین دلیل است که آنتروپی یک پیام اندازه گیری اطلاعات در یک پیام است. از آنجا که در تمام موارد در نظر گرفته شده ، تعداد بیت ها هنگام رمزگذاری برابر با آنتروپی است ، بنابراین کدگذاری بهینه بود. به طور خلاصه ، دیگر نمی توان پیام های مربوط به رویدادها را در فضاهای ما رمزگذاری کرد.

با کدگذاری بهینه ، هیچ بیت منتقل شده ای در پیام از بین نمی رود یا تحریف می شود. اگر حتی یک بیت از بین برود ، اطلاعات تحریف می شوند. اما همه کانالهای ارتباطی واقعی 100٪ اطمینان ندارند که تمام بیتهای پیام بدون تحریف به گیرنده می رسند.

برای رفع این مشکل ، باید کد خود را به جای اینکه بهینه باشد ، اضافی کنید. به عنوان مثال ، برای ارسال همراه با پیام ، مجموع کنترل آن - یک مقدار محاسبه شده ویژه که هنگام تبدیل کد پیام بدست می آید و با محاسبه مجدد پیام ، می توان آن را بررسی کرد. اگر مجموعه چک منتقل شده با یک محاسبه شده مطابقت داشته باشد ، احتمال انتقال بدون خطا کاملاً زیاد خواهد بود. و اگر مجموعه چک مطابقت ندارد ، شما باید درخواست انتقال مجدد دهید. امروزه بیشتر کانالهای ارتباطی به این ترتیب کار می کنند ، به عنوان مثال هنگام انتقال بسته های اطلاعاتی از طریق اینترنت.

پیام های زبان طبیعی

فضای رویداد را در نظر بگیرید که متشکل از پیام های زبان طبیعی است. این یک مورد خاص است ، اما یکی از مهمترین موارد است. وقایع در اینجا با حروف (حروف الفبا ثابت) منتقل می شوند. این نویسه ها در زبان با احتمالات مختلف یافت می شوند.

متداول ترین شخصیت (یعنی همان چیزی که بیشتر اوقات در تمام متون نوشته شده به زبان روسی وجود دارد) یک فضا است: از هزار شخصیت به طور متوسط \u200b\u200b، یک فضا 175 بار اتفاق می افتد. دومین رایج ترین نماد "o" - 90 ، و به دنبال آن مصوت های دیگر است: "e" (یا "e" - ما آنها را تشخیص نخواهیم داد) - 72 ، "a" - 62 ، "i" - 62 ، و فقط بیشتر اولین صامت "t" 53 است. و نادرترین "f" - این نماد فقط دو بار در هر هزار کاراکتر رخ می دهد.

ما از الفبای 31 حرفی زبان روسی استفاده خواهیم کرد (با "e" و "ё" و همچنین "b" و "b" تفاوت ندارد). اگر تمام حروف در زبان با احتمال یکسانی اتفاق بیفتند ، آنتروپی برای هر نماد H \u003d 5 بیت خواهد بود ، اما اگر فرکانس های واقعی نمادها را در نظر بگیریم ، آنتروپی کمتر خواهد بود: H \u003d 4.35 بیت. (این تقریبا نیمی از اندازه رمزگذاری سنتی است ، هنگامی که یک کاراکتر به عنوان بایت منتقل می شود - 8 بیت).

اما آنتروپی نماد در زبان حتی کمتر است. احتمال ظهور کاراکتر بعدی کاملاً با میانگین فرکانس کاراکتر در همه متن ها از قبل تعیین نشده است. اینکه کدام کاراکتر دنبال می شود به شخصیت های منتقل شده بستگی دارد. به عنوان مثال ، در روسی مدرن ، یک نماد همخوان نمی تواند از نماد "b" پیروی کند. پس از دو مصوت متوالی "e" ، مصوت سوم "e" به ندرت دنبال می شود ، مگر در کلمه "گردن بلند". یعنی شخصیت بعدی تا حدودی از پیش تعیین شده است. اگر چنین پیش تعیین شده ای از شخصیت بعدی را در نظر بگیریم ، عدم اطمینان (یعنی اطلاعات) کاراکتر بعدی حتی کمتر از 35/4 خواهد بود. طبق برخی تخمین ها ، کاراکتر بعدی در روسی بیش از 50٪ از قبل توسط ساختار زبان تعیین می شود ، یعنی با کدگذاری بهینه ، می توان با حذف نیمی از حروف از پیام ، تمام اطلاعات را انتقال داد.

نکته دیگر این است که هر حرفی را نمی توان بدون درد پاک کرد. به عنوان مثال ، خط "فرکانس بالا" (و به طور کلی مصوت ها) به راحتی قابل عبور است ، اما "f" یا "e" نادر کاملاً مشکل ساز است.

زبان طبیعی که با آن ارتباط برقرار می کنیم بسیار زائد است و بنابراین قابل اعتماد است ، اگر چیزی را بشنویم - ترسناک نیست ، اطلاعات همچنان منتقل می شود.

اما تا زمانی که شانون مقداری از اطلاعات را معرفی نکرد ، ما نمی توانستیم درک کنیم که زبان زائد است و تا چه حد می توانیم پیام ها را فشرده کنیم (و چرا پرونده های متنی توسط بایگانی به خوبی فشرده می شوند).

افزونگی زبان طبیعی

در مقاله "درباره چگونگی استفاده ما از متن" (نام اینگونه به نظر می رسد!) ، قطعه ای از رمان "لانه اشرافی" ایوان تورگنیف گرفته شد و مورد تغییر و تحول قرار گرفت: 34٪ نامه ها از قسمت حذف شدند ، اما نامه های تصادفی نبودند. حروف اول و آخر کلمات باقی مانده است ، فقط حروف صدادار حذف شده اند ، و نه همه. هدف فقط این نبود که بتوانیم تمام اطلاعات را از متن تبدیل شده بازیابی کنیم ، بلکه اطمینان حاصل کنیم که شخصی که این متن را می خواند به دلیل از دست دادن حروف ، مشکلات خاصی را تجربه نکرده است.

چرا خواندن این متن خراب نسبتاً آسان است؟ این واقعاً شامل اطلاعاتی است که شما برای بازیابی کل کلمات نیاز دارید. گوینده بومی زبان روسی مجموعه خاصی از وقایع (کلمات و جملات کامل) را دارد که در شناسایی از آنها استفاده می کند. علاوه بر این ، شرکت حامل همچنین ساختارهای استاندارد زبان در اختیار دارد که به او در بازیابی اطلاعات کمک می کند. برای مثال، "او بلا بلا بلا بلا است." - با احتمال زیاد می توان اینگونه خواند "او حساس تر بود"... اما این عبارت را جداگانه بگیرید "She blah blah"ترجیح داده می شود به عنوان بازیابی شود "او سفیدتر بود"... از آنجا که در ارتباطات روزمره ما با کانالهایی سروکار داریم که در آنها صدا و تداخل وجود دارد ، ما در بازیابی اطلاعات بسیار ماهر هستیم ، اما فقط آنهایی را که از قبل می دانیم. به عنوان مثال ، عبارت "لعنت به او ، او خوب نیست ، htya nmngo rsphli و spll" بخواند به جز کلمه آخر "Splls" - "پاشیده شده"... این کلمه در فرهنگ لغت جدید نیست. سریع خواندن کلمه "Splls" بیشتر شبیه "به هم چسبیده" خوانده می شود ، با کندی - فقط گیج کننده.

دیجیتالی شدن سیگنال

صدا یا ارتعاشات صوتی ، سینوسی است. این را می توان برای مثال در صفحه ویرایشگر صدا مشاهده کرد. برای انتقال دقیق صدا ، به تعداد بی نهایت مقادیر - یک موج سینوسی کامل نیاز دارید. این با اتصال آنالوگ امکان پذیر است. او آواز می خواند - شما در حال گوش دادن هستید ، تماس تا زمانی که آهنگ ادامه ندارد قطع نمی شود.

با ارتباط دیجیتال از طریق یک کانال ، ما فقط می توانیم تعداد محدودی از مقادیر را منتقل کنیم. آیا این بدان معنی است که نمی توان صدا را به طور دقیق بازتولید کرد؟ معلوم نیست که

اصوات مختلف یک سینوسی متفاوت تغییر یافته است. ما فقط مقادیر گسسته (فرکانس ها و دامنه ها) را انتقال می دهیم ، و خود سینوسوئید نیازی به انتقال ندارد - می تواند توسط دستگاه گیرنده تولید شود. این یک سینوسی تولید می کند و مدولاسیون روی آن سوار می شود که از مقادیر منتقل شده روی کانال ارتباطی ایجاد می شود. اصول دقیقی وجود دارد که مقادیر گسسته باید منتقل شود تا صدای ورودی کانال ارتباطی با صدای خروجی همزمان شود ، جایی که این مقادیر روی برخی سینوسی های استاندارد قرار می گیرند (این دقیقاً قضیه کوتلنیکوف است).

قضیه کوتلنیکوف (در ادبیات انگلیسی زبان - The Nyquist - قضیه شانون ، قضیه نمونه برداری) - یک بیانیه اساسی در زمینه پردازش سیگنال دیجیتال ، پیوند سیگنال های پیوسته و گسسته و بیان اینکه "هر عملکرد F (t) ، متشکل از فرکانس های 0 تا f1 ، می تواند به طور مداوم با استفاده از اعدادی که از طریق یکدیگر دنبال می شوند از طریق 1 به طور مداوم منتقل شود. / (2 * f1) ثانیه

برنامه نویسی ضد صدا کدهای همینگ

اگر متن رمزگذاری شده ایوان تورگنیف از طریق یک کانال غیرقابل اعتماد ، البته با تعداد مشخصی خطا ، منتقل شود ، متنی کاملاً معنی دار دریافت می کنید. اما اگر لازم باشد همه چیز را تا حدی انتقال دهیم ، این کار حل نخواهد شد: ما نمی دانیم کدام بیت اشتباه است ، زیرا خطا تصادفی است. حتی کنکور هم همیشه کار نمی کند.

به همین دلیل است که امروزه ، آنها هنگام انتقال داده از طریق شبکه ها ، نه به کدنویسی مطلوب ، که در آن حداکثر مقدار اطلاعات را می توان به کانال هدایت کرد ، بلکه به سمت کدنویسی (به وضوح مازاد) که می توان خطاها را در آن بازیابی کرد ، تلاش می کنند - به همان روشی که ما کلمات را بازیابی کردیم. قطعه ایوان تورگنف.

کدهای مخصوص تصحیح خطا وجود دارد که به شما امکان می دهد اطلاعات را پس از خرابی بازیابی کنید. یکی از آنها کد Hamming است. بیایید بگوییم کل زبان ما از سه کلمه تشکیل شده است: 111000 ، 001110 ، 100011. این کلمات هم توسط منبع پیام و هم از طریق گیرنده شناخته می شوند. و ما می دانیم که خطاهایی در کانال ارتباطی رخ می دهد ، اما هنگام انتقال یک کلمه ، بیش از یک بیت اطلاعات تحریف نمی شود.

فرض کنید ما ابتدا کلمه 111000 را رد می کنیم. در نتیجه حداکثر یک خطا (خطاهای برجسته شده را نشان می دهیم) ، می تواند به یکی از کلمات تبدیل شود:

1) 111000, 0 11000, 10 1000, 110 000, 1111 00, 11101 0, 111001 .

هنگام انتقال کلمه 001110 ، هر یک از کلمات می توانند تبدیل شوند:

2) 001110, 1 01110, 01 1110, 000 110, 0010 10, 00110 0, 001111 .

سرانجام ، برای 100011 می توانیم در محل پذیرش شرکت کنیم:

3) 100011, 0 00011, 11 0011, 101 011, 1001 11, 10000 1, 100010 .

توجه داشته باشید که هر سه لیست با هم جفت نیستند. به عبارت دیگر ، اگر کلمه ای از لیست 1 در انتهای کانال ارتباطی ظاهر شود ، گیرنده با اطمینان می داند که کلمه 111000 بوده است که به او منتقل شده است و اگر کلمه ای از لیست 2 ظاهر شود ، کلمه 001110 و از لیست 3 ، کلمه 100011 است. در این حالت گفته می شود کد ما یک اشکال را برطرف کرده است.

این مشکل به دلیل دو عامل بود. اول ، گیرنده کل "فرهنگ لغت" را می داند، یعنی فضای رویداد گیرنده پیام همان فضای فرستنده پیام است. وقتی کد فقط با یک خطا منتقل شد ، کلمه ای تولید شد که در فرهنگ لغت نبود.

ثانیاً ، کلمات موجود در فرهنگ لغت به روش خاصی انتخاب شده اند. حتی اگر خطایی رخ دهد ، گیرنده نمی تواند یک کلمه را با کلمه دیگری اشتباه بگیرد. به عنوان مثال ، اگر فرهنگ لغت از کلمات "دختر" ، "نقطه" ، "دست انداز" تشکیل شده باشد و انتقال آن "vochka" باشد ، پس گیرنده ، با دانستن اینکه چنین کلمه ای وجود ندارد ، نمی تواند خطا را اصلاح کند - هر یک از سه کلمه ممکن است باشد درست. اگر فرهنگ لغت شامل "نقطه" ، "جکدا" ، "شاخه" باشد و ما می دانیم که بیش از یک اشتباه مجاز نیست ، پس "vochka" به طور واضح "نقطه" است ، نه "جکدا". در کدهای تصحیح خطا ، کلمات به گونه ای انتخاب می شوند که حتی پس از اشتباه نیز "قابل تشخیص" باشند. تنها تفاوت این است که فقط دو حرف در کد "الفبا" وجود دارد - صفر و یک.

افزونگی چنین کدگذاری بسیار زیاد است و تعداد کلماتی که از این طریق می توانیم منتقل کنیم نسبتاً کم است. از این گذشته ، ما باید هر واژه ای را که در صورت خطا ممکن است با کل لیست مربوط به کلمات ارسالی مطابقت داشته باشد از فرهنگ لغت حذف کنیم (به عنوان مثال فرهنگ لغت نمی تواند حاوی کلمات "دختر" و "نقطه" باشد). اما انتقال دقیق پیام آنقدر مهم است که تلاش زیادی برای مطالعه کدهای تصحیح خطا صرف می شود.

احساس

مفاهیم آنتروپی (یا عدم اطمینان و غیرقابل پیش بینی بودن) پیام و افزونگی (یا از پیش تعیین و پیش بینی بودن) بسیار طبیعی با ایده های شهودی ما در مورد اندازه گیری اطلاعات مطابقت دارند. هرچه پیام غیرقابل پیش بینی باشد (هر چه آنتروپی آن بیشتر باشد ، زیرا احتمال آن کمتر است) ، اطلاعات بیشتری نیز در آن حمل می شود. احساس (به عنوان مثال ، ملاقات با تمساح در Tverskaya) یک اتفاق نادر است ، قابل پیش بینی بودن آن بسیار ناچیز است و بنابراین ارزش اطلاعات بالا است. غالباً اخبار را اطلاعات می نامند - پیامهایی درباره وقایعی که به تازگی اتفاق افتاده اند و ما هنوز چیزی درباره آنها نمی دانیم. اما اگر تقریباً با همان کلمات در مورد آنچه اتفاق افتاده برای بار دوم و سوم به ما بگویید ، افزونگی پیام بسیار زیاد خواهد بود ، غیرقابل پیش بینی بودن آن به صفر می رسد و ما به سادگی گوش نخواهیم داد ، بلندگو را با کلمات "من می دانم ، می دانم" مسواک می زنیم. بنابراین ، رسانه ها بسیار تلاش می کنند تا اولین باشند. این مطابقت با حس شهودی تازگی است ، که اخبار واقعاً غیر منتظره ای را به وجود می آورد و در این واقعیت که مقاله شانون ، که اصلاً برای مخاطب عظیم در نظر گرفته نشده بود ، به یک احساس تبدیل شد که توسط مطبوعات انتخاب شد ، به عنوان یک کلید جهانی برای درک طبیعت توسط دانشمندان از تخصص های مختلف - از زبان شناسان و دانشمندان ادبیات گرفته تا زیست شناسان.

ولی مفهوم شانون از اطلاعات یک نظریه ریاضی دقیق است، و کاربرد آن خارج از تئوری ارتباطات بسیار غیر قابل اعتماد است. اما در خود نظریه ارتباطات ، نقشی اساسی دارد.

اطلاعات معنایی

شانون ، با معرفی مفهوم آنتروپی به عنوان معیاری از اطلاعات ، فرصتی پیدا کرد تا با اطلاعات کار کند - اول از همه ، برای اندازه گیری آنها و ارزیابی ویژگی هایی مانند ظرفیت کانال یا بهینه بودن کدگذاری. اما فرض اصلی که به شانون اجازه داد با موفقیت با اطلاعات کار کند این فرض بود که تولید اطلاعات یک فرایند تصادفی است که می تواند از نظر تئوری احتمال با موفقیت توصیف شود. اگر فرآیند تصادفی نباشد ، یعنی از قوانین پیروی کند (بعلاوه ، همیشه روشن نیست ، همانطور که با زبان طبیعی اتفاق می افتد) ، بنابراین استدلال شانون برای آن قابل اجرا نیست. هر آنچه شانون می گوید هیچ ارتباطی با معنی بودن اطلاعات ندارد.

در حالی که ما در مورد نمادها (یا حروف الفبا) صحبت می کنیم ، ممکن است در مورد وقایع تصادفی فکر کنیم ، اما به محض رسیدن به کلمات زبان ، وضعیت به طرز چشمگیری تغییر می کند. گفتار فرایندی است که به روشی خاص سازمان یافته است و در اینجا ساختار پیام از نمادهایی که با آن منتقل می شود اهمیت کمتری ندارد.

تا همین اواخر ، به نظر می رسید که ما نمی توانیم کاری انجام دهیم تا حداقل به نوعی به اندازه گیری معناداری متن نزدیک شویم ، اما در سال های اخیر وضعیت شروع به تغییر کرده است. و این در درجه اول به دلیل استفاده از شبکه های عصبی مصنوعی برای کارهای ترجمه ماشینی ، انتزاع خودکار متون ، استخراج اطلاعات از متن ها ، تولید گزارش به زبان طبیعی است. در همه این وظایف ، تغییر شکل ، رمزگذاری و رمزگشایی اطلاعات معنی دار موجود در زبان طبیعی رخ می دهد. و ایده از دست دادن اطلاعات در طول چنین تغییراتی به تدریج در حال ظهور است ، که به معنی - در مورد اندازه گیری اطلاعات معنی دار است. اما امروز وضوح و دقتی که نظریه اطلاعات شانون در این مشکلات دشوار دارد هنوز وجود ندارد.

کلود الوود شانون (1916-2001) -
مهندس و ریاضیدان آمریکایی ،
بنیانگذار تئوری اطلاعات ،
آنهایی که نظریه پردازش ، انتقال
و ذخیره اطلاعات

کلود شانون برای اولین بار شروع به تفسیر پیام ها و صداهای منتقل شده در کانال های ارتباطی از نظر آمار ، با در نظر گرفتن مجموعه متناهی و پیوسته پیام ها کرد. کلود شانون نامیده می شود "پدر نظریه اطلاعات".

یکی از مشهورترین آثار علمی کلود شانون مقاله وی است "نظریه ریاضی ارتباطات"در سال 1948 منتشر شد.

در این کار ، شانون ، با کاوش در مسئله انتقال منطقی اطلاعات از طریق یک کانال ارتباطی پر سر و صدا ، یک روش احتمالی برای درک ارتباطات را ارائه داد ، اولین تئوری آنتروپی را به طور واقعی ریاضی ، به عنوان معیار تصادفی ایجاد کرد و مقیاس توزیع گسسته را معرفی کرد. پ احتمالات روی مجموعه ای از حالتهای جایگزین فرستنده و گیرنده پیام.

شانون الزاماتی را برای اندازه گیری آنتروپی تعیین کرد و فرمولی را بدست آورد که مبنای تئوری اطلاعات کمی قرار گرفت:

H (p).

اینجا n - تعداد نویسه هایی که پیام (الفبا) از آنها می تواند تشکیل شود ، ح - آنتروپی دودویی اطلاعات .

در عمل ، مقادیر احتمالات p i در فرمول فوق ، تخمین های آماری را جایگزین آنها کنید: p i - فراوانی نسبی منشخصیت هفتم در پیام ، کجا N - تعداد کل نویسه های پیام ، N من - فرکانس مطلق منشخصیت th در پیام ، به عنوان مثال شماره وقوع منشخصیت هفتم در پیام.

شانون در مقدمه مقاله خود "نظریه ریاضیات ارتباطات" خاطرنشان می کند که در این مقاله او نظریه ارتباطات را گسترش می دهد ، مفاد اصلی آن در کارهای مهم موجود است نیکویست و هارتلی.

هری نیکیست (1889-1976) -
مهندس سوئدی آمریکایی
اصلی ، یکی از پیشگامان
نظریه اطلاعات

اولین نتایج نیکیست در تعیین عرض دامنه فرکانسی مورد نیاز برای انتقال اطلاعات ، موفقیت بعدی کلود شانون در توسعه نظریه اطلاعات را پایه ریزی کرد.

در سال 1928 ، هارتلی اندازه گیری لگاریتمی اطلاعات را ارائه داد ح = ک ورود به سیستم 2 N، که غالباً به میزان اطلاعات هارتلی گفته می شود.

هارتلی دارای قضیه مهم زیر در مورد میزان اطلاعات مورد نیاز است: اگر در یک مجموعه داده شده باشد مشامل N عناصر ، حاوی عنصر است ایکس، که فقط می دانیم متعلق به این مجموعه است مسپس برای پیدا کردن ایکس، لازم است در مورد این مجموعه مقدار اطلاعات برابر با log 2 بدست آورید N کمی

به هر حال ، توجه داشته باشید که نام بیت از مخفف انگلیسی BIT می آید - BInary digiT... این اصطلاح اولین بار توسط یک ریاضیدان آمریکایی مطرح شد جان توکی در سال 1946 هارتلی و شانون از بیت به عنوان واحدی برای اندازه گیری اطلاعات استفاده کردند.

به طور کلی ، آنتروپی شانون آنتروپی مجموعه ای از احتمالات است پ 1 , پ 2 ,…, p n.

رالف وینتون لیون هارتلی (1888-1970)
- دانشمند الکترونیک آمریکایی

به طور دقیق ، اگر ایکس پ 1 , پ 2 ,…, p n - احتمالات تمام مقادیر ممکن آن ، سپس تابع ح (ایکس) آنتروپی این متغیر تصادفی را تنظیم می کند ، گرچه ایکس و استدلالی برای آنتروپی نیست ، شما می توانید بنویسید ح (ایکس).

به طور مشابه ، اگر بله یک متغیر تصادفی گسسته محدود است ، و q 1 , q 2 ,…, q m احتمال تمام مقادیر ممکن آن است ، سپس برای این متغیر تصادفی می توانیم بنویسیم ح (بله).

جان وایلدر توکی (1915-2000) -
ریاضی دان آمریکایی. توکی انتخاب کرد
بیت برای نشان دادن یک بیت
در نت دودویی

شانون نام این تابع را گذاشت ح(ایکس)آنتروپی در توصیه جان فون نویمان.

نویمان استدلال کرد: این عملکرد را باید آنتروپی نامید "به دو دلیل. اول از همه ، تابع عدم اطمینان شما در مکانیک آماری با این نام استفاده شده است ، بنابراین از قبل یک نام دارد. در وهله دوم ، و مهمتر از همه ، هیچ کس نمی داند آنتروپی واقعاً چیست ، بنابراین شما همیشه در بحث یک مزیت خواهید داشت. ".

باید تصور کنیم که توصیه های نویمان یک شوخی ساده نبود. به احتمال زیاد ، هر دو جان فون نویمان و کلود شانون از تفسیر اطلاعات آنتروپی بولتزمن به عنوان کمیت مشخص کننده ناقص بودن اطلاعات در مورد سیستم اطلاع داشتند.

در تعریف شانون آنتروپی مقدار اطلاعات در هر پیام ابتدایی منبع تولید کننده پیامهای مستقل از نظر آماری است.

7. آنتروپی کلموگوروف

آندری نیکولایویچ
کلموگروف (1903-1987) -
دانشمند شوروی ، یکی از بزرگترین ها
ریاضی دانان قرن بیستم

A.N. کلموگروف نتایج اساسی در بسیاری از زمینه های ریاضیات از جمله تئوری پیچیدگی الگوریتم ها و نظریه اطلاعات به دست آمد.

به ویژه ، او نقشی اساسی در تبدیل نظریه اطلاعات ، که توسط کلود شانون به عنوان یک رشته فنی تدوین شده ، به یک علم ریاضی دقیق و در ساختن نظریه اطلاعات بر اساس اساس متفاوت از شانون بازی می کند.

در کارهای خود در مورد نظریه اطلاعات و در زمینه نظریه سیستم های دینامیکی A.N. کلموگروف مفهوم آنتروپی را به فرآیندهای تصادفی ارگودیک از طریق توزیع احتمال محدود تعمیم داد. برای درک معنای این تعمیم ، شناخت تعاریف و مفاهیم اساسی نظریه فرایندهای تصادفی ضروری است.

ارزش آنتروپی Kolmogorov (همچنین نامیده می شود آنتروپی K) تخمینی از میزان اتلاف اطلاعات را مشخص می کند و می تواند به عنوان اندازه گیری "حافظه" سیستم یا معیار میزان "فراموشی" شرایط اولیه تفسیر شود. همچنین می تواند به عنوان معیار اندازه گیری تصادفی بودن سیستم مورد بررسی قرار گیرد.

8. آنتروپی رنی

آلفرد رنی (1921-1970) -
ریاضیدان مجری ، خالق
موسسه ریاضیات در بوداپست ،
اکنون نام او را یدک می کشد

طیف یک پارامتر از آنتروپی های Renyi را معرفی کرد.

از یک طرف ، آنتروپی Renyi تعمیم آنتروپی شانون است. از طرف دیگر ، در همان زمان ، این یک تعمیم فاصله است (اختلاف) Kullback-Leibler... همچنین توجه داشته باشید که این رنی است که مسئول اثبات کامل قضیه هارتلی در مورد مقدار مورد نیاز اطلاعات است.

فاصله Kullback-Leibler (واگرایی اطلاعات ، آنتروپی نسبی) اندازه گیری نامتقارن فاصله از یکدیگر از دو توزیع احتمال است.

معمولاً ، یکی از توزیع های مقایسه شده ، توزیع "واقعی" است و توزیع دوم ، توزیع استنباط شده (آزمایش شده) است که تقریب اولی است.

بگذار ایکس, بله متغیرهای تصادفی گسسته محدودی هستند که دامنه مقادیر ممکن به آنها تعلق دارد و توابع احتمال مشخص است: پ (ایکس = a من) = p i و پ (بله = a من) = q من.

سپس مقدار DKL فاصله Kullback-Leibler توسط فرمول ها محاسبه می شود

D KL (ایکس, بله) =, D KL (بله, ایکس) = .

در مورد متغیرهای تصادفی کاملاً پیوسته ایکس, بلهبا توجه به تراکم توزیع آنها ، در فرمول های محاسبه فاصله Kullback-Leibler ، مبالغ با انتگرال های مربوطه جایگزین می شوند.

فاصله Kullback-Leibler همیشه یک عدد غیر منفی است ، در حالی که برابر با صفر است D KL(ایکس, بله) \u003d 0 اگر و فقط اگر برای متغیرهای تصادفی داده شده برابر باشد ایکس = بله.

در سال 1960 ، آلفرد رنیي تعمیم آنتروپی را مطرح كرد.

آنتروپی رنی خانواده ای از عملکردها برای تنوع کمی تصادفی بودن سیستم است. رنی آنتروپی خود را به عنوان لحظه سفارش α از اندازه گیری یک پارتیشن ε (پوشش) تعریف کرد.

α یک عدد واقعی داده شده و نیازهای α ≥ 0 ، α ≠ 1 را برآورده می کند. سپس آنتروپی Renyi از دستور α با فرمول تعریف می شود ح α = ح α ( ایکس)جایی که p i = پ (ایکس = x من) احتمال وقوع یک متغیر تصادفی گسسته است ایکس معلوم می شود برابر با مقدار ممکن متناظر آن است ، n - تعداد کل مقادیر مختلف مختلف متغیر تصادفی ایکس.

برای توزیع یکنواخت وقتی پ 1 = پ 2 =…= p n =1/n، تمام آنتروپی های Renyi برابر هستند ح α ( ایکس) \u003d ln n.

در غیر این صورت ، مقادیر انتروپی های Renyi با افزایش مقادیر پارامتر α اندکی کاهش می یابد. آنتروپی های رنی به عنوان شاخص های تنوع نقش مهمی در اکولوژی و آمار دارند.

آنتروپی Renyi در اطلاعات کوانتومی نیز مهم است ، می توان از آن به عنوان معیار پیچیدگی استفاده کرد.

برخی از موارد خاص آنتروپی Renyi را برای مقادیر خاص ترتیب α در نظر بگیرید:

1. آنتروپی هارتلی : ح 0 = ح 0 (ایکس) \u003d ln nجایی که n قدرت دامنه مقادیر ممکن یک متغیر تصادفی محدود است ایکس، یعنی تعداد عناصر مختلف متعلق به مجموعه مقادیر ممکن ؛

2. آنتروپی اطلاعات شانون : ح 1 = ح 1 (ایکس) = ح 1 (پ) (به عنوان حد α → 1 تعریف شده است ، که یافتن آن آسان است ، به عنوان مثال با استفاده از قانون L'Hôpital)

3. آنتروپی همبستگی یا برخورد آنتروپی: ح 2 = ح 2 (ایکس) \u003d - ln ( ایکس = بله);

4. حداقل آنتروپی : ح ∞ = ح ∞ (ایکس).

توجه داشته باشید که برای هر مقدار غیر منفی سفارش (α ≥ 0) ، نابرابری ها ح ∞ (ایکس) ≤ ح α ( ایکس) بعلاوه، ح 2 (ایکس) ≤ ح 1 (ایکس) و ح ∞ (ایکس) ≤ ح 2 (ایکس) 2 پوند ح ∞ (ایکس).

آلفرد رنی نه تنها آنتروپی های مطلق خود را معرفی کرد (1.15) ، بلکه طیف معیارهای واگرایی را نیز تعمیم داد که واگرایی های کالبک-لایبنر را تعمیم می دهد.

α یک عدد واقعی داده می شود که الزامات α\u003e 0 ، α ≠ 1 را برآورده می کند. سپس ، در علامت گذاری برای تعیین مقدار استفاده می شود D KL فاصله Kullback-Leibler ، مقدار واگرایی Rényi از ترتیب α با فرمول ها تعیین می شود

د α ( ایکس, بله), د α ( ایکس, بله).

واگرایی Renyi نیز نامیده می شود آلفاواگرایی یا واگرایی α. رنی خودش از لگاریتم به پایه 2 استفاده کرده است ، اما مثل همیشه ، ارزش پایه لگاریتم کاملاً مهم نیست.

9. آنتروپی تسالیس

کنستانتینو تسالیس (متولد 1943) -
فیزیکدان برزیلی
اصالت یونانی

در سال 1988 ، او تعمیم جدیدی از آنتروپی را پیشنهاد کرد که برای استفاده در توسعه تئوری ترمودینامیک غیرخطی مناسب است.

تعمیم آنتروپی پیشنهاد شده توسط وی احتمالاً نقش مهمی در فیزیک نظری و اخترفیزیک در آینده نزدیک دارد.

آنتروپی تسالیس میدان، اغلب آنتروپی غیر گسترده (غیر افزودنی) نامیده می شود ، برای تعریف شده است n microstates مطابق فرمول زیر:

S q = S q (ایکس) = S q (پ) = ک· , .

اینجا ک - ثابت بعدی ، اگر بعد نقش مهمی در درک مسئله دارد.

تسالیس و حامیان وی پیشنهاد می کنند "مکانیک آماری و ترمودینامیکی گسترده" را به عنوان یک تعمیم در این رشته های کلاسیک برای سیستم های با حافظه طولانی و / یا نیروهای دوربرد توسعه دهند.

از انواع دیگر آنتروپی ، شامل و از آنتروپی Renyi ، آنتروپی Tsallis از نظر افزودنی نبودن متفاوت است. این یک تفاوت اساسی و مهم است..

تسالیس و حامیان وی معتقدند که این ویژگی امکان ایجاد یک ترمودینامیک جدید و یک نظریه آماری جدید را فراهم می کند ، که روش هایی برای توصیف ساده و صحیح سیستم های دارای حافظه طولانی و سیستم هایی است که در آن هر عنصر نه تنها با نزدیکترین همسایگان خود بلکه با کل سیستم در تعامل است. یا قطعات بزرگ آن

نمونه ای از این سیستم ها ، و بنابراین یک هدف احتمالی تحقیق با استفاده از نظریه جدید ، سیستم های جاذبه فضایی هستند: خوشه های ستاره ای ، سحابی ها ، کهکشان ها ، خوشه های کهکشان و غیره.

از سال 1988 ، هنگامی که کنستانتینو تسالیس آنتروپی خود را پیشنهاد داد ، تعداد قابل توجهی از کاربردهای ترمودینامیک سیستم های ناهنجار (با حافظه طول و / یا با نیروهای دوربرد) ، از جمله در زمینه ترمودینامیک سیستم های گرانشی ، ظاهر شده است.

10. آنتروپی کوانتومی فون نویمان

جان (Janos) von Neumann (1903-1957) -
ریاضی دان و فیزیکدان آمریکایی
تبار مجارستانی

آنتروپی فون نویمان در فیزیک کوانتوم و تحقیقات اخترفیزیکی نقش مهمی دارد.

جان فون نویمان سهم قابل توجهی در توسعه شاخه های علمی مانند فیزیک کوانتوم ، منطق کوانتوم ، تجزیه و تحلیل عملکرد ، نظریه مجموعه ها ، علوم رایانه و اقتصاد داشته است.

وی شرکت کننده در پروژه سلاح های هسته ای منهتن ، یکی از بنیانگذاران تئوری بازی ریاضی و مفهوم اتوماتای \u200b\u200bسلولی و بنیانگذار معماری مدرن رایانه بود.

آنتروپی فون نویمان ، مانند هر آنتروپی ، با اطلاعات همراه است: در این مورد ، با اطلاعات مربوط به یک سیستم کوانتومی. و از این نظر ، نقش یک پارامتر اساسی را بازی می کند که به طور کمی وضعیت و جهت تکامل یک سیستم کوانتومی را مشخص می کند.

در حال حاضر ، آنتروپی von Neumann به صورت گسترده در اشکال مختلف (آنتروپی شرطی ، آنتروپی نسبی و غیره) در چارچوب تئوری اطلاعات کوانتومی مورد استفاده قرار می گیرد.

اقدامات مختلف درهم تنیدگی مستقیماً با آنتروپی فون نویمان در ارتباط است. با این وجود ، اخیراً تعدادی از آثار به انتقاد از آنتروپی شانون به عنوان معیار سنجش اطلاعات و عدم کفایت احتمالی آن ، و در نتیجه عدم کفایت آنتروپی فون نویمان ، به عنوان تعمیم آنتروپی شانون ، اختصاص یافته است.

این بررسی (متأسفانه ، بصورت مقطعی و گاهاً از نظر ریاضی کاملاً دقیق) در مورد تحول دیدگاههای علمی در مورد مفهوم آنتروپی به ما امکان می دهد تا به س questionsالات مهم مربوط به جوهر واقعی آنتروپی و چشم انداز استفاده از رویکرد آنتروپی در تحقیقات علمی و عملی پاسخ دهیم. ما خود را به در نظر گرفتن پاسخ دو س suchال محدود می کنیم.

اولین سوال: آیا انواع مختلف آنتروپی ، هم در بالا در نظر گرفته شده و هم در نظر گرفته نشده است ، غیر از همین نام چیز مشترکی دارند؟

این س naturallyال به طور طبیعی پیش می آید اگر تنوعی را که مشخصه مفاهیم مختلف موجود آنتروپی است در نظر بگیریم.

تا به امروز ، جامعه علمی برای این س answerال پاسخی واحد و شناخته شده جهانی ارائه نداده است: برخی از دانشمندان به این س inال پاسخ مثبت می دهند ، برخی دیگر منفی ، و عده ای دیگر مربوط به مشترک آنتروپی های گونه های مختلف با درجه قابل توجهی از تردید هستند ...

ظاهراً کلاوزیوس اولین دانشمندی بود که از ماهیت جهانی آنتروپی اطمینان داشت و معتقد بود که این ماده در همه فرایندهای رخ داده در جهان نقش مهمی دارد ، به ویژه تعیین مسیر رشد آنها به موقع.

به هر حال ، این رودلف کلاوزیوس است که صاحب یکی از فرمول های قانون دوم ترمودینامیک است: "فرایندی غیرممکن است ، که تنها نتیجه آن انتقال گرما از بدن سردتر به بدن گرمتر است.".

این فرمول قانون دوم ترمودینامیک نامیده می شود فرضیه کلاوزیوس ، و روند برگشت ناپذیر اشاره شده در این فرضیه است روند Clausius .

از زمان کشف قانون دوم ترمودینامیک ، فرایندهای برگشت ناپذیر نقش منحصر به فردی در تصویر فیزیکی جهان داشته اند. بنابراین ، مقاله معروف سال 1849 ویلیام تامپسون، که در آن یکی از اولین فرمول های قانون دوم ترمودینامیک آورده شده است ، "در مورد تمایل جهانی در طبیعت برای پراکنده کردن انرژی مکانیکی" نامیده شد.

همچنین توجه داشته باشید که کلاوزیوس مجبور به استفاده از زبان کیهان شناسی شد: "آنتروپی جهان حداکثر تمایل دارد".

ایلیا رومانوویچ پریگوژین (1917-2003) -
فیزیکدان بلژیکی-آمریکایی و
شیمی دان از اصل روسی ،
برنده جایزه نوبل
در شیمی 1977

من به همین نتیجه رسیدم ایلیا پریگوژین... Prigogine معتقد است که اصل آنتروپی مسئول برگشت ناپذیری زمان در جهان است و احتمالاً نقش مهمی در درک معنای زمان به عنوان یک پدیده فیزیکی دارد.

تا به امروز ، بسیاری از مطالعات و تعمیم آنتروپی از جمله از نظر یک نظریه ریاضی دقیق انجام شده است. با این حال ، فعالیت محسوس ریاضیدانان در این زمینه هنوز در برنامه ها ادعا نشده است ، به استثنای شاید آثار کلموگروف, رنی و تسالیسا.

بدون شک ، آنتروپی همیشه معیار (درجه) هرج و مرج و بی نظمی است. تنوع مظاهر پدیده آشوب و بی نظمی است که تنوع تغییرات آنتروپی را اجتناب ناپذیر می کند.

سوال دوم: آیا می توان دامنه کاربرد روش آنتروپی را گسترده تشخیص داد ، یا همه کاربردهای آنتروپی و قانون دوم ترمودینامیک محدود به خود ترمودینامیک و حوزه های مرتبط علوم فیزیکی است؟

تاریخچه مطالعه علمی آنتروپی گواهی می دهد که آنتروپی پدیده ای علمی است که در ترمودینامیک کشف شده و سپس با موفقیت به سایر علوم و از همه مهمتر به تئوری اطلاعات مهاجرت کرده است.

بدون شک ، آنتروپی تقریباً در همه زمینه های علوم طبیعی مدرن نقش مهمی دارد: در فیزیک حرارتی ، در فیزیک آماری ، در سینتیک فیزیکی و شیمیایی ، در بیوفیزیک ، اخترفیزیک ، کیهان شناسی و نظریه اطلاعات.

هنگام صحبت در مورد ریاضیات کاربردی ، نمی توان از کاربردهای اصل حداکثر آنتروپی نام برد.

همانطور که قبلاً اشاره شد ، اجسام مکانیکی کوانتومی و نسبی گرایی زمینه های مهم کاربرد آنتروپی هستند. در فیزیک کوانتوم و اخترفیزیک ، چنین کاربردهایی از آنتروپی بسیار مورد توجه است.

ما فقط به یک نتیجه اصلی از ترمودینامیک سیاهچاله اشاره می کنیم: آنتروپی سیاهچاله برابر است با یک چهارم سطح آن (منطقه افق رویداد).

در کیهان شناسی اعتقاد بر این است که آنتروپی جهان برابر است با تعداد کوانتاهای تابش باقی مانده در هر هسته.

بنابراین ، دامنه کاربرد رویکرد آنتروپی بسیار گسترده است و شامل طیف گسترده ای از شاخه های دانش ، از ترمودینامیک ، سایر زمینه های علوم فیزیکی ، انفورماتیک و پایان دادن به عنوان مثال تاریخ و اقتصاد است.

A.V. سگال ، دکترای اقتصاد ، دانشگاه کریمه به نام V.I. ورنادسکی

اطلاعات و آنتروپی

هنگام بحث درباره مفهوم اطلاعات ، غیرممکن است که به مفهوم مرتبط دیگری - آنتروپی - اشاره نکنیم. برای اولین بار مفاهیم آنتروپی و اطلاعات توسط K. شانون پیوند داده شد.

کلود الوود شانون ( کلود الوود شانون) ، 1916-2001 - یکی از اقوام دور توماس ادیسون ، مهندس و ریاضیدان آمریکایی ، از سال 1941 تا 1972 کارمند آزمایشگاههای بل بود. در کار خود "تئوری ارتباط ریاضی" (http://cm.bell-labs.com/cm/ms / what / shannonday /) ، منتشر شده در سال 1948 ، برای اولین بار اندازه گیری محتوای اطلاعات هر پیام و مفهوم کوانتوم اطلاعات - کمی را تعریف کرد. این ایده ها اساس تئوری ارتباطات دیجیتال مدرن را تشکیل دادند. اثر دیگر شانون ، "نظریه ارتباطات سیستم های رازداری" که در سال 1949 منتشر شد ، به تبدیل رمزنگاری به یک رشته علمی کمک کرد. او بنیانگذار است نظریه اطلاعات، که در سیستم های ارتباطی مدرن و پیشرفته کاربرد دارد. شانون سهم بزرگی در نظریه طرح های احتمالی ، نظریه اتوماتا و نظریه سیستم های کنترل - علوم ، با مفهوم "سایبرنتیک" متحد کرد.

تعریف فیزیکی آنتروپی

برای اولین بار مفهوم آنتروپی توسط Clausius در سال 1865 به عنوان تابعی از حالت ترمودینامیکی سیستم معرفی شد

جایی که Q گرما باشد ، T دما است.

معنای فیزیکی آنتروپی به عنوان بخشی از انرژی داخلی سیستم ظاهر می شود که نمی تواند به کار تبدیل شود. کلاوزیوس این آزمایش را به صورت تجربی با آزمایش گازها بدست آورد.

L. Boltzmann (1872) با استفاده از روشهای فیزیک آماری ، بیان نظری آنتروپی را بدست آورد

که در آن K یک ثابت است. W احتمال ترمودینامیکی (تعداد جایگشت های مولکول های ایده آل گاز است که بر ماکرو وضعیت سیستم تأثیر نمی گذارد) است.

آنتروپی بولتزمن برای یک گاز ایده آل مشتق شده و به عنوان معیار بی نظمی ، معیار هرج و مرج سیستم تفسیر می شود. برای یک گاز ایده آل ، انتروپی های بولتزمن و کلاوزیوس یکسان هستند. فرمول بولتزمن چنان مشهور شد که بر روی قبر وی به عنوان سنگ نبشته حک شده بود. عقیده ای وجود داشت که آنتروپی و هرج و مرج یکی هستند. علی رغم این واقعیت که آنتروپی فقط گازهای ایده آل را توصیف می کند ، اما استفاده از آن برای توصیف اجسام پیچیده تر بدون انتقاد آغاز شد.

خود بولتزمن در سال 1886 م. سعی کرد با کمک آنتروپی توضیح دهد که زندگی چیست. از نظر بولتزمن ، زندگی پدیده ای است که می تواند آنتروپی آن را کاهش دهد. به گفته بولتزمن و پیروانش ، همه فرایندهای جهان در جهت هرج و مرج تغییر می کنند. جهان به سوی مرگ حرارتی در حال حرکت است. این پیش بینی غم انگیز مدتهاست که بر علم مسلط است. با این حال ، تعمیق دانش درباره جهان پیرامون به تدریج این جزم را درهم شکست.

کلاسیک ها آنتروپی را با اطلاعات مرتبط نمی کنند.

آنتروپی به عنوان معیار سنجش اطلاعات

توجه داشته باشید که مفهوم "اطلاعات" غالباً به "اطلاعات" تعبیر می شود و انتقال اطلاعات با استفاده از ارتباطات انجام می شود. K. شانون آنتروپی را به عنوان معیار اطلاعات مفید در فرایندهای انتقال سیگنال از طریق سیم در نظر گرفت.

برای محاسبه آنتروپی ، شانون معادله ای را بیان کرد که بیان کلاسیک آنتروپی را توسط بولتزمن پیدا می کند. یک رویداد تصادفی مستقل در نظر گرفته می شود ایکس با N حالت های ممکن و p i احتمال حالت i-th است. سپس آنتروپی واقعه ایکس

به این کمیت آنتروپی متوسط \u200b\u200bنیز گفته می شود. به عنوان مثال ، می توانیم در مورد انتقال پیام به زبان طبیعی صحبت کنیم. هنگام انتقال حروف مختلف ، مقدار متفاوتی از اطلاعات را منتقل می کنیم. مقدار اطلاعات هر حرف مربوط به فراوانی استفاده از این حرف در تمام پیام های تولید شده در زبان است. هرچه نامه ای نادرتر منتقل کنیم ، اطلاعات بیشتری نیز در آن وجود دارد.

کمیت

H i \u003d P i log 2 1 / P i \u003d ‑P i log 2 P i،

آنتروپی خصوصی نامیده می شود ، که فقط حالت i-e را مشخص می کند.

بگذارید با مثال توضیح دهیم... وقتی سکه پرتاب می شود ، سر یا دم آن می افتد ، این اطلاعات خاصی در مورد نتایج پرتاب است.

برای یک سکه ، تعداد احتمالات قابل قبول N \u003d 2 است. احتمال دستیابی به سرها (دم) 1/2 است.

هنگام پرتاب تاس ، اطلاعات مربوط به تعداد مشخصی امتیاز (مثلاً سه) را بدست می آوریم. چه زمانی اطلاعات بیشتری به دست می آوریم؟

برای یک تاس ، تعداد احتمالات به همان اندازه احتمال N \u003d 6 است. احتمال گرفتن سه امتیاز تاس 1/6 است. آنتروپی 2.58 است. تحقق واقعه ای که احتمال کمتری دارد ، اطلاعات بیشتری را فراهم می کند. هرچه عدم اطمینان قبل از دریافت پیام در مورد یک رویداد (پرتاب سکه ، تاس) بیشتر باشد ، اطلاعات بیشتری هنگام دریافت پیام دریافت می شود.

این رویکرد در بیان کمی اطلاعات بسیار دور از دسترس جهانی است ، زیرا واحدهای تصویب شده خصوصیات مهم اطلاعات مانند ارزش و معنی آن را در نظر نمی گیرند. همانطور که بعداً مشخص شد ، برداشتن از خصوصیات خاص اطلاعات (به معنای مقدار آن) در مورد اشیا real واقعی ، امکان شناسایی الگوهای کلی اطلاعات را فراهم کرد. واحدهای (بیت) پیشنهادی توسط شانون برای اندازه گیری میزان اطلاعات برای ارزیابی هرگونه پیام (تولد یک پسر ، نتایج یک مسابقه ورزشی و غیره) مناسب هستند. در آینده ، تلاش شد تا معیارهایی برای اندازه گیری اطلاعاتی که ارزش و معنی آن را در نظر می گیرند ، پیدا شود. با این حال ، جهانی بودن بلافاصله از بین رفت: برای فرایندهای مختلف ، معیارهای ارزش و معنی متفاوت هستند. علاوه بر این ، تعریف معنی و ارزش اطلاعات ذهنی است ، و اندازه گیری اطلاعات پیشنهادی شانون عینی است. به عنوان مثال ، یک بو مقدار زیادی از اطلاعات را برای یک حیوان حمل می کند ، اما برای یک فرد گریزان است. گوش انسان سیگنال های فراصوت را درک نمی کند ، اما آنها اطلاعات زیادی را برای دلفین و غیره حمل می کنند. بنابراین ، اندازه گیری اطلاعات پیشنهادی شانون برای مطالعه انواع فرایندهای اطلاعاتی ، صرف نظر از "سلیقه" مصرف کننده اطلاعات ، مناسب است.

اطلاعات اندازه گیری

از دوره فیزیک می دانید که قبل از اندازه گیری مقدار هر کمیت فیزیکی ، باید واحد اندازه گیری را وارد کنید. اطلاعات نیز دارای چنین واحدی است - کمی ، اما معنی آن برای رویکردهای مختلف تعریف مفهوم "اطلاعات" متفاوت است.

رویکردهای مختلفی برای مسئله اندازه گیری اطلاعات وجود دارد.