اندازه گیری واگرایی کول بک-لایبلر برای توزیع های چند متغیره چوله-نرمال

هدف این کار ارائه ابزارهایی برای محاسبه اندازه‌گیری واگرایی کولبک-لایبلر برای خانواده انعطاف‌پذیر توزیع‌های چند متغیره چوله-نرمال است. به طور خاص، ما از اندازه گیری واگرایی جفریس برای مقایسه توزیع نرمال چند متغیره با توزیع نرمال چند متغیره استفاده می کنیم، که نشان می دهد که این معادل با مقایسه نسخه های تک متغیره این توزیع ها است. در نهایت، ما نتایج خود را بر روی مجموعه داده‌های کاتالوگ لرزه‌شناسی مربوط به زلزله سال 2010 ماول اعمال کردیم. به طور خاص، ما توزیع بزرگی های محلی مناطق تشکیل شده توسط پس لرزه ها را با هم مقایسه می کنیم.

1. مقدمه

اولین مفهوم آنتروپی یک توزیع احتمال توسط [1] مورد توجه قرار گرفت، بنابراین به معیاری تبدیل شد که به طور گسترده برای کمی کردن سطح آشکار بودن موجود در متغیرهای ابزاری استفاده می‌شود، که معمولاً در حوزه‌های مهندسی مختلف استفاده می‌شود. در گذشته، چندین مفهوم از آنتروپی به منظور تعمیم آنتروپی شانون پیشنهاد شده است، مانند آنتروپی Rényi و آنتروپی Tsallis. در این زمان، [2] معیارهای واگرایی Kullback-Leibler (KL-Divergence) را معرفی کرد که یک فاصله شبه (یا تابع متمایز) بین دو توزیع احتمال و رایج ترین معیارهای واگرایی است که در کارهای عملی استفاده می شود.

در یک کاربرد اخیر در مورد تصاویر رادار دیافراگم مصنوعی قطبی (POLSAR) ، فری و همکاران.[3] از توزیع پیچیده Wishart (به عنوان مثال ، [4]) برای مدل سازی Backscatter رادار از مناطق جنگل و مرتع استفاده کنید. در آنجا ، آنها نتیجه می گیرند که اندازه گیری kl-divergence بهترین مورد با توجه به فاصله های Bhattacharyya ، Chi-Square ، Hellinger یا Rényi است. مطالعات در [3] و [4] نتیجه می گیرد که لازم است آمار مناسب برای مقایسه توزیع های چند متغیره مانند Wishart One داشته باشد. علاوه بر این ، [5] تجزیه و تحلیل نظری گسترده ای از مهمترین جنبه های نظریه اطلاعات برای توزیع های چند متغیره عادی و دانشجویی ، از جمله سایر توزیع هایی که معمولاً در ادبیات استفاده می شود ، ارائه می دهد. از اقدامات واگرایی نیز برای بررسی تأثیرات داده ها و آشفتگی های مدل استفاده شده است. به عنوان مثال ، [6] برای یک درمان یکپارچه و [7] برای بررسی و برخی از برنامه های قبلی در مورد اقدامات تأثیر بیزی بر اساس واگرایی KL مراجعه کنید. علاوه بر این ، این اندازه گیری در تجزیه و تحلیل مدل انتخاب توسط [8] در نظر گرفته شده است ، جایی که نویسندگان این معیار را توصیه می کنند ، زیرا بر خلاف معیارهای دیگری مانند AIC (معیار اطلاعات AKAIKE) ، وجود مدل واقعی را فرض نمی کند. با این حال ، [8] AIC را تقریب خوبی از kl-divergence برای تجزیه و تحلیل مدل انتخاب می داند. از طرف دیگر ، تقریب های مجانبی از kl-divergence برای مدل خطی چند متغیره در [9] آورده شده است ، در حالی که تقریب مجانبی واگرایی جفریس یا به سادگی واگرایی برای مدل خطی چند متغیره در [10] آورده شده است. مثال دیگر واگرایی Rényi و مورد خاص آن است ، جایی که اخیراً KL-Divergence با موفقیت در ردیابی منطقه از منافع در توالی های ویدیویی اعمال شده است [11] ، تجزیه و تحلیل زیر مجموعه مستقل [12] ، ثبت نام تصویر [13] و حدس زدنلحظات [14].

از طرف دیگر ، ادبیات گسترده ای در مورد خانواده های غیر متقارن توزیع های چند متغیره به عنوان توزیع چند متغیره نرمال ساخته شده است [15،16،17،18]. اخیراً ، یک مطالعه به دلیل [19] شاخص اطلاعات متقابل توزیع چند متغیره skew-normal را از نظر یک سری بی نهایت محاسبه می کند. در مرحله بعد ، این کار برای کلاس کامل توزیع های بی شمار چند متغیره توسط [20] گسترش یافته است ، جایی که یک برنامه واقعی برای بهینه سازی یک شبکه نظارتی جوی با استفاده از آنتروپی و شاخص های اطلاعات متقابل چند متغیره skew-normal ارائه می شود ، از جمله سایر موارد مرتبطتوزیع خانوادهچندین برنامه آماری برای مشکلات واقعی با استفاده از توزیع های چند متغیره نرمال و سایر خانواده های مرتبط با آن را می توان در [21] یافت.

در این مقاله ، ما خواص بیشتری از توزیع چند متغیره skew-normal را بررسی می کنیم. این توزیع یک کلاس پارامتری از توزیع های احتمال چند متغیره را فراهم می کند که توزیع عادی چند متغیره را توسط یک بردار اضافی از پارامترهایی که تنظیم پوست را تنظیم می کند ، گسترش می دهد ، و این امکان را برای تغییر مداوم از نرمال بودن به غیر طبیعی بودن فراهم می کند [21]. در یک زمینه کاربردی ، این خانواده چند متغیره به نظر می رسد بسیار مهم است ، زیرا در مورد چند متغیره توزیع های زیادی برای مقابله با داده های غیر طبیعی وجود ندارد ، در درجه اول وقتی که پوستی حاشیه ها کاملاً متوسط است. با توجه به توزیع چند متغیره نرمال به عنوان تعمیم قانون عادی چند متغیره ، یک انتخاب طبیعی در همه شرایط عملی است که در آن برخی از کمبودها وجود دارد. به همین دلیل ، انگیزه اصلی این مقاله ، تجزیه و تحلیل برخی از اقدامات اطلاعاتی در مشاهدات چند متغیره تحت حضور پوستی است.

به طور خاص، ما یک نظریه مبتنی بر معیارهای واگرایی برای خانواده انعطاف‌پذیر توزیع‌های چوله-نرمال چند متغیره پیشنهاد می‌کنیم، بنابراین نظریه مربوطه را بر اساس توزیع نرمال چند متغیره گسترش می‌دهیم. برای این، ما با محاسبه آنتروپی، آنتروپی متقاطع، واگرایی KL و واگرایی J برای توزیع چوله-نرمال چند متغیره شروع می کنیم. به عنوان یک محصول جانبی، ما از واگرایی J برای مقایسه توزیع چوله-نرمال چند متغیره با نرمال چند متغیره استفاده می کنیم. پس از آن، ما یافته های خود را بر روی یک فهرست لرزه ای که توسط [22] آنالیز شده است، اعمال می کنیم. آنها مناطق را با استفاده از روش‌های خوشه‌بندی ناپارامتری (NPC) بر اساس اتصالات توزیع هسته [23] تخمین می‌زنند، که در آن مکان مکانی رویدادهای پس‌لرزه‌ای که توسط زمین‌لرزه معروف سال 2010 در ماول، شیلی در نظر گرفته می‌شود، در نظر گرفته می‌شود. از این رو، ما بزرگی های محلی توزیع شده با چولگی را در میان این خوشه ها با استفاده از واگرایی KL و J-واگرایی مقایسه می کنیم. سپس، تفاوت های قابل توجهی را بین بردارهای پارامتر MLE آزمایش می کنیم [17].

ساختار این مقاله به شرح زیر است. بخش 2 مفاهیم کلی نظریه اطلاعات را به عنوان آنتروپی، آنتروپی متقاطع و واگرایی ارائه می کند. بخش 3 محاسبات این مفاهیم را برای توزیع‌های چوله-نرمال چند متغیره ارائه می‌کند، از جمله مورد خاص واگرایی J بین توزیع چند متغیره چوله-نرمال در مقابل توزیع نرمال چند متغیره. بخش 4 نتایج عددی یک کاربرد واقعی رویدادهای لرزه ای را که قبلا ذکر شد گزارش می کند و در نهایت، این مقاله با بحث در بخش 5 به پایان می رسد. برخی از شواهد در پیوست A ارائه شده است.

2. اندازه گیری های آنتروپی و واگرایی

فرض کنید Z ∈ R k یک بردار تصادفی با تابع چگالی احتمال (pdf) f Z (z) باشد. آنتروپی شانون - که آنتروپی دیفرانسیل نیز نامیده می شود - که قبلا توسط [1] پیشنهاد شده بود.

در اینجا E [g (Z)] نشان دهنده اطلاعات مورد انتظار در Z تابع تصادفی g (Z) است. بنابراین، آنتروپی شانون مقدار مورد انتظار g (Z) = - log f Z (Z) است که g (1) = 0 و g (0) = ∞ را برآورده می کند.

حال فرض کنید که X, Y∈Rk دو بردار تصادفی با f X ( x ) و f Y ( y ) pdf هستند که فرض می شود پشتیبانی یکسانی دارند. تحت این شرایط، آنتروپی متقاطع - که آنتروپی نسبی نیز نامیده می شود - مرتبط با آنتروپی شانون (1) مربوط به مقایسه اندازه گیری اطلاعات Y با توجه به X است و به صورت زیر تعریف می شود.

جایی که انتظار با توجه به PDF F X (x) بردار تصادفی X تعریف شده است. از (2) مشخص است که c h (x ، x) = h (x). با این حال ، c h (x ، y) ≠ c h (y ، x) حداقل که x = d y ، یعنی x و y توزیع یکسانی دارند.

مربوط به مفاهیم آنتروپی و متقاطع آنتروپی نیز می توانیم اقدامات واگرایی بین توزیع x و y را پیدا کنیم. مشهورترین این اقدامات به اصطلاح واگرایی Kullback-Leibler (KL) است که توسط [2] پیشنهاد شده است

که واگرایی f y را از f x اندازه گیری می کند و جایی که انتظار با توجه به pdf f x (x) بردار تصادفی x تعریف شده است. توجه داشته باشیم که (3) از (2) به عنوان d kl (x ، y) = c h (x ، y) - h (x) می آید. بنابراین ، ما D Kl (x ، x) = 0 داریم ، اما دوباره d kl (x ، y) ≠ d kl (x ، y) حداقل که x = d y ، یعنی ، kl-divergence متقارن نیست. همچنین ، به راحتی می توان فهمید که نابرابری مثلثی را برآورده نمی کند ، که شرط دیگری از اندازه گیری فاصله مناسب است (نگاه کنید به [24]). از این رو باید فقط به عنوان یک معیار شبه مسافت تعبیر شود.

یک نوع متقارن آشنا از kl-divergence j-divergence (به عنوان مثال ، [7]) است که توسط

جایی که انتظار با توجه به PDF F X (x) بردار تصادفی X تعریف شده است. این می تواند از نظر kl-divergence d kl [25] به عنوان j (x ، y) = 2 d kl (x ، y) و kl-divergence به عنوان بیان شود

همانطور که در [24] اشاره شد ، این اقدام نابرابری مثلثی فاصله را برآورده نمی کند و از این رو یک معیار شبه مسافت است. J-Divergence دارای چندین کاربرد عملی در آمار است ، به عنوان مثال ، برای تشخیص داده های تأثیرگذار در تجزیه و تحلیل رگرسیون و مقایسه مدل (نگاه کنید به [7]).

3. توزیع چند متغیره skew-normal

توزیع skew-normal چند متغیره توسط [18] معرفی شده است. این مدل و انواع آن توجه تعداد فزاینده ای از تحقیقات را مورد توجه قرار داده است. برای سادگی نمایشگاه ، ما در اینجا یک نوع جزئی از تعریف اصلی را در نظر می گیریم (به [16] مراجعه کنید). ما می گوییم که یک بردار تصادفی Z ∈ R K دارای توزیع نرمال و نرم با بردار مکان ξ ∈ R K ، ماتریس پراکندگی Ω ∈ R K × K است ، که به نظر می رسد متقارن و مثبت مثبت ، و پارامتر شکل/skewness η ∈اگر PDF آن باشد ، R K ، مشخص شده توسط Z ∼ S N K (ξ ، ω ، η)

جایی که ϕ k (z ؛ ξ ، ω) = |ω |- 1 /2 ϕ k (z 0) ، با z 0 = ω - 1 /2 (z - ξ) ، pdf توزیع k-variate n k (ξ ، ω) توزیع ، ϕ k (z 0) استN K (0 ، I K) PDF ، و φ عملکرد توزیع تجمعی یک متغیره N 1 (0 ، 1) است. در اینجا ω - 1 /2 نشان دهنده معکوس ریشه مربع ω 1 /2 از Ω است.

برای ساده سازی محاسبه kl-divergence ، خصوصیات زیر توزیع چند متغیره skew-normal مفید است.

z = d ξ + δ |U 0 |+ u ، جایی که U 0 ∼ N (0 ، 1) و U ∼ N K (0 ، ω - δ δ ⊤) و آنها مستقل هستند.