تجسم توزیع داده ها

یک قدم اولیه در هر تلاش برای تجزیه و تحلیل یا مدل سازی داده ها باید درک نحوه توزیع متغیرها باشد. تکنیک های تجسم توزیع می تواند پاسخ سریع بسیاری از سؤالات مهم را ارائه دهد. مشاهدات چه دامنه ای را پوشش می دهد؟گرایش اصلی آنها چیست؟آیا آنها به شدت در یک جهت کمرنگ شده اند؟آیا شواهدی برای دوقلوی وجود دارد؟آیا مسافت های قابل توجهی وجود دارد؟آیا پاسخ این سؤالات در زیر مجموعه های تعریف شده توسط متغیرهای دیگر متفاوت است؟

ماژول توزیع شامل چندین کارکرد است که برای پاسخ به سؤالاتی از قبیل این موارد طراحی شده است. توابع سطح محورها عبارتند از: Histplot () ، Kdeplot () ، Ecdfplot () و Rugplot (). آنها با هم در توابع سطح سطح () ، interplot () و pairplot () گروه بندی می شوند.

چندین روش مختلف برای تجسم توزیع وجود دارد و هرکدام مزایا و اشکال نسبی خود را دارند. درک این عوامل مهم است تا بتوانید بهترین روش را برای هدف خاص خود انتخاب کنید.

ترسیم هیستوگرام تک متغیره#

شاید متداول ترین روش برای تجسم توزیع ، هیستوگرام باشد. این رویکرد پیش فرض در Rilect () است که از همان کد اساسی Histplot () استفاده می کند. هیستوگرام یک طرح نوار است که در آن محور نشان دهنده متغیر داده به مجموعه ای از سطل های گسسته تقسیم می شود و تعداد مشاهدات موجود در هر سطل با استفاده از ارتفاع نوار مربوطه نشان داده می شود:

این طرح بلافاصله چند بینش در مورد متغیر flipper_l طول_م ارائه می دهد. به عنوان مثال ، می بینیم که متداول ترین طول فلیپ در حدود 195 میلی متر است ، اما توزیع به نظر می رسد دوتایی است ، بنابراین این یک شماره به خوبی داده ها را نشان نمی دهد.

انتخاب سطل سطل#

اندازه سطل ها یک پارامتر مهم است و استفاده از اندازه سطل اشتباه می تواند با مبهم کردن ویژگی های مهم داده ها یا با ایجاد ویژگی های ظاهری از تنوع تصادفی ، گمراه شود. به طور پیش فرض ، Ralval () / histplot () یک اندازه سطل پیش فرض را بر اساس واریانس داده ها و تعداد مشاهدات انتخاب کنید. اما شما نباید بیش از حد به چنین رویکردهای اتوماتیک وابسته باشید ، زیرا آنها به فرضیات خاص در مورد ساختار داده های شما بستگی دارند. همیشه توصیه می شود بررسی کنید که برداشت های شما از توزیع در اندازه های مختلف سطل سازگار است. برای انتخاب مستقیم اندازه ، پارامتر binwidth را تنظیم کنید:

در شرایط دیگر ، ممکن است معقول تر باشد که تعداد سطل ها را به جای اندازه آنها مشخص کنید:

یک نمونه از وضعیتی که پیش فرض شکست می خورد ، زمانی است که متغیر تعداد نسبتاً کمی از مقادیر عدد صحیح را به خود اختصاص می دهد. در این حالت ، عرض سطل پیش فرض ممکن است خیلی کوچک باشد ، و شکاف های ناخوشایندی در توزیع ایجاد می کند:

یک رویکرد مشخص کردن شکاف های دقیق سطل با عبور از یک آرایه به سطل ها است:

این امر همچنین می تواند با تنظیم گسسته = True انجام شود ، که BIN را انتخاب می کند که مقادیر منحصر به فرد را در یک مجموعه داده با میله هایی که بر مقدار مربوط به آنها متمرکز هستند ، نشان می دهد.

همچنین می توان با استفاده از منطق یک هیستوگرام ، توزیع یک متغیر طبقه بندی را تجسم کرد. سطل های گسسته به طور خودکار برای متغیرهای طبقه بندی شده تنظیم شده اند ، اما ممکن است "کوچک کردن" میله ها کمی برای تأکید بر ماهیت طبقه بندی محور نیز مفید باشد:

تهویه بر متغیرهای دیگر#

پس از درک توزیع یک متغیر ، مرحله بعدی اغلب این است که آیا ویژگی های این توزیع در سایر متغیرهای موجود در مجموعه داده ها متفاوت است یا خیر. به عنوان مثال ، چه چیزی برای توزیع دوقلوی طول فلیپر که در بالا دیدیم حساب می کند؟Rellipot () و Histplot () پشتیبانی از زیربنای مشروط از طریق معنایی رنگ را فراهم می کند. اختصاص یک متغیر به رنگ ، یک هیستوگرام جداگانه برای هر یک از مقادیر منحصر به فرد خود ترسیم کرده و آنها را با رنگ متمایز می کند:

به طور پیش فرض ، هیستوگرام های مختلف در بالای یکدیگر "لایه بندی شده" قرار می گیرند و در برخی موارد ممکن است تشخیص آنها دشوار باشد. یک گزینه تغییر نمای بصری هیستوگرام از یک طرح نوار به یک طرح "مرحله" است:

از طرف دیگر ، به جای لایه بندی هر نوار ، می توان آنها را "انباشته" کرد ، یا به صورت عمودی حرکت کرد. در این طرح ، طرح کلی هیستوگرام کامل فقط با یک متغیر واحد مطابقت دارد:

هیستوگرام انباشته شده بر رابطه جزئی بین متغیرها تأکید می کند ، اما می تواند سایر ویژگی ها را مبهم کند (برای مثال ، تعیین حالت توزیع آدلی دشوار است. گزینه دیگر "Dodge" میله ها است که آنها را به صورت افقی حرکت می دهد و کاهش می یابدعرض آنها. این تضمین می کند که هیچ همپوشانی وجود ندارد و میله ها از نظر ارتفاع قابل مقایسه هستند. اما فقط وقتی متغیر طبقه بندی شده تعداد کمی از سطوح را داشته باشد ، خوب عمل می کند:

از آنجا که albot () یک تابع سطح شکل است و بر روی یک FaceTgrid کشیده می شود ، همچنین می توان با اختصاص متغیر دوم به COL یا ROW به جای (یا علاوه بر) رنگ ، هر توزیع جداگانه را در یک زیرمجموعه جداگانه ترسیم کرد. این نشان دهنده توزیع هر یک از زیر مجموعه ها به خوبی است ، اما ترسیم مقایسه مستقیم را دشوارتر می کند:

هیچ یک از این رویکردها کامل نیستند ، و ما به زودی گزینه های دیگری را برای یک هیستوگرام مشاهده خواهیم کرد که از کار مقایسه بهتر برخوردار هستند.

آمار هیستوگرام عادی#

قبل از انجام این کار ، نکته دیگری که باید به آن توجه کنیم این است که ، هنگامی که زیر مجموعه ها تعداد نابرابر مشاهدات را دارند ، مقایسه توزیع آنها از نظر شمارش ممکن است ایده آل نباشد. یک راه حل عادی سازی شمارش با استفاده از پارامتر STAT است:

با این حال ، به طور پیش فرض ، عادی سازی برای کل توزیع اعمال می شود ، بنابراین این به سادگی ارتفاع میله ها را نجات می دهد. با تنظیم COMOM_NORM = FALSE ، هر زیر مجموعه به طور مستقل عادی می شود:

چگالی عادی سازی میله ها را به گونه ای می کند که مناطق آنها به 1 جمع شود. در نتیجه ، محور چگالی به طور مستقیم قابل تفسیر نیست. گزینه دیگر عادی سازی میله ها به مبلغ ارتفاعات آنها به 1 است. این بیشترین حس را دارد که متغیر گسسته باشد ، اما گزینه ای برای همه هیستوگرام ها است:

تخمین چگالی هسته#

یک هیستوگرام با هدف تقریب عملکرد چگالی احتمال اساسی که داده ها را با استفاده از خطوط و شمارش مشاهدات تولید می کند. برآورد چگالی هسته (KDE) یک راه حل متفاوت برای همین مشکل ارائه می دهد. به جای استفاده از سطل های گسسته ، یک نقشه KDE مشاهدات را با یک هسته گاوسی صاف می کند و یک تخمین چگالی مداوم ایجاد می کند:

انتخاب پهنای باند هموار#

تقریباً مانند اندازه سطل در هیستوگرام ، توانایی KDE در نمایش دقیق داده ها به انتخاب پهنای باند هموار سازی بستگی دارد. یک برآورد بیش از حد صاف ممکن است ویژگی های معنی دار را پاک کند ، اما یک برآورد زیر صاف می تواند شکل واقعی را در سر و صدای تصادفی مبهم کند. ساده ترین راه برای بررسی استحکام تخمین ، تنظیم پهنای باند پیش فرض است:

توجه داشته باشید که چگونه پهنای باند باریک باعث می شود دوتایی بسیار آشکارتر شود ، اما منحنی بسیار صاف تر است. در مقابل ، یک پهنای باند بزرگتر تقریباً کاملاً دوتایی را مبهم می کند:

تهویه بر متغیرهای دیگر#

مانند هیستوگرام ، اگر متغیر رنگ را اختصاص دهید ، یک برآورد چگالی جداگانه برای هر سطح از آن متغیر محاسبه می شود:

در بسیاری از موارد ، KDE لایه ای تفسیر آسان تر از هیستوگرام لایه بندی شده است ، بنابراین اغلب انتخاب خوبی برای کار مقایسه است. بسیاری از گزینه های مشابه برای حل توزیع های متعدد نیز در مورد KDE اعمال می شود ، با این حال:

توجه داشته باشید که چگونه طرح انباشته شده در منطقه بین هر منحنی به طور پیش فرض پر شده است. همچنین می توان منحنی ها را برای تراکم های یک یا لایه بندی شده پر کرد ، اگرچه مقدار پیش فرض آلفا (کدورت) متفاوت خواهد بود ، به طوری که تراکم های فردی آسان تر است.

تخمین چگالی هسته مشکلات#

توطئه های KDE مزایای بسیاری دارند. ویژگی های مهم داده ها به راحتی قابل تشخیص هستند (گرایش اصلی ، دوتایی ، SKEW) ، و آنها مقایسه آسان بین زیر مجموعه ها را دارند. اما موقعیت هایی نیز وجود دارد که KDE ضعیف نشان دهنده داده های اساسی است. این امر به این دلیل است که منطق KDE فرض می کند که توزیع اساسی صاف و بدون مرز است. یکی از راه های این فرض که می تواند شکست بخورد ، زمانی است که یک متغیر یک مقدار را منعکس می کند که به طور طبیعی محدود است. اگر مشاهدات نزدیک به محدوده وجود داشته باشد (به عنوان مثال ، مقادیر کوچک یک متغیر که نمی تواند منفی باشد) ، منحنی KDE ممکن است به مقادیر غیرواقعی گسترش یابد:

این می تواند تا حدی با پارامتر برش اجتناب شود ، که مشخص می کند که منحنی تا چه حد باید فراتر از داده های شدید باشد. اما این فقط در جایی که منحنی ترسیم شده است تأثیر می گذارد. برآورد چگالی هنوز هم در محدوده ای که هیچ داده ای وجود ندارد ، صاف خواهد شد و باعث می شود که در افراط توزیع از نظر مصنوعی کم باشد:

رویکرد KDE همچنین برای داده های گسسته یا هنگامی که داده ها به طور طبیعی مداوم هستند اما مقادیر خاص بیش از حد نماینده هستند ، ناکام است. نکته مهمی که باید در نظر داشته باشید این است که KDE همیشه یک منحنی صاف را به شما نشان می دهد ، حتی اگر داده ها صاف نباشند. به عنوان مثال ، این توزیع وزن الماس را در نظر بگیرید:

در حالی که KDE نشان می دهد که در اطراف مقادیر خاص قله هایی وجود دارد ، هیستوگرام توزیع بسیار تندتر را نشان می دهد:

به عنوان یک سازش ، می توان این دو رویکرد را با هم ترکیب کرد. در حالی که در حالت هیستوگرام ، albot () (مانند histplot ()) گزینه شامل منحنی kde صاف شده را دارد (توجه داشته باشید kde = درست است ، نه نوع = "kde"):

توزیع تجربی تجربی#

گزینه سوم برای تجسم توزیع ها "عملکرد توزیع تجربی تجربی" (ECDF) را محاسبه می کند. این طرح یک منحنی یکنواخت در حال افزایش را از طریق هر پایگاه داده به گونه ای ترسیم می کند که ارتفاع منحنی نسبت مشاهدات را با یک مقدار کوچکتر منعکس می کند:

طرح ECDF دو مزیت اصلی دارد. بر خلاف هیستوگرام یا KDE ، مستقیماً هر DataPoint را نشان می دهد. این بدان معناست که هیچ اندازه سطل یا پارامتر صاف کننده وجود ندارد. علاوه بر این ، از آنجا که منحنی به صورت یکنواخت در حال افزایش است ، برای مقایسه توزیع های متعدد مناسب است:

نکته منفی در طرح ECDF این است که نشان دهنده شکل توزیع کمتر از یک هیستوگرام یا منحنی چگالی است. در نظر بگیرید که چگونه دوتایی طول فلیپ در هیستوگرام آشکار است ، اما برای دیدن آن در طرح ECDF ، باید به دنبال دامنه های مختلف باشید. با این وجود ، با تمرین ، می توانید یاد بگیرید که با بررسی ECDF ، به تمام سؤالات مهم در مورد توزیع پاسخ دهید و انجام این کار می تواند یک رویکرد قدرتمند باشد.

تجسم توزیع های دو متغیره#

همه نمونه های تاکنون توزیع های یک متغیره را در نظر گرفته اند: توزیع یک متغیر واحد ، شاید مشروط بر متغیر دوم که به رنگ اختصاص داده شده است. با این حال ، اختصاص متغیر دوم به Y ، توزیع دو متغیره را ترسیم می کند:

یک هیستوگرام دو متغیره داده های موجود در مستطیل ها را که نقشه را کاشی می کند ، سطحی را نشان می دهد و سپس تعداد مشاهدات موجود در هر مستطیل را با رنگ پر نشان می دهد (مشابه با یک نقشه گرما ()). به طور مشابه ، یک طرح KDE دو متغیره مشاهدات (x ، y) را با یک گاوسی 2D صاف می کند. نمایندگی پیش فرض سپس خطوط چگالی 2D را نشان می دهد:

با اختصاص متغیر HUE ، چندین نقشه گرما یا مجموعه های کانتور را با استفاده از رنگ های مختلف ترسیم می کند. برای هیستوگرام های دو متغیره ، این تنها در صورتی که حداقل همپوشانی بین توزیع های مشروط وجود داشته باشد ، خوب خواهد بود:

رویکرد کانتور طرح KDE دو متغیره خود را بهتر می کند تا همپوشانی را ارزیابی کند ، اگرچه یک نقشه با کانتورهای بیش از حد می تواند مشغول کار باشد:

دقیقاً مانند توطئه های یک متغیره ، انتخاب اندازه سطل یا پهنای باند هموار ، تعیین می کند که چگونه طرح به خوبی توزیع دو متغیره اساسی را نشان می دهد. همان پارامترها اعمال می شود ، اما با عبور از یک جفت مقادیر می توان آنها را برای هر متغیر تنظیم کرد:

برای کمک به تفسیر نقشه گرما ، یک رنگرنگ را اضافه کنید تا نقشه برداری بین شمارش و شدت رنگ را نشان دهید:

معنی کانتورهای چگالی دو متغیره ساده تر است. از آنجا که چگالی به طور مستقیم قابل تفسیر نیست ، کانتورها در متناسب ایزو از چگالی کشیده می شوند ، به این معنی که هر منحنی مجموعه ای از سطح را نشان می دهد به گونه ای که برخی از نسبت های چگالی در زیر آن قرار دارد. مقادیر P به طور مساوی فاصله دارند و کمترین سطح آن توسط پارامتر Thresh و تعداد کنترل شده توسط سطوح کنترل می شود:

پارامتر سطح همچنین لیستی از مقادیر را برای کنترل بیشتر می پذیرد:

هیستوگرام دو متغیره به یک یا هر دو متغیر اجازه می دهد تا گسسته باشند. ترسیم یک متغیر گسسته و یک متغیر مداوم ، روش دیگری برای مقایسه توزیع های یک متغیره مشروط ارائه می دهد:

در مقابل ، ترسیم دو متغیر گسسته به راحتی نشان می دهد که جدول بندی متقابل مشاهدات را نشان می دهد:

تجسم توزیع در سایر تنظیمات#

چندین کارکرد ترسیم در سطح شکل در Seabo از توابع Histplot () و Kdeplot () استفاده می کند.

ترسیم توزیع های مشترک و حاشیه ای#

اولین مورد مشترک () است که با توزیع حاشیه ای از دو متغیر ، یک طرح نسبی یا توزیع دو متغیره را افزایش می دهد. به طور پیش فرض ، intarplot () توزیع دو متغیره را با استفاده از scatterplot () و توزیع های حاشیه ای با استفاده از histplot () نشان می دهد:

شبیه به albot () ، تنظیم یک نوع متفاوت = "kde" در intsplot () هر دو توطئه مفصل و حاشیه ای را در استفاده از kdeplot () تغییر می دهد:

intlainplot () یک رابط مناسب برای کلاس مشترک است ، که در صورت استفاده مستقیم ، انعطاف پذیری بیشتری را ارائه می دهد:

یک روش کم تحرک برای نمایش توزیع های حاشیه ای از یک نقشه "فرش" استفاده می کند ، که یک کنه کوچک در لبه طرح اضافه می کند تا هر یک از مشاهدات فردی را نشان دهد. این در Ralvot () ساخته شده است:

و از عملکرد Rugplot () سطح محورها می توان برای اضافه کردن فرش در کنار هر نوع طرح دیگر استفاده کرد:

ترسیم بسیاری از توزیع ها#

عملکرد PairPlot () ترکیبی مشابه از توزیع های مشترک و حاشیه ای را ارائه می دهد. با این حال ، به جای تمرکز روی یک رابطه واحد ، از یک رویکرد "کوچک" برای تجسم توزیع یک متغیره همه متغیرها در یک مجموعه داده به همراه تمام روابط زوج خود استفاده می کند:

همانطور که با AlfitPlot () / Alfitgrid ، با استفاده از زیرین Pairgrid به طور مستقیم با کمی تایپ کردن ، انعطاف پذیری بیشتری را ارائه می دهد: