زمان کنونی: ۰۱ اردیبهشت ۱۴۰۳, ۰۶:۰۷ ب.ظ مهمان گرامی به انجمن مانشت خوش آمدید. برای استفاده از تمامی امکانات انجمن می‌توانید عضو شوید.
گزینه‌های شما (ورودثبت نام)

الگوریتم های داده کاوی مقاوم در برابر داده های نویزی و داده های پرت

ارسال:
۲۷ مرداد ۱۳۹۳, ۱۰:۴۸ ب.ظ
الگوریتم های داده کاوی مقاوم در برابر داده های نویزی و داده های پرت
با سلام،
دوستان کسی میدونه که کدوم یک از الگوریتم های داده کاوی در برابر داده های نویزی و داده های پرت مقاوم هستند؟
برای مثال هر کدوم از الگوریتم های زیر چه عکسی العملی راجع به این نوع داده ها دارند؟
۱- Apriori
۲- KNN
۳- C4.5
۴- ID3
۵- SVM
۶- FCM
۷- DBSCAN
۸- CART
۹- EM
۱۰- PageRank
۱۱- شبکه عصبی
۱۲- الگوریتم ژنتیک
البته خودم براساس مطالعه ای که کردم، میدونم که FCM در برابر نویز حساس هست. برای حل مشکل اون PFCM رو پیشنهاد دادند. DBSCAN مقاوم هست. شبکه عصبی و الگوریتم ژنتیک هم مقاوم هستند. ID3 مقاوم نیست و برای حل مشکل مقاومت در اون C4.5 مقاوم هست. ولی نمیدونم که هر کدوم چند درصد مقاوم هستند. ممنون میشم اگر کسی اطلاعاتی داره، راهنمایی کنه.
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ
ارسال:
۲۸ مرداد ۱۳۹۳, ۰۳:۲۲ ب.ظ
الگوریتم های داده کاوی مقاوم در برابر داده های نویزی و داده های پرت
دوستانی که هوش خوندن هم نمیتونن در این زمینه کمک کنن؟؟؟؟؟؟؟؟؟؟!!!!!!!!!!!!!!!!!!!! من نمیدونم چرا توی این فروم هر زمان که سوالی راجع به هوش میپرسم، هیچ کس جواب نمیده!!! واقعا کسی نیست؟؟؟
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ
ارسال:
۲۸ مرداد ۱۳۹۳, ۰۳:۵۰ ب.ظ (آخرین ویرایش در این ارسال: ۲۸ مرداد ۱۳۹۳ ۰۴:۰۱ ب.ظ، توسط equilibrium.)
الگوریتم های داده کاوی مقاوم در برابر داده های نویزی و داده های پرت
سلام،
اینکه هر الگوریتم چند درصد به نویز حساسه دقیق نیست؛ این موضوع وابسته به داده هاست و همینطور توزیع نویز؛
من همه الگوریتم ها رو نمیشناسم ولی امیدوارم این چندتا نکته بهتون کمک کنه؛

الگوریتم K-NN نسبت به نویز حساسه؛ چقدرش (علاوه بر داده ها) بستگی به مقدار N داره؛ هر چی N بزرگتر باشه، تاثیر نویز کمتر میشه و از اونطرف پیچیدگی افزایش پیدا می کنه؛
درخت تصمیم به نویز حساس نیست و مقاوم بودنش به نویز یکی از ویژگی های مهم اونه؛
SVM به نویز حساسه؛ شدت و توزیع نویز میتونه کاملا ابر صفحاتی که به دست میاد رو تحت تاثیر بزاره (یعنی ممکنه تعدادی از بردارهای پشتیبان داده های نویز باشن)؛
حساس بودن شبکه عصبی و الگوریتم ژنتیک به نویز سوال درستی نیست؛ موارد دیگه الگوریتمن و این دوتا رویکرد حل مسئله؛ یعنی اثرگذاری داده های نویزی زمانیکه از این دوتا رویکرد استفاده میشه قبل از هرچیز بستگی به ساختار شبکه و یا نمایش کروموزومها و چگونگی کراس و میوت و انتخاب داره؛ ولی در کل حساسیت شبکه عصبی به نویز کمه (چون مثل لوکال سرچ عمل میکنه) و ژنتیک کمتر (جمعیتگراست)؛

اگر اسم الگوریتم X رو در مقاله ای همراه با عبارتهایی مثل A robust X for noisy... دیدید نشون میده که X میتونه تحت تاثیر نویز باشه و هر چی تعداد این مقالات بیشتر باشه یعنی مسئله نویز در اون الگوریتم چالش جدی تریه؛ عبارت A cost-sensitive X for هم معنی مشابهی داره (صرف نظر از اینکه بعد از for چی بیاد)؛

گر وا نمی کنی گره ای، خود گـــره مباش،
ابروگشاده باش چو دستت گشاده نیست
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ
 سپاس‌گزاری شده توسط: AmiriManesh , Lonely Palm , diligent
ارسال:
۲۸ مرداد ۱۳۹۳, ۰۴:۳۰ ب.ظ
الگوریتم های داده کاوی مقاوم در برابر داده های نویزی و داده های پرت
تا جایی که یادمه تو SVM با soft margin میشه رو نویز یه کارایی کرد.
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ
 سپاس‌گزاری شده توسط: AmiriManesh
ارسال:
۲۸ مرداد ۱۳۹۳, ۰۵:۳۲ ب.ظ (آخرین ویرایش در این ارسال: ۲۸ مرداد ۱۳۹۳ ۰۵:۵۵ ب.ظ، توسط AmiriManesh.)
RE: الگوریتم های داده کاوی مقاوم در برابر داده های نویزی و داده های پرت
(۲۸ مرداد ۱۳۹۳ ۰۳:۵۰ ب.ظ)Ghiasoddin نوشته شده توسط:  سلام،
اینکه هر الگوریتم چند درصد به نویز حساسه دقیق نیست؛ این موضوع وابسته به داده هاست و همینطور توزیع نویز؛
من همه الگوریتم ها رو نمیشناسم ولی امیدوارم این چندتا نکته بهتون کمک کنه؛

الگوریتم K-NN نسبت به نویز حساسه؛ چقدرش (علاوه بر داده ها) بستگی به مقدار N داره؛ هر چی N بزرگتر باشه، تاثیر نویز کمتر میشه و از اونطرف پیچیدگی افزایش پیدا می کنه؛
درخت تصمیم به نویز حساس نیست و مقاوم بودنش به نویز یکی از ویژگی های مهم اونه؛
SVM به نویز حساسه؛ شدت و توزیع نویز میتونه کاملا ابر صفحاتی که به دست میاد رو تحت تاثیر بزاره (یعنی ممکنه تعدادی از بردارهای پشتیبان داده های نویز باشن)؛
حساس بودن شبکه عصبی و الگوریتم ژنتیک به نویز سوال درستی نیست؛ موارد دیگه الگوریتمن و این دوتا رویکرد حل مسئله؛ یعنی اثرگذاری داده های نویزی زمانیکه از این دوتا رویکرد استفاده میشه قبل از هرچیز بستگی به ساختار شبکه و یا نمایش کروموزومها و چگونگی کراس و میوت و انتخاب داره؛ ولی در کل حساسیت شبکه عصبی به نویز کمه (چون مثل لوکال سرچ عمل میکنه) و ژنتیک کمتر (جمعیتگراست)؛

اگر اسم الگوریتم X رو در مقاله ای همراه با عبارتهایی مثل A robust X for noisy... دیدید نشون میده که X میتونه تحت تاثیر نویز باشه و هر چی تعداد این مقالات بیشتر باشه یعنی مسئله نویز در اون الگوریتم چالش جدی تریه؛ عبارت A cost-sensitive X for هم معنی مشابهی داره (صرف نظر از اینکه بعد از for چی بیاد)؛
سلام
ممنون از blackhalo 1989 و آقای غیاث الدین، بابت پاسخهاشون.
آقای غیاث الدین مثل همیشه عالی جواب دادید. من توی انتخاب عنوان پایان نامه هم مدیون راهنمایی های عالی و توضیحات دقیق شما هستم.
اما باید بگم که نظرم راجع به بعضی موارد با شما یکی نیست.
راجع به درخت تصمیم که گفتید در برابر نویز مقاوم هست! ولی این طور نیست!! من حساس بودن درخت تصمیم رو که نمیشه هم به طور کلی گفت درخت تصمیم و باید اسم دقیق الگوریتم رو آورد، جاهای متفاوتی خوندم که بعضی هاشون حساس هستند و بعضی ها خیر. الان خاطرم نیست که اون منبعی که از اون خوندم ID3 حساس هست ولی C4.5 مقاوم، کدوم بود. ولی هر زمان که پیداش کردم، حتما میذارمش. فعلا این لینک رو ببینید:

مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.

توی اسلایدهای ۳ و ۴ مطالبی که من راجع به درخت تصمیم میگم رو آورده.[/align]
راجع به شبکه عصبی و الگوریتم ژنتیک تحلیل شما خیلی خوب بود ولی من از خودم نظر ندادم. براساس مقاله ی زیر نظرم رو گفتم. حتما مقاله رو ببینید.
بهرحال ممنون. یک سوال دیگه هم داشتم. ممنون میشم که در صورتی که اطلاعاتی راجع به این مورد دارید و زمان پاسخگویی هم دارید، نظرتون رو بفرمایید. میخوام بدونم که هر کدوم از الگوریتمهایی که عنوان کردم، برای چه نوع داده هایی (گسسته یا پیوسته) مناسب هستند؟


فایل‌(های) پیوست شده
۱۲۸۷/pdf
اندازه فایل: ۶۸۹/۹۲ KB
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ
 سپاس‌گزاری شده توسط: equilibrium
ارسال:
۲۹ مرداد ۱۳۹۳, ۰۹:۳۷ ب.ظ
RE: الگوریتم های داده کاوی مقاوم در برابر داده های نویزی و داده های پرت
(۲۸ مرداد ۱۳۹۳ ۰۵:۳۲ ب.ظ)AmiriManesh نوشته شده توسط:  راجع به درخت تصمیم که گفتید در برابر نویز مقاوم هست! ولی این طور نیست!! من حساس بودن درخت تصمیم رو که نمیشه هم به طور کلی گفت درخت تصمیم و باید اسم دقیق الگوریتم رو آورد، جاهای متفاوتی خوندم که بعضی هاشون حساس هستند و بعضی ها خیر. الان خاطرم نیست که اون منبعی که از اون خوندم ID3 حساس هست ولی C4.5 مقاوم، کدوم بود. ولی هر زمان که پیداش کردم، حتما میذارمش. فعلا این لینک رو ببینید:

مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.

توی اسلایدهای ۳ و ۴ مطالبی که من راجع به درخت تصمیم میگم رو آورده.
راجع به شبکه عصبی و الگوریتم ژنتیک تحلیل شما خیلی خوب بود ولی من از خودم نظر ندادم. براساس مقاله ی زیر نظرم رو گفتم. حتما مقاله رو ببینید.
بهرحال ممنون. یک سوال دیگه هم داشتم. ممنون میشم که در صورتی که اطلاعاتی راجع به این مورد دارید و زمان پاسخگویی هم دارید، نظرتون رو بفرمایید. میخوام بدونم که هر کدوم از الگوریتمهایی که عنوان کردم، برای چه نوع داده هایی (گسسته یا پیوسته) مناسب هستند؟
(خواهش میکنم، کاری نکردم)
در مورد درخت تصمیم من اشتباه کردم؛ درستش اینه: overfitting یکی از معایب مهم خانواده درخت تصمیمه و به نویز کاملا حساس؛ در مورد دو الگوریتم فوق هم حق با شماست؛
در مورد مقاله ای که ضمیمه کردید، بنظر من چندان قابل استناد نیست؛ چیزی که با عنوان الگوریتم ژنتیک در این مقاله ازش یاد شده آموزش شبکه عصبی به کمک ژنتیکه؛ نحوه مقایسات و جمله بندی مطالب پر ایراده، اما اشکال عمده مقاله اینه که روش های مورد بحث و زمینه بحث همسنگ نیستن؛ مقایسه ژنتیک با مثلا c4.5 قیاس بی ارزشیه؛ ژنتیک یه الگوریتم تقریبا همه منظوره است درحالیکه c4.5 یه روش خاص دسته بندی/رگراسیونه؛ نویز و تاثیر اون کاملا وابسته به زمینه و اپلیکیشنه؛ کلا مقالات کنفرانسی رو باید با وسواس خوند (کنفرانس های فارسی رو اصلا نباید نخوند)؛
در مورد الگورتیم هایی که میشناسم، اگه اشتباه نکنم در knn گسسته یا پیوسته بودن داده ها تفاوت چندانی نداره؛ در svm داده ها ذاتا باید عددی باشن؛ در درخت تصمیم فکر میکنم داده های گسسته قوانین تفسیر پذیرتری تولید میکنن و ذاتا با داده های گسسته بهتر کار میکنه؛ شبکه عصبی هم ذاتا با داده های عددی کار می کنه و الگوریتم ژنتیک هم ذاتا با داده های گسسته بهتر کار میکنه؛

گر وا نمی کنی گره ای، خود گـــره مباش،
ابروگشاده باش چو دستت گشاده نیست
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ
 سپاس‌گزاری شده توسط: AmiriManesh , Lonely Palm , diligent
ارسال:
۳۰ مرداد ۱۳۹۳, ۱۲:۲۴ ق.ظ
الگوریتم های داده کاوی مقاوم در برابر داده های نویزی و داده های پرت
سپاس فراوان جناب آقای غیاث الدین.
مشکل overfitting رو اتفاقا امروز از جزوه ی یکی از اساتید خوندم. رشته ی من نرم افزار هست و از جهاتی متاسفانه و یا از جهات دیگه ای هم خوشبختانه موضوعی رو برای پایان نامه برداشتم که با داده کاوی سر و کار بیشتری داره. البته ضرر نکردم چون مطالب زیادی رو در این زمینه یاد گرفتم.
من مقاله ای که ضمیمه کرده بودم رو یک نگاه کلی انداخته بودم و امروز اون رو کامل و دقیق خوندم و کاملا حق با شماست. راجع به درخت تصمیم هم ID3 با داده های پیوسته مشکل داره و C4.5 جهت حل این مشکل پیشنهاد شده.
بهرحال تشکر فراوان بابت زمانی که گذاشتید.
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ
 سپاس‌گزاری شده توسط: equilibrium


موضوع‌های مرتبط با این موضوع...
موضوع: نویسنده پاسخ: بازدید: آخرین ارسال
  آموزش نحوه گرفتن پرتره ای حرفه ای mortazangz ۰ ۱,۲۵۸ ۲۵ بهمن ۱۴۰۰ ۰۲:۱۹ ب.ظ
آخرین ارسال: mortazangz
  بین پردازش تصویر و داده کاوی موندم کدوم یکی رو برای پایان نامه انتخاب کنم؟ raheleh1393 ۵ ۷,۹۵۸ ۰۱ دى ۱۴۰۰ ۰۲:۴۸ ب.ظ
آخرین ارسال: golkhorami
  دانشجوی قرآن کاوی رایانشی دانشگاه شهید بهشتی vosough ۱ ۳,۵۹۸ ۱۰ دى ۱۳۹۹ ۱۱:۲۹ ق.ظ
آخرین ارسال: oloom-ensani
  پذیرش با عنوان قرآن کاوی رایانشی s-nowrozi ۴۷ ۳۱,۴۵۲ ۱۰ دى ۱۳۹۹ ۱۱:۲۷ ق.ظ
آخرین ارسال: oloom-ensani
  انجام پایان نامه برای داده کاوی استقرایی روی FIM ویافتن ARM با دوتا یا بیشتر CUDA GPU zaliabbass ۲ ۴,۰۲۹ ۰۶ اسفند ۱۳۹۸ ۰۸:۳۳ ب.ظ
آخرین ارسال: bankabzar
  داده کاوی امیرکبیر alisaaa ۱ ۲,۲۸۶ ۰۳ شهریور ۱۳۹۸ ۱۱:۱۳ ق.ظ
آخرین ارسال: alisaaa
  درخواست جزوه‏ ی داده کاوی paieez ۰ ۱,۹۹۲ ۰۲ تیر ۱۳۹۸ ۰۷:۴۱ ب.ظ
آخرین ارسال: paieez
  رتبه لازم برای قبولی داده کاوی امیرکبیر dataloverz ۵ ۴,۳۷۳ ۳۱ خرداد ۱۳۹۸ ۱۲:۳۱ ق.ظ
آخرین ارسال: dataloverz
  خلاصه داده الگوریتم boshbosh ۷ ۱۰,۱۴۶ ۲۲ بهمن ۱۳۹۷ ۱۲:۳۷ ق.ظ
آخرین ارسال: sajjad_s84
  داده کاوی امیرکبیر bersam ۲ ۲,۲۱۹ ۱۶ شهریور ۱۳۹۷ ۰۴:۳۰ ب.ظ
آخرین ارسال: bersam

پرش به انجمن:

Can I see some ID?

به خاطر سپاری رمز Cancel

Feeling left out?


نگران نباش، فقط روی این لینک برای ثبت نام کلیک کن. رمزت رو فراموش کردی؟ اینجا به یادت میاریم! close

رمزت رو فراموش کردی؟

Feeling left out?


نگران نباش، فقط روی این لینک برای ثبت نام کلیک کن. close