انجمنصفحه اولجستجوی انجمن

[banou]

سلام.
لطفا کسانی که در این زمینه در حال کار کردن هستند در این تاپیک تجربیات خودشون را بیان کنند.
داده کاوی یکی از حوزه هایی است که میشه خیلی در این زمینه کار کرد ولی باید دید،جدیدترین رویکردهای آن چیه؟
داده کاوی ۲ مرحله داره:
۱- ابتدا داده های خام باید پردازش بشوند و به قالب مناسبی برای اعمال فرآیند داده کاوی تبدیل بشن.
۲-داده های مرحله ۱،به کمک دسته بندی و خوشه بندی به منظور تشخیص الگو مورد استفاده قرار بگیرند.

مرحله ۱،شامل اینهاست:
۱-پاکسازی
۲-یکپارچه سازی
۳-انتخاب صفات
۴-تبدیل داده ها به قالبی مناسب

در مرحله۲،به منظور تشخیص الگو از الگوریتم های دسته بندی و خوشه بندی استفاده می کنند.
البته تکنیک های داده کاوی به دو دسته نظارتی و غیرنظارتی تقسیم میشن که دسته بندی جز گروه نظارتی و خوشه بندی جز گروه غیرنظارتی ها میشه.فرقشون هم اینه که در نظارتی ها یک متغییر هدف از قبل تعریف شده هست ولی در غیرنظارتی ها متغییر هدف وجود نداره.حالا این متغییر هدف به چه دردی میخوره و چیکار میشه باهاش کرد رو خودمم نمی دونم.

بعد با یکسری معیارهای مثل دقت،سرعت و کارایی این الگوریتم ها رو ارزیابی می کنند.

حالا سئوال من اینه که از کجا میشه شناخت خوبی راجع به الگوریتم های داده دسته بندی و خوشه بندی پیدا کرد.من خودم به شخصه به منابع خوبی دسترسی ندارم.ضمناً اگه بخواهیم در زمینه داده کاوی مدل ارائه کنیم چیکار باید بکنیم؟
ممنون میشم اگه شرکت فعالانه دراین تاپیک داشته باشید.

[Lonely Palm]

سلام
منم چون باید روی این موضوع کار کنم، تازه مطالعه م رو تو این حوزه شروع کردم
در مورد الگوریتم های خوشه بندی، من یه کتاب قبلا خوندم تالیف آقای دکتر منصور مومنی، به اسم " خوشه بندی داده ها (تحلیل خوشه ای)" که بسیار کتاب خوبی بود، گرچه اشتباهاتی هم داشت ولی به نظر نمیرسه از مولف باشه و احتمالا جابجایی تایپی هست...
من در حال حاضر کتاب Mining Text Data رو می خونم که کتاب خوبیه(مجموعه ای از مقالات که اشپرینگر چاپ کرده) ، survey جامعی هم از روش های مختلف دسته بندی و خوشه بندی متن رو داره
این که فرمودین بخواید مدل ارائه کنید یه ذره گنگه برام، منظورتون اینه که بخواین روش جدیدی ارائه کنین یا منظورتون اینه که بخواین شبیه سازی انجام بدین؟

[ghaderiyaser]

در حال حاضر چالنج های زیادی تو این زمینه هست و میشه توی این زمینه ها کارکرد. به عنوان مثال کشف درخت تصمیم معتبر در داده ی استریم و پویا یا مثلا کشف و دسته بندی موضوعات متن های فارسی(اگر چه متن کاویه ولی یه جورایی داده کاوی هم هست) و....

[banou]

(۲۱ خرداد ۱۳۹۲ ۰۱:۰۷ ق.ظ)Lonely Palm نوشته شده توسط:  این که فرمودین بخواید مدل ارائه کنید یه ذره گنگه برام، منظورتون اینه که بخواین روش جدیدی ارائه کنین یا منظورتون اینه که بخواین شبیه سازی انجام بدین؟

بله منظورم ارائه روش جدید هست.
اگه در مورد شبیه سازی توضیح هم بدید ممنون میشم.
در ضمن این کتابهایی که خوندید اگه الکترونیکی هست می تونید برام ایمیل کنید؟
اگه هم خریدنی هست اسم انتشاراتشو بهم بدید.
الگوریتم های زیادی در داده کاوی هست ولی نمی دونم باید از کجا اطلاعات دقیق راجع بهشون پیدا کنم؟بهرحال اگه آدم بخواد خوب ازشون سردربیاره باید کامل و دقیق از لحاظ ریاضی باهاشون آشنا باشه.
متشکرم

[Lonely Palm]

مرحله شبیه سازی معمولا بعد از ارائه یه تکنیک جدید هست که اساس تز شما رو تشکیل میده، که کارایی روش خودتون رو اثبات کنید. اغلب باید از قبل از وجود دیتاست مربوط به اون کار اطمینان داشته باشید چون در صورتی که شما یه کار خیلی خوب هم انجام داده باشید ولی دیتاستی براش پیدا نشه، کار به شدت مشکل میشه چون ایجاد یه دیتاست استاندارد خودش یه پروژه وقت گیر و تیمی هست و علاوه بر این اعتباری توی مجامع بین المللی ممکنه پیدا نکنه کارتون
نرم افزارهایی که بدرد این کار بخورن رو کامل نمیشناسم اما MATLAB و RapidMiner خیلی تو این زمینه کارایی دارن
کتاب خوشه بندی دکتر مومنی رو باید خودتون تهیه کنید انتشارات خاصی هم نداره، حدس می زنم خود مولف اقدام به چاپش کرده چون تو قسمت ناشر نوشته شده مولف،
مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.
رو لینک کردم اما برای کتاب دیگه، الکترونیکی هست و خواستم اینجا ضمیمه ش کنم نشد، ایمیلتون رو پ.خ بفرمایید تا بفرستم خدمتتون
یه چیز دیگه هم اینکه اگر دنبال کتاب فارسی هستید، کتاب داده کاوی کاربردی آقای دکتر صنیعی آباده انتشارات نیاز دانش هم کتاب خوبیه برای اینکه دید جامعی راجع به داده کاوی به آدم میده

[ghaderiyaser]

من یه سری توضیحات بدم شاید بد نباشه. ما سه روش داریم:
۱- بهینه سازی: خروجی و مدل داریم و هدف ارائه بهترین ورودی هاست که خروجی بهترین حالت باشه.
۲- مدل سازی: ورودی و خروجی داریم و مدل را نداریم و هدف ارائه مدلی است که بهترین نگاشت را انجام دهد.
۳- شبیه سازی: ورودی و مدل رو داریم و هدف تولید خروجی هاست که به مثال واقعی شبیه باشه.

[banou]

(۲۱ خرداد ۱۳۹۲ ۰۲:۲۵ ب.ظ)ghaderiyaser نوشته شده توسط:  من یه سری توضیحات بدم شاید بد نباشه. ما سه روش داریم:
۱- بهینه سازی: خروجی و مدل داریم و هدف ارائه بهترین ورودی هاست که خروجی بهترین حالت باشه.
۲- مدل سازی: ورودی و خروجی داریم و مدل را نداریم و هدف ارائه مدلی است که بهترین نگاشت را انجام دهد.
۳- شبیه سازی: ورودی و مدل رو داریم و هدف تولید خروجی هاست که به مثال واقعی شبیه باشه.

لطفا بیشتر توضیح بدید.برای من نامفهومه.
از کجا می تونم الگوریتم های داده کاوی را بخوبی بشناسم؟منبع درستی ندارم.
متشکرم

[ghaderiyaser]

الگوریتم های داده کاوی دو دسته اند:

۱- دسته بندی: درخت تصمیم، شبکه عصبی و..
۲- توصیفی: خوشه بندی و..
منبع من کتاب داده کاوی آقای tan رو معرفی می کنم. کتاب خوبیه. آفستش تو انقلاب گیر میاد.

[banou]

الگوریتم های تکاملی مثل pso،AIS،کرم شب تاب و ... را در چه قسمتهایی از داده کاوی میشه استفاده کرد؟

[Lonely Palm]

(۲۲ خرداد ۱۳۹۲ ۰۴:۲۰ ب.ظ)banou نوشته شده توسط:  الگوریتم های تکاملی مثل pso،AIS،کرم شب تاب و ... را در چه قسمتهایی از داده کاوی میشه استفاده کرد؟

الگوریتم های تکاملی ذاتا برای حل مسائل بهینه سازی مطرح شدن، پس میشه گفت هرجا که مسئله رو میشه به صورت یه مسئله بهینه سازی مدل کرد، این الگوریتم ها هم کاربرد دارن، چه توی خوشه بندی، چه توی دسته بندی، چه توی الگوریتم های یادگیری مدل و ...

[banou]

آیا میشه در داده کاوی روشی را که با شبکه عصبی انجام شده می توان با یکی از الگوریتم های تکاملی بهینه کرد؟

[Lonely Palm]

(۲۲ خرداد ۱۳۹۲ ۰۵:۰۱ ب.ظ)banou نوشته شده توسط:  آیا میشه در داده کاوی روشی را که با شبکه عصبی انجام شده می توان با یکی از الگوریتم های تکاملی بهینه کرد؟

بله میشه، از الگوریتم های تکاملی برای train کردن شبکه های عصبی استفاده میشه، بنابراین می تونین یکی از شناخته شده ترین اون ها رو برای الگوریتم training شبکه عصبی بکار بگیرین

[ghaderiyaser]

فرض کنید ما مجموعه قوانین وابستگی را توسط الگوریتم های استخراج قوانین وابستگی استخراج کرده ایم، این قوانین را به صورت ورودی به الگوریتم های تکاملی می دهیم و کیفیت آنها طی پروسه تکامل بهبود می یابد.

[banou]

ممنون از توضیحات خوبتون.چندتا سئوال در ذهن من ایجاد شد؟یکی اینکه حالا این بهینه سازی را چطوری ارزیابی کنیم؟معیارهای ارزیابی چه چیزهایی هستند؟ و دوم اینکه برای انجام اینکار پایگاه داده از کجا گیر بیاریم؟

[ghaderiyaser]

معیارهای ارزیابی توسط شخص خبره تعیین و توسط داده کاو فرموله می شوند. پایگاه داده یا همون dataset مشکل اصلی که چه جوری گیر بیان. حالا بعد نیست من اینو مطرح کنم که من می خوام در هفتمین کنفرانس داده کاوی که تو دانشگاه امیرکبیر برگزار میشه مقاله بدم الگه کسی یا کسانی هستن بگن که هم گروهی انجام بشه هم هزینه های کنفرانس تقسیم بر تعداد بشه من خوشحال میشم کسی اگه بخواد.