سلام دوستان
یه سوال داشتم، خیلی ممنون میشم اگه کمکم کنید:
من برای پایان نامه م نیاز به data set داشتم که متاسفانه بعد از ایمیل زدن های زیاد ناکام موندم. آخرش یه سایت پیدا کردم که اطلاعات ش رو در سایت قرار داده و فقط نیاز به web crawler دارم که اطلاعات مورد نیاز رو استخراج کنم. از اونجایی که من زیاد مطلع نیستم این web crawler ها چیکار میکنن و چطوری میتونن اطلاعات مورد نظر من رو در بیارن، یه سوال داشتم:
ببینید من از سایت
مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمیباشید. جهت مشاهده پیوندها ثبت نام کنید.
باید یه سری اطلاعات مانند موارد زیر رو بدست بیارم:
نام کاربر
تاریخ ثبت نام
تعداد ایده هایی که ثبت کرده
تعداد ایده های ثبت شده توسط کاربر که پیاده سازی شده
تاریخ آخرین باری که یگ ایده پیاده سازی شده ثبت کرده
تاریخ آخرین باری که ایده ثبت کرده
مجموع Score های کاربر
... و خیلی از اطلاعات دیگه
تازه، باید اطلاعات کاربر رو در دو بازه زمانی داشته باشم، مثلا بین ۲۰۰۷-۲۰۰۹ و ۲۰۰۹-۲۰۱۱
حالا سوال اینجاست نرم افزار آماده ای هست که بتونه این اطلاعات رو دقیق در بیاره و در DB ذخیره کنه؟
اگه نیست من چی کار کنم؟
خواهش میکنم راهنمایی م کنید