تالار گفتمان مانشت
درخواست کمک در مورد خزنده وب (Web Crawler) - نسخه‌ی قابل چاپ

درخواست کمک در مورد خزنده وب (Web Crawler) - anamis - 15 مرداد ۱۳۹۱ ۰۵:۰۵ ب.ظ

سلام.من برای پیاده سازی یک مقاله در بحث الگوریتم کلاسترینگ شبکه های اجتماعی ،احتیاج به data set دارم.به نویسندش که ایمیل دادم گفت داده هار و با crawler((خزنده وب) جمع آوری کنم.
search کردم فقط مطالبی راجع به کدهاش بود اما چون من هیچ آشنایی با این کدها ندارم و تا قبل از این حتی اسمش رو هم نشنیده بودم )نمیدونم چطوری باید داده هام رو پبدا کنم.:
ممنون میشم اگر کسی بتونه از base من رو با این مبحث آشنا کنه و کمک کنه تا بتونم داده ها رو جمع آوری کنم..

کمک میخوام(مشکل با خزنده وب) - Potential - 19 شهریور ۱۳۹۱ ۰۵:۳۹ ب.ظ

سلام دوستان

یه سوال داشتم، خیلی ممنون میشم اگه کمکم کنید:

من برای پایان نامه م نیاز به data set داشتم که متاسفانه بعد از ایمیل زدن های زیاد ناکام موندم. آخرش یه سایت پیدا کردم که اطلاعات ش رو در سایت قرار داده و فقط نیاز به web crawler دارم که اطلاعات مورد نیاز رو استخراج کنم. از اونجایی که من زیاد مطلع نیستم این web crawler ها چیکار میکنن و چطوری میتونن اطلاعات مورد نظر من رو در بیارن، یه سوال داشتم:

ببینید من از سایت
مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.
باید یه سری اطلاعات مانند موارد زیر رو بدست بیارم:

نام کاربر
تاریخ ثبت نام
تعداد ایده هایی که ثبت کرده
تعداد ایده های ثبت شده توسط کاربر که پیاده سازی شده
تاریخ آخرین باری که یگ ایده پیاده سازی شده ثبت کرده
تاریخ آخرین باری که ایده ثبت کرده
مجموع Score های کاربر
... و خیلی از اطلاعات دیگه


تازه، باید اطلاعات کاربر رو در دو بازه زمانی داشته باشم، مثلا بین ۲۰۰۷-۲۰۰۹ و ۲۰۰۹-۲۰۱۱

حالا سوال اینجاست نرم افزار آماده ای هست که بتونه این اطلاعات رو دقیق در بیاره و در DB ذخیره کنه؟

اگه نیست من چی کار کنم؟

خواهش میکنم راهنمایی م کنید

RE: کمک میخوام(مشکل با خزنده وب) - sina_bhh - 20 شهریور ۱۳۹۱ ۰۲:۳۷ ب.ظ

من توی گوگل با این عنوان سرچ کردم : extract information with web crawling

کلی برنامه برای اینکار وجود داشت.من یکیش رو نصب کردم ولی یه سری تنظیمات داشت که باید انجام بدید :

مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.


برای شبکه های اجتماعی هم این سایت یه سری توضیحات داده بود :

مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.


کمک میخوام(مشکل با خزنده وب) - Potential - 20 شهریور ۱۳۹۱ ۰۷:۱۴ ب.ظ

خیلی خیلی ممنونم ...

امتحان میکنم ببینم میتونه دقیقا اون اطلاعاتی که من میخوام رو بده .
..........................................
شاید هم نیاز به کدنویسی باشه!

کمک میخوام(مشکل با خزنده وب) - Potential - 21 شهریور ۱۳۹۱ ۰۱:۳۸ ق.ظ

این نرم افزار Mozenda کارش عالیه ... خیلی ممنون ... حیف که فقط Trial ش رو دارم.

من یه سوالی داشتم، جدای از این بحث، میشه یه نفر کمک کنه:

تو این سایت
مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.
اون بالا نوشته ۱۷۷۳۳ ایده تا حالا ثبت شده، وقتی روش کلیک میکنم و All رو میزنم فقط ۲۱ صفحه که حاوی ۱۹۰ تا ایده هست رو نشون میده!!! چرا؟ یعنی ایده های قبلی رو DELL پاک کرده؟ اگه پاک کرده باشه چی کار کنم ۱۹۰ تا رکورد برا پایان نامه خیلی کمه Sad خدای من

RE: کمک میخوام(مشکل با خزنده وب) - mahmood0197 - 04 آبان ۱۳۹۱ ۱۱:۴۸ ب.ظ

(۱۹ شهریور ۱۳۹۱ ۰۵:۳۹ ب.ظ)Potential نوشته شده توسط:  سلام دوستان

یه سوال داشتم، خیلی ممنون میشم اگه کمکم کنید:

من برای پایان نامه م نیاز به data set داشتم که متاسفانه بعد از ایمیل زدن های زیاد ناکام موندم. آخرش یه سایت پیدا کردم که اطلاعات ش رو در سایت قرار داده و فقط نیاز به web crawler دارم که اطلاعات مورد نیاز رو استخراج کنم. از اونجایی که من زیاد مطلع نیستم این web crawler ها چیکار میکنن و چطوری میتونن اطلاعات مورد نظر من رو در بیارن، یه سوال داشتم:

ببینید من از سایت
مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.
باید یه سری اطلاعات مانند موارد زیر رو بدست بیارم:

نام کاربر
تاریخ ثبت نام
تعداد ایده هایی که ثبت کرده
تعداد ایده های ثبت شده توسط کاربر که پیاده سازی شده
تاریخ آخرین باری که یگ ایده پیاده سازی شده ثبت کرده
تاریخ آخرین باری که ایده ثبت کرده
مجموع Score های کاربر
... و خیلی از اطلاعات دیگه


تازه، باید اطلاعات کاربر رو در دو بازه زمانی داشته باشم، مثلا بین ۲۰۰۷-۲۰۰۹ و ۲۰۰۹-۲۰۱۱

حالا سوال اینجاست نرم افزار آماده ای هست که بتونه این اطلاعات رو دقیق در بیاره و در DB ذخیره کنه؟

اگه نیست من چی کار کنم؟

خواهش میکنم راهنمایی م کنید

اگر یک خزنده وب می خواین شرکت باهوشا توانایی ساختش رو داره

مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.


کمک میخوام(مشکل با خزنده وب) - sebna - 16 دى ۱۳۹۲ ۰۱:۴۴ ب.ظ

سلام دوستان
من دانشجوی ارشد نرم افزار هستم و موضوع سمینار من خزنده وب هست.یه سری مقاله خوندم اما به ایده خاصی نرسیدم برای پروپوزالم.
میتونم از شما راهنمایی بگیرم؟؟؟
ایا شما پایان نامه یا مقاله فارسی یا هرچیزی که بتونه منو برای انجام کارم راهنمایی کنه دارید که در اختیار من قرار بدید؟
واقعا لطف بزرگی میکنید.
خیلی ممنون میشم ازتون.
جدا گیرکردم.

درخواست کمک در مورد خزنده وب web crawling - sebna - 16 دى ۱۳۹۲ ۰۱:۴۷ ب.ظ

سلام.خسته نباشید.ببخشید من دانشجوی ارشد نرم افزار هستم و موضوع سمینار من خزنده وب هست.یه سری مقاله خوندم اما به ایده خاصی نرسیدم برای پروپوزالم.
میتونم از شما راهنمایی بگیرم؟؟؟
ایا شما پایان نامه یا مقاله فارسی یا هرچیزی که بتونه منو برای انجام کارم راهنمایی کنه دارید که در اختیار من قرار بدید؟
واقعا لطف بزرگی میکنید.
خیلی ممنون میشم ازتون.

میدونید که از چه سایتی میتونم به لیست کلیه پایان نامه های انجام شده دسترسی داشته باشم.که ببینم توی موضوع مورد نظرم چه پایان نامه هایی انجام شده؟؟

خواهش میکنم اگر میتونید کمکم کنید.

ادرس ایمیل:samira_a_xx@yahoo.com