زمان کنونی: ۱۰ آذر ۱۴۰۳, ۰۴:۱۷ ب.ظ مهمان گرامی به انجمن مانشت خوش آمدید. برای استفاده از تمامی امکانات انجمن می‌توانید عضو شوید.
گزینه‌های شما (ورودثبت نام)

مشکل خواندن دیتاست حجیم

ارسال:
۰۲ شهریور ۱۳۹۳, ۱۰:۴۶ ب.ظ
مشکل خواندن دیتاست حجیم
با سلام
دوستان من برای کارم احتیاج به دیتاست بزرگ زیر دارم:

مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.


من دیتاست جولای رو دانلود کردم. ولی هرکاری که میکنم، نمیتونم به تمام اون دسترسی داشته باشم. این دیتاست حاوی ۳،۴۶۱،۶۱۲ درخواست هست. که از ساعت ۰ روز ۱ جولای سال ۱۹۹۵ جمع آوری شده تا ساعت ۲۳:۵۹:۵۹ روز ۳۱ جولای ۱۹۹۵/
۱- اون رو دانلود کردم و خواستم که توی فایل Excel باز کنم، ولی فقط حدودا یک میلیون درخواست اون رو توی Excel نشون داد و پیغام داد که نمیتونم همش رو لود کنم.
۲- اون رو با notepad باز کردم، ولی متاسفانه فقط ۱،۸۹۱،۷۱۵ درخواست اون رو نشون داد.
۳- تصمیم گرفتم که درخواستهای اون رو مستقیما توی ویژوال ستودیو بخونم و پردازش کنم، ولی متاسفانه باز هم فقط ۱،۸۹۱،۷۱۵ درخواست رو خوند.
۴- تصمیم گرفتم که فایل رو تکه تکه کنم و بعد تکه ها رو بخونم. ولی متاسفانه آخرین تکه هم درخواست شماره ی ۱،۸۹۱،۷۱۵ بود!

یعنی کلا من نمیتونم این دیتاست رو بیشتر از ساعت ۱۳ روز ۲۸ جولای بخونم!!!
لطفا کسی راهنمایی کنه!! پایان نامه م معلق مونده!!
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ
ارسال:
۰۳ شهریور ۱۳۹۳, ۱۲:۱۵ ق.ظ
RE: مشکل خواندن دیتاست حجیم
سلام
من برای پایان نامه م همین مشکل رو پیدا کردم یعنی حجم log یه فایل متنی ۶ گیگابایتی بود!
نمی دونم حجم دیتاست شما چقدره اما من فقط
مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.
خیلی نا آشنا رو پیدا کردم که فایل متنی من رو باز کرد ...
گرچه امکانات بسیار کمی داره ولی خوب بجز این چاره ای نداشتم ...
امیدوارم کار شما رو هم راه بندازه

The best defense against logic is ignorance
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ
 سپاس‌گزاری شده توسط: AmiriManesh
ارسال:
۰۳ شهریور ۱۳۹۳, ۰۸:۱۲ ق.ظ
مشکل خواندن دیتاست حجیم
notepad++ چطور؟
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ
 سپاس‌گزاری شده توسط: AmiriManesh
ارسال:
۰۳ شهریور ۱۳۹۳, ۱۰:۳۱ ق.ظ
مشکل خواندن دیتاست حجیم
ممنون جناب blackhalo 1989. ولی متاسفانه اینجا هم پیغام میده که فایل بیش از اندازه بزرگ هست و نمیتونه بازش کنه! لطفا اگر ادیتور دیگه ای میشناسید، معرفی کنید.
جناب Lonely Palm لطفا اسم ادیتوری که استفاده کرده بودید رو بفرمایید.
دوستان دیگه لطفا اگر ادیتوری میشناسند، معرفی کنند. لینک دیتاست رو گذاشتم. حجم فایل ۲۰۰ مگ هست.
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ
ارسال:
۰۳ شهریور ۱۳۹۳, ۱۰:۳۴ ق.ظ
مشکل خواندن دیتاست حجیم
اسمش hfe هست مخفف huge file editor ، دقت کنید به واژه ی "این ادیتور" لینکش کردم تو پاسخ قبلی ...

The best defense against logic is ignorance
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ
 سپاس‌گزاری شده توسط: AmiriManesh
ارسال:
۰۳ شهریور ۱۳۹۳, ۱۱:۱۱ ق.ظ
مشکل خواندن دیتاست حجیم
یادمه قبلا منم این مشکل رو داشتم فایلای چند گیگی رو نمیتوستم باز کنم
اسپیلیت بود اسم نرم افزاره ..با اون ادیت کردم
آهان آره درست بود خودشه:

مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.

برنامه کم حجمی هم هست.
این نرم افزار همیشه کاره من رو راه انداخته

امیدوارم به دردتون بخوره
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ
ارسال:
۰۳ شهریور ۱۳۹۳, ۱۲:۱۸ ب.ظ
RE: مشکل خواندن دیتاست حجیم
(۰۳ شهریور ۱۳۹۳ ۱۰:۳۴ ق.ظ)Lonely Palm نوشته شده توسط:  اسمش hfe هست مخفف huge file editor ، دقت کنید به واژه ی "این ادیتور" لینکش کردم تو پاسخ قبلی ...
سپاااااس فراوان جناب Lonely palm.
اون ادیتوری که فرمودید رو نتونستم، دانلود کنم. ولی ادیتور زیر هست که ادیتور بسیار خوبیه و راحت فایلم رو باز کرد، البته مشکل دیتاست من چیز دیگه ای هست و گویا خود دیتاست ناقصه و فقط تا همون روز ۲۸ جولای رو ثبت کردند. اینکه نوشتن تا روز ۳۱ جولای بوده، خیلی عجیبهHuh:

مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.


بهرحال بسیار ممنون.ShyShy
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ
 سپاس‌گزاری شده توسط: Lonely Palm
ارسال:
۰۳ شهریور ۱۳۹۳, ۰۱:۳۶ ب.ظ
مشکل خواندن دیتاست حجیم
به اینجا یه نگاهی بندازید، دقیقا مشکل شماست:
مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.


اگر بتونید ببرید رو لینوکس یا یونیکس احتمال فوق العاده زیاد میتوید به سادگی بازش کنید چون معمولا اونا برای سرور استفاده میشن و log های بزرگ چیز متداولیه.
راه حل سوم استفاده از hex editor هاست.به اینجا مراجعه کنید:
مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.

hex editor ها دو تا خاصیت دارنmacimum file size و partial loading. از hex editor ها HxD و Hiew رو اسمشو شنیدم.
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ
 سپاس‌گزاری شده توسط: Amoojan , Lonely Palm , AmiriManesh
ارسال:
۰۳ شهریور ۱۳۹۳, ۰۱:۵۹ ب.ظ (آخرین ویرایش در این ارسال: ۰۳ شهریور ۱۳۹۳ ۰۲:۰۰ ب.ظ، توسط پوونه.)
مشکل خواندن دیتاست حجیم
من پست زده بودن اینجا : | یا توهم زدم که پست زدم؟:دی
کو پستم؟:دی
نرم افزار اسپلیت رو گفته بودم
وِز ایز مای پست ؟:دی


+داده هایی که بالاتر از ۲ گیگ هستن رو من با همین اسپیلیت باز میکنم.
hjsplit
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ
 سپاس‌گزاری شده توسط: Lonely Palm , AmiriManesh
ارسال: #۱۰
۰۳ شهریور ۱۳۹۳, ۰۴:۱۲ ب.ظ
مشکل خواندن دیتاست حجیم
من یه فایل متنی ۵۱۲ مگی درست کردم و با notepad++ بازش کردم. دفعه اول ارور داد ولی دفعه دوم باز شد.
با sublime text 3 هم باز کردم بدون مشکل. sublime برای این کارا نیست ولی حداقل برای خوندن به درد میخوره.
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ
 سپاس‌گزاری شده توسط: AmiriManesh
ارسال: #۱۱
۰۳ شهریور ۱۳۹۳, ۱۰:۱۶ ب.ظ
مشکل خواندن دیتاست حجیم
سلام،
ممنون جناب blackhalo 1989 بابت زمانی که گذاشتید و جواب دادید و همینطور خانم پوونه.
من مشکلم بعد از جواب آقای Lonaly palm حل شد و اون نرم افزاری که گفتم رو استفاده کردم. گفتم که با باز کردن فایل مشکلی ندارم دیگه. لینک دیتاست رو گذاشتم. ببینید لینک رو حتما. اینها گویا خودشون به جای ۲۸ جولای، اشتباهی نوشته بودن ۳۱ جولای.
گویا اینها توضیحی که راجع به فایلهای لاگ نوشتند، مشکل داره. من هر دو فایل لاگ رو دانلود کردم و توی اون نرم افزاری که گفتم، بازشون کردم(خیلی راحت و بدون هیچ اروری). هر خط معادل یک درخواست هست. تعداد درخواست رو راحت با این نرم افزار میشد دید. تعداد درخواستهای هر دو فایل لاگ رو باهم جمع کردم و دقیقا شد همون رقمی که اونها اونجا گذاشته بودند! ولی همش برام سواله که چرا پس اشتباه نوشتن؟؟؟!! یعنی کسی تا حالا به اینها نگفته چرا اشتباه نوشتید و این همه سال پژوهشگران برای کارهاشون از این دیتاست استفاده میکردند؟؟؟ یکی از کسایی که از این دیتاست استفاده کرده بود، اول خیلی مقاومت کرد که درست نوشتم، ولی بعد اعتراف کرد که این همه وقت به این موضوع دقت نکرده بوده!! نمیدونم، شاید هم هنوز دارم اشتباه میکنم و درست متوجه مفهوم نوشته ها نمیشم!
اگر کسی از دوستان حوصله و زمان داره، لینک رو بررسی کنه، دیتاست رو دانلود کنه و درخواست ها رو ببینه و همین طور اون پیج رو کامل بخونه، بخصوص قسمت Measurement رو! که در صورتی که متوجه شدیم، واقعا نوشته ها اشتباه هستند، و یا فایل لاگ ناقص هست، اطلاع بدیم... خیلی بد هست که این همه پژوهشگر در زمینه ی شخصی سازی وب بخوان از یک لاگ ناقص، صرفا به خاطر نوشته های اون پیج استفاده کنند. لینک صفحه:

مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ
 سپاس‌گزاری شده توسط: پوونه


موضوع‌های مرتبط با این موضوع...
موضوع: نویسنده پاسخ: بازدید: آخرین ارسال
  خواندن گروهی کنکور دکتری هوش ۹۹ Lootus ۹ ۸,۹۹۶ ۰۴ تیر ۱۴۰۲ ۰۱:۴۷ ب.ظ
آخرین ارسال: solmaz58
  رفع اشکال نصب جاوا، مشکل ساخته نشدن virtual machine shiivaa ۱۲ ۲۰,۸۳۳ ۱۹ آبان ۱۳۹۹ ۰۷:۲۹ ب.ظ
آخرین ارسال: wanted471
Sad مشکل در برنامه نویسی شیء گرا Xialu ۰ ۲,۳۰۱ ۰۵ شهریور ۱۳۹۹ ۱۲:۰۰ ب.ظ
آخرین ارسال: Xialu
  حذف درس برای خواندن کنکور ارشد sima84 ۴ ۵,۱۳۱ ۲۶ اردیبهشت ۱۳۹۹ ۰۹:۰۰ ب.ظ
آخرین ارسال: عزیز دادخواه
  مشکل در حل تست ۲۲ فصل اول کتاب گسسته یوسفی pure.yaser ۷ ۹,۳۷۸ ۰۹ اردیبهشت ۱۳۹۹ ۰۶:۵۴ ب.ظ
آخرین ارسال: mohsentafresh
  سایت های انواع دیتاست (عادی - حجیم و ... ) fo-eng ۲۳ ۱۸,۷۰۷ ۲۲ مرداد ۱۳۹۸ ۱۱:۰۸ ب.ظ
آخرین ارسال: fo-eng
  مشکل عدم ایجاد پروژه/فایل جدید در نت بینز αɾια ۳ ۱۱,۳۵۹ ۲۰ اردیبهشت ۱۳۹۸ ۰۳:۳۴ ب.ظ
آخرین ارسال: Silver1992
  نیاز به دیتاست برای شبکه عصبی مصنوعی در متلب MATLAB ghasemkh ۰ ۲,۹۰۶ ۲۵ دى ۱۳۹۷ ۰۳:۳۲ ق.ظ
آخرین ارسال: ghasemkh
Question مشکل با درک توابع دنباله دار و مولد ؟؟؟؟ radar ۰ ۲,۷۱۷ ۱۶ دى ۱۳۹۷ ۰۴:۳۶ ب.ظ
آخرین ارسال: radar
  مشکل لایسنس متلب αɾια ۱۳ ۱۶,۳۱۱ ۲۱ آذر ۱۳۹۷ ۱۰:۴۷ ق.ظ
آخرین ارسال: αɾια

پرش به انجمن:

Can I see some ID?

به خاطر سپاری رمز Cancel

Feeling left out?


نگران نباش، فقط روی این لینک برای ثبت نام کلیک کن. رمزت رو فراموش کردی؟ اینجا به یادت میاریم! close

رمزت رو فراموش کردی؟

Feeling left out?


نگران نباش، فقط روی این لینک برای ثبت نام کلیک کن. close