انجمنصفحه اولجستجوی انجمن

[دلشکسته]

توی این ویدئو با استفاده از پارسر دانشگاه استنفورد سعی میکنیم تا Part Of Speech کلمات یک جمله رو بدست بیاریم تا بتونیم بعدا ازش استفاده کنیم. POS کلمات خیلی جاها استفاده می شه. حالا کاری که ما میخواستیم انجام بدیم این بود که بفهمیم یه جلمه در مورد آیندست، گذشتست، یا جلمه برای زمان حاله. یا مثلا به راحتی میتونید بفهمید که یه کلمه عدده و کارهای دیگه. یکی از معروفترین پارسرها، پارسر دانشگاه استنفورده که اینجا گفتم چطور میشه از این ابزار توی زبان جاوا بهره مند شد.

مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.



مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.

التماس دعا

[پوونه]

هنوز ویدیو رو ندیدم چون سرعتم برای دانلود خیلی خیلی کمه فعلا. ولی عملکرد این پارسر رو دیدم. با این حال به محض بهبود سرعت دانلود اینترنتم ، حتما دانلود خواهم کرد و استفاده خواهم برد. و پیشاپیش از زحمتی که کشیدید برای آپلود این فایل، متشکرم.

اما یک سوال:
پروژه شما دقیقا در مورد چی بود؟
خودتون یک tagger ساختید؟ اگر بله برای چه زبانی و با استفاده از چه متدی؟ یا نه جملات تگ خورده رو با استفاده تگر استنفورد به دست آوردید و بعد از اون به عنوان دیتا برای اموزش سیستم و استخراج گرامر استفاده کردید؟
چون من قصد دارم در مورد این موضوع کار کنم و احتیاج به راهنمایی دارم و اگر راهنماییم کنید ممنون میشم.

و یک سوال دیگه
آیا فقط برای انگلیسی استفاده کردید؟
پارسر زبان دیگه ای رو سراغ ندارید؟


مرسی.

[دلشکسته]

(۲۶ اسفند ۱۳۹۲ ۱۲:۲۲ ق.ظ)ppositiveenergy نوشته شده توسط:  به چه دردی میخوره این کار؟کجا کاربرد داره؟

اینکه به چه دردی میخوره رو شما باید تشخیص بدید، همونطور که گفتم کاری که ما میخواستیم انجام بدیم این بود که بفهمیم که یه جمله در مورد گذشتست؟ حاله؟ یا آیندست؟ یا به راحتی میشه اعداد موجود در جمله رو تشخیص داد که حالا ما میخواستیم از این اعداد اگه در یک بازه ی خاصی بودند استفاده کنیم.

(۲۶ اسفند ۱۳۹۲ ۱۲:۳۵ ق.ظ)پوونه نوشته شده توسط:  پروژه شما دقیقا در مورد چی بود؟
خودتون یک tagger ساختید؟ اگر بله برای چه زبانی و با استفاده از چه متدی؟ یا نه جملات تگ خورده رو با استفاده تگر استنفورد به دست آوردید و بعد از اون به عنوان دیتا برای اموزش سیستم و استخراج گرامر استفاده کردید؟
چون من قصد دارم در مورد این موضوع کار کنم و احتیاج به راهنمایی دارم و اگر راهنماییم کنید ممنون میشم.

و یک سوال دیگه
آیا فقط برای انگلیسی استفاده کردید؟
پارسر زبان دیگه ای رو سراغ ندارید؟

خیر، این Parser برای دانشگاه استنفورده و ما فقط نیاز داشتیم تا خیلی زود POS کلمات جمله رو داشته باشیم و همونطور که در بالا توضیح دادم استفاده ای رو ازش بکنیم. بله ما فقط برای انگلیسی استفاده کردیم ولی همونطور که در ویدیو گفتم (که هنوز شما ندید و امیدوارم که روزی برسه که بتونید اون رو ببینید ) اگه مدل رو تغییر بدید میتونید جملات زبان های مختلف رو پارس کنید. البته این پارسر به صورت آنلاین هم در دسترسه که میتونید از لینک زیر به اون دسترسی داشته باشید.


مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.


در مورد نحوه ی تگ زدن کلمات یا ساخت درخت پارس من اطلاعی ندارم چون اصلا فیلد کاری من این نیست و این مباحث بیشتر در درس NLP مطرح میشن که متاسفانه من این درس رو نگذروندم.

[پوونه]

(۲۶ اسفند ۱۳۹۲ ۱۲:۲۲ ق.ظ)ppositiveenergy نوشته شده توسط:  به چه دردی میخوره این کار؟کجا کاربرد داره؟

با اجازه استارتر من کمی توضیح بدم به شما. اگر اشتباهه توضیحاتم دوستانی که اطلاعات بیشتری دارند من رو هم راهنمایی کنند.

خب کامپیوتر که زبان ما رو متوجه نمیشه..ما باید یکجوری با این کامپیوتر ارتباط برقرار کنیم. ما از پیکره هایی استفاده میکنیم که شامل هزاران و حتی میلیون ها جمله هستند و باید این جملات تگ خورده باشند و یا خودمون برچسب بزنیم که با استفاده از همین تگر ها پیکره برچسب خورده رو آماده میکنیم و به عنوان دیتای خام ازش استفاده میکنیم. مثلا برای نوشتن یک مترجم متنی لازمه در ابتدا سیستم گرامر زبان مبدا و مقصد رو یاد بگیره و بعدش جملات رو بتونه به طور صحیح ترجمه کنه.
این پیکره ها رو ما میدیم به سیستممون و سیستم از این پیکره ها یاد میگیره. حالا با مربی، بدون مربی و یا نیمه مربی..بستگی به الگوریتمی داره که ما در نوشتن برنامه ازش استفاده کردیم.

(۲۶ اسفند ۱۳۹۲ ۰۱:۴۶ ق.ظ)دلشکسته نوشته شده توسط:  

(26 اسفند ۱۳۹۲ ۱۲:۲۲ ق.ظ)ppositiveenergy نوشته شده توسط:  به چه دردی میخوره این کار؟کجا کاربرد داره؟

اینکه به چه دردی میخوره رو شما باید تشخیص بدید، همونطور که گفتم کاری که ما میخواستیم انجام بدیم این بود که بفهمیم که یه جمله در مورد گذشتست؟ حاله؟ یا آیندست؟ یا به راحتی میشه اعداد موجود در جمله رو تشخیص داد که حالا ما میخواستیم از این اعداد اگه در یک بازه ی خاصی بودند استفاده کنیم.

(۲۶ اسفند ۱۳۹۲ ۱۲:۳۵ ق.ظ)پوونه نوشته شده توسط:  پروژه شما دقیقا در مورد چی بود؟
خودتون یک tagger ساختید؟ اگر بله برای چه زبانی و با استفاده از چه متدی؟ یا نه جملات تگ خورده رو با استفاده تگر استنفورد به دست آوردید و بعد از اون به عنوان دیتا برای اموزش سیستم و استخراج گرامر استفاده کردید؟
چون من قصد دارم در مورد این موضوع کار کنم و احتیاج به راهنمایی دارم و اگر راهنماییم کنید ممنون میشم.

و یک سوال دیگه
آیا فقط برای انگلیسی استفاده کردید؟
پارسر زبان دیگه ای رو سراغ ندارید؟

خیر، این Parser برای دانشگاه استنفورده و ما فقط نیاز داشتیم تا خیلی زود POS کلمات جمله رو داشته باشیم و همونطور که در بالا توضیح دادم استفاده ای رو ازش بکنیم. بله ما فقط برای انگلیسی استفاده کردیم ولی همونطور که در ویدیو گفتم (که هنوز شما ندید و امیدوارم که روزی برسه که بتونید اون رو ببینید ) اگه مدل رو تغییر بدید میتونید جملات زبان های مختلف رو پارس کنید. البته این پارسر به صورت آنلاین هم در دسترسه که میتونید از لینک زیر به اون دسترسی داشته باشید.


مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.


در مورد نحوه ی تگ زدن کلمات یا ساخت درخت پارسر من اطلاعی ندارم چون اصلا فیلد کاری من این نیست و این مباحث بیشتر در درس NLP مطرح میشن که متاسفانه من این درس رو نگذروندم.

من هم درسش رو نگذروندم.

خب پیکره آماده تگ خورده انگلیسی رو تو نت داریم. حتما یک استفاده خاصی میکردید که از این تگر استفاده کردید. و این استفاده خاص در حوزه پردازش زبان طبیعی قرار داره بلاشک. منظورم دقیقا اشاره به اون کار خاص بود.

به هر حال از زحمتی که کشیدید متشکرم.در اسرع وقت این ویدیو رو هم حتما خواهم دید.. : )

[blackhalo1989]

کار من پردازش زبان های طبیعی نیست ولی خیلی بعید میدونم پیکره رو با اینها تگ بزنند. پیکره رو همیشه انسان باید آماده کنه. به طور دقیق تر انسان آموزش دیده (مثل انسان متخصص).
با مربی، بدون مربی و یا نیمه مربی هم درست نیست. بانظارت و بدون نظارت درسته.

[پوونه]

(۲۶ اسفند ۱۳۹۲ ۰۲:۳۳ ق.ظ)blackhalo1989 نوشته شده توسط:  کار من پردازش زبان های طبیعی نیست ولی خیلی بعید میدونم پیکره رو با اینها تگ بزنند. پیکره رو همیشه انسان باید آماده کنه. به طور دقیق تر انسان آموزش دیده (مثل انسان متخصص).
با مربی، بدون مربی و یا نیمه مربی هم درست نیست. بانظارت و بدون نظارت درسته.

والا در مورد استنفورد تگر و پارسرها من زیاد اطلاع ندارم اما مطمئنم که تگرهای دیگه رو با الگوریتم هایی برچسب میزنند.
مثلا برای فارسی اگر اشتباه نکنم گروه پروفسور کاهانی یک تگری نوشتند که با استفاده از الگوریتم ویتربی پیاده سازی شده. یعنی این تگر کار خود انسان نیست

درسته. ما تو درس هوش مصنوعیمون با ناظر و بدون ناظر خونده بودیم اما تو بحث استنتاج با supervised-unsupervised , semi-supervised سر وکار داریم. البته من واقعا اطلاعات خاصی ندارم چون هنوز سوادم چندان به این حوزه قد نمیده و هنوز خیلی مونده تا ارشد و تخصص و سخنوری
پس به نظر شما منظور از semi-supervised میتونه چی باشه؟ اتفاقا همین الان داشتم الگوریتم های این متد رو تو نت سرچ میکردم. واقعا ممنون میشم اگر کمکم کنید که دنبال اطلاعات غلط نرم.

[blackhalo1989]

(۲۶ اسفند ۱۳۹۲ ۰۲:۴۵ ق.ظ)پوونه نوشته شده توسط:  والا در مورد استنفورد تگر و پارسرها من زیاد اطلاع ندارم اما مطمئنم که تگرهای دیگه رو با الگوریتم هایی برچسب میزنند.
مثلا برای فارسی اگر اشتباه نکنم گروه پروفسور کاهانی یک تگری نوشتند که با استفاده از الگوریتم ویتربی پیاده سازی شده. یعنی این تگر کار خود انسان نیست

نه. منظور من این بود که پیکره رو حتما آدم باید تگ بزنه تا درست باشه.

[دلشکسته]

(۲۶ اسفند ۱۳۹۲ ۰۲:۲۵ ق.ظ)پوونه نوشته شده توسط:  با اجازه استارتر...

خواهش می کنم.

(۲۶ اسفند ۱۳۹۲ ۰۲:۲۵ ق.ظ)پوونه نوشته شده توسط:  حتما یک استفاده خاصی میکردید که از این تگر استفاده کردید. و این استفاده خاص در حوزه پردازش زبان طبیعی قرار داره بلاشک. منظورم دقیقا اشاره به اون کار خاص بود.

کار خاص ما فقط از NLP میخواست استفاده کنه، خودش موضوعی پیرامون NLP نبود.

[blackhalo1989]

(۲۶ اسفند ۱۳۹۲ ۰۲:۴۵ ق.ظ)پوونه نوشته شده توسط:  درسته. ما تو درس هوش مصنوعیمون با ناظر و بدون ناظر خونده بودیم اما تو بحث استنتاج با supervised-unsupervised , semi-supervised سر وکار داریم. البته من واقعا اطلاعات خاصی ندارم چون هنوز سوادم چندان به این حوزه قد نمیده و هنوز خیلی مونده تا ارشد و تخصص و سخنوری
پس به نظر شما منظور از semi-supervised میتونه چی باشه؟ اتفاقا همین الان داشتم الگوریتم های این متد رو تو نت سرچ میکردم. واقعا ممنون میشم اگر کمکم کنید که دنبال اطلاعات غلط نرم.

با ناظر ترجمه supervised هست و بدون ناظر ترجمه unsupervised هست و ترجمه semi-supervised نمیدونم چی هست.

[دلشکسته]

(۲۶ اسفند ۱۳۹۲ ۰۲:۵۲ ق.ظ)blackhalo1989 نوشته شده توسط:  با ناظر ترجمه supervised هست و بدون ناظر ترجمه unsupervised هست و ترجمه semi-supervised نمیدونم چی هست.

بلک جان یعنی نصفش Supervised بوده نصف دیگش Unsupervised به همین راحتی به همین خوشمزگی (البته شاید بشه گفت نصفشو انسان روش کار کرده نصف دیگش رو با استفاده از روش های Machine Learning به قولی Learn کردن و بقیشو با استفاده از اون به صورتی ماشینی و بدون ناظر انجام دادن )

[blackhalo1989]

یه اسلایدی هست اینجا:

مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.

که اگه درست یادم باشه اسلاید خوبی بود.

[پوونه]

(۲۶ اسفند ۱۳۹۲ ۰۲:۵۲ ق.ظ)blackhalo1989 نوشته شده توسط:  

(26 اسفند ۱۳۹۲ ۰۲:۴۵ ق.ظ)پوونه نوشته شده توسط:  درسته. ما تو درس هوش مصنوعیمون با ناظر و بدون ناظر خونده بودیم اما تو بحث استنتاج با supervised-unsupervised , semi-supervised سر وکار داریم. البته من واقعا اطلاعات خاصی ندارم چون هنوز سوادم چندان به این حوزه قد نمیده و هنوز خیلی مونده تا ارشد و تخصص و سخنوری
پس به نظر شما منظور از semi-supervised میتونه چی باشه؟ اتفاقا همین الان داشتم الگوریتم های این متد رو تو نت سرچ میکردم. واقعا ممنون میشم اگر کمکم کنید که دنبال اطلاعات غلط نرم.

با ناظر ترجمه supervised هست و بدون ناظر ترجمه unsupervised هست و ترجمه semi-supervised نمیدونم چی هست.

درسته ترجمه اش همینه.
یادم افتاد از اطلاح با مربی، بدون مربی و نیمه مربی کی استفاده کرده و از کجا یاد گرفتم افتاده تو دهنم:دی
اقای میرروشندل تو مقاله «استنتاج با مربی به کمک الگوریتم ویتربی» یه توضیح مختصری دادن تو مقدمه در مورد همین روش ها که این ترجمه رو به کار بردند.

---

(۲۶ اسفند ۱۳۹۲ ۰۲:۵۷ ق.ظ)blackhalo1989 نوشته شده توسط:  یه اسلایدی هست اینجا:

مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.

که اگه درست یادم باشه اسلاید خوبی بود.

اینا عااااالیه عاااالی.
متشکرم جناب بلک.
الان یک اسلایدی رو دانلود کردم جالب بود.
+ به یک تنکس نمیشد بسنده کرد و باید نقل قول میگرفتم تشکر میکردم:دی

---

به قول ارشمیدش اوره کا اوره کا:دی
تعریف semi-supervisedرو یافتم بدون هیچ دخل و تصرفی و ترجمه ای میذارم:

A third class of language learning methods,called semi-supervised learning , is halfway between supervised and unsupervised learning.semisupervised laerning methods use available unstructed data to improve supervised learning tasks when the structed data scarce or expensive.
بعد اومده گفته تو مقاله خودشون منظورشون از این متد:
which combine unstructed linguistic data with small structed training sets.

این مقاله D'Ulizia هستش و در مورد اینا توضیح میده. اسم مقاله یادم نیست الان و بین فایل ها پیداش هم نمیکنم چون قسمت های مهمش رو یادداشت کردم تو دفترم عینا همون رو هم تایپ کردم. اگر اصل مقاله رو خواستید زحمت سرچ با خودتون. : )


+ فایل ویدیویی رو هم دیدم. جالب بود. متشکرم جناب دلشکسته : )
+ و متشکرم جناب بلک برای اسلاید ها و راهنماییاتون. : )

[blackhalo1989]

(۲۶ اسفند ۱۳۹۲ ۰۹:۴۷ ق.ظ)Aurora نوشته شده توسط:  یعنی با الگوریتم درستی تگ ها پایین میاد؟

الگوریتم که همیشه درست تگ نمیزنه، پیکره رو باید آدم تگ بزنه.

---

(۲۶ اسفند ۱۳۹۲ ۰۹:۴۷ ق.ظ)Aurora نوشته شده توسط:  نمیشه تگر، تگ بزنه و بعد انسان چکش کنه ببینه درسته؟

نمیدونم. شاید بشه این کار رو هم کرد ولی در نهایت باید انسان درستیشو تایید کنه.