: از مهم ترین چالش های موجود در حوزه ی اکتشاف در نظرات که حجم بزرگی از مطالعات این حوزه را هم به خود اختصاص داده است بحث “تحلیل احساس” است که از آن تحت عناوین “رده بندی احساس” و “تشخیص قطبیت احساس” نیز یاد می شود. در مطالعات انجام شده در این محدوده تلاش بر این است تا متون را در دو یا سه رده ی مثبت، منفی، و گاهاً خنثی رده بندی کنند. کار ارائه شده در این بخش در این گروه از مطالعات قرار می گیرد. در این پروژه پس از مطالعه ی زمینه های مختلفی از فضای وب که در آن ها اظهار نظر توسط کاربران زیاد صورت می گیرد، یکی از زمینه های پراهمیت انتخاب شده است و به تحلیل احساس یا گرایش در آن ها پرداخته شده است. “به مانند بیشتر کاربرد های یادگیری ماشین[۵۰]، کار اصلی در “رده بندی احساس” مهندسی مجموعه ی مؤثری از مشخصه ها است” [۲]. در راستای حل مسئله در این فصل ما به بررسی ترکیب ها و حالت های مختلف از مجموعه ای از مشخصه ها پرداخته ایم که برخی از آن ها توسط ما معرفی می شوند و حتی در حوزه ی زبان های دیگر از جمله انگلیسی تازگی دارند، و برخی از آن ها علی رغم مورد مطالعه قرار گرفتن در متون زبان انگلیسی، در متون زبان فارسی تازگی دارند. در روند انجام این کار مراحل مختلفی طی شده است که به طور خلاصه عبارتند از : انتخاب نظرات، انجام پیش پردازش های لازم و تهیه ی انواع بردار های مشخصه، انتخاب رده بندها[۵۱]، انجام انواع آزمایش ها، تحلیل نتایج آزمایش ها، و نتیجه گیری. در ادامه به توضیح مشروح مراحل طی شده از انتخاب زمینه ی مورد مطالعه تا تحلیل نتایج می پردازیم. ۴-۲٫ انتخاب زمینه برای انتخاب مجموعه داده ای از نظرات کاربران، برخی پایگاه های وب با موضوعات گوناگون مورد بررسی قرار گرفتند. یک شبکه ی اجتماعی، برخی فروشگاه های گوشی تلفن همراه، یک پایگاه به اشتراک گذاری فیلم، چند پایگاه خبری، و یک پایگاه ارائه اطلاعات هتل ها، بستر هایی بودند که مورد بررسی قرار گرفتند و حتی برای دریافت نظرات کاربران در حوزه ی گوشی های تلفن همراه یک خزش گر اولیه نیز پیاده سازی و استفاده شد. اگرچه تمام زمینه های مذکور دارای ارزش تحلیل تشخیص داده شدند اما نظرات کاربران در پایگاه های خبری دارای برخی خصوصیات است که موجب شد تا به عنوان زمینه ی انتخاب شده در نظر گرفته شود. اخبار درج شده در برخی از این پایگاه ها دارای تنوع موضوعی بالایی است و از طرف دیگر اخبار رویداد های گوناگون در فاصله ی کمی بعد از وقوع در این پایگاه ها منتشر می شود. این مطالب به همراه نرخ بالای بازدید، و مشارکت بالای کاربران در اظهار نظر در ذیل اخبار، گزارش ها، و مطالب این پایگاه ها، مجموعاً آن ها را به بستر پراهمیتی برای افکار سنجی در رابطه با موضوعات مختلف تبدیل کرده است. برای این پروژه نظرات کاربران در پایگاه خبری تابناک[۵۲] که بر اساس رتبه بندی پایگاه الکسا[۵۳] دارای بالاترین رتبه در میان پایگاه های خبری ایران است انتخاب شد. جهت دانلود متن کامل پایان نامه به سایت azarim.ir مراجعه نمایید. ۴-۳٫ انتخاب و استخراج نظرات برای انتخاب نظرات ابتدا تلاش شد تا تعدادی از اخبار برگزیده شوند و سپس نظرات نهایی از میان نظرات داخل آن ها انتخاب گردند. به این منظور اخبار بررسی شدند و معلوم گردید که از نقطه نظر تعداد نظرات، برخی دارای تعداد بیشتر و برخی دارای تعداد کمتری هستند. همچنین مشاهده شد که در برخی از آن ها تعداد نظرات یکی از گرایش ها غالب است. علاوه بر آن به نظر می رسد که در مجموع، نظرات انتقادی و منفی نسبت به نظرات مثبت درصد بالاتری از نظرات را به خود اختصاص می دهند. برای یافتن اخبار مطلوب، پرس وجو های خاصی با بهره گرفتن از امکان جستجوی پیشرفته ی موتور جستجوی گوگل مورد استفاده قرار گرفتند. همچنین بخشی از پایگاه تابناک اخبار اخیری که دارای بیشترین نظرات بوده اند را نمایش می دهد که در انتخاب اخبار به این بخش نیز توجه شد. پس از انتخاب پنجاه خبر تمام نظرات آن ها استخراج شده و در یک پایگاه داده ی رابطه ای ذخیره شدند. برای این کار با توجه به این که اخبار در قالب صفحات html بودند، ساختار این صفحات مطالعه شد و برای استخراج نظرات از داخل آن ها از یک تجزیه گر استفاده شد به این صورت که برنامه ای نوشته شد که آدرس اینترنتی این صفحات را یکی یکی بخواند، صفحه ی مقصد آن را دریافت کند، و با بهره گرفتن از تجزیه گر نظرات داخل آن را استخراج کرده و همراه با اطلاعات مربوطه مثل عنوان خبر در پایگاه داده ذخیره کند. برای انتخاب نظرات نهایی تمام آن ها به طور تصادفی در هم ریخته شدند و سپس از اول به آخر پنجاه نظر برگزیده شدند. در انتخاب این پنجاه نظر سعی شد تا نظراتی انتخاب شوند که یک شخص خواننده بتواند با خواندن آن ها تشخیص دهد که نظر اظهار کننده در مورد هدف مورد نظرش مثبت بوده یا منفی. برخی نظرات مثل آن هایی که دارای چند گانگی بالا بودند به این معنی که نظرات متعددی را راجع به اهداف گوناگون بیان کرده بودند، حذف شدند. در عین حال سعی شد که انتخاب نظرات با توجه به مشخصه هایی که قرار است استفاده شوند جانبدارانه نباشد. نظرات انتخاب شده ی نهایی که ذیل ۳۰ خبر مختلف درج شده اند در پیوست الف قابل مشاهده هستند. ۴-۴٫ مشخصه های مورد استفاده یکی از مشخصه هایی که در برخی مطالعات استفاده شده است و قابلیت خوبی در تعیین گرایش احساس از خود نشان داده است، مشخصه ی صفات است. مشخصه ی دیگری که آن هم تا حدودی قبلا مورد بررسی قرار گرفته است مشخصه ی قیود است. در این کار علاوه بر استفاده از این دو مشخصه، دو مشخصه ی جدید ارائه و استفاده شده است که تاکنون هیچ یک را در مطالعات انجام شده در این حوزه مشاهده نکرده ایم. البته لازم به ذکر است که با توجه به عدم مشاهده ی مقاله ی منتشر شده ای در این حوزه در متون زبان فارسی، بررسی دو مشخصه ی صفات و قیود نیز در زبان فارسی تازگی دارد. این دو مشخصه عملاً هر کدام به دو صورت مثبت و منفی به کار می روند به این معنی که در آزمایش های انجام گرفته مشخصه های “صفات دارای گرایش مثبت”، “صفات دارای گرایش منفی”، “قیود دارای گرایش مثبت”، و “قیود دارای گرایش منفی” را داریم (در این پروژه دامنه ی صفات استخراج شده توسط انسان قدری وسیع تر گرفته شده است به عنوان مثال لغت “عزت” که یک صفت خوب شناخته شده است در صورت نداشتن نقش صفت در جمله، باز هم صفت گرفته شده است). ضمناً قابل ذکر است که برای بررسی استخراج صفات و قیود به صورت خود کار، مشخصه های “صفات و قیود دارای گرایش مثبت” و “صفات و قیود دارای گرایش منفی” نیز مورد استفاده قرار گرفته اند. دو مشخصه ی جدید معرفی شده دراین پایان نامه عبارتند از : “گرایش آغازگر” و “تعداد نشانه های سوال”. منظور از مشخصه ی “گرایش آغازگر”، گرایش تک لغت[۵۴] یا جفت لغت[۵۵] اول است، به عنوان مثال نظری که با جفت لغت “زنده باد” شروع می شود دارای آغاز گر با گرایش مثبت است و نظری که با جفت لغت “لعنت بر” شروع می شود دارای آغاز گر با گرایش منفی است. منظور از مشخصه ی “تعداد نشانه های سوال” نیز تعداد لغاتی است که نشانه ی سوال هستند، به عنوان مثال لغات کدام، چه، و کجا از این قبیل هستند. علامت سؤال نیز جزء این نشانه ها به شمار آمده است. مشخصه های استخراج شده در پیوست الف قابل مشاهده هستند. نکته ای که در مورد مشخصه ها لازم به ذکر است این است که سه حالت مختلف از مشخصه ها مورد بررسی قرار گرفته است. توضیح این که برای برخی مشخصه ها (همه مشخصه ها غیر از “گرایش آغاز گر”) هم می توان تعداد آن ها را به عنوان مشخصه در نظر گرفت (مثلا تعداد صفات مثبت) و هم می توان صرفاً وجود یا عدم وجود آن ها را لحاظ کرد (مثلا وجود یا عدم وجود صفت مثبت)؛ به علاوه برای مشخصه های صفات و قیود مثبت و منفی، می توان به جای تعداد آن ها (مثلا تعداد قیود منفی)، نسبت تعداد آن ها به تعداد کل مثبت و منفی ها در آن نظر (مثلا نسبت تعداد قیود منفی به تعداد کل قیود موجود در نظر) را به عنوان مشخصه در نظر گرفت (حالت نرمال شده). بنابر این به طور خلاصه سه حالت “با لحاظ تعداد رخداد و بدون نرمال سازی” “با لحاظ تعداد رخداد و بصورت نرمال شده” “بدون لحاظ تعداد رخداد “ را برای مشخصه ها خواهیم داشت و مشخصه های استفاده شده عبارت هستند از : “گرایش آغاز گر” “تعداد نشانه های سوال” “صفات دارای گرایش مثبت” “صفات دارای گرایش منفی” “قیود دارای گرایش مثبت” ” قیود دارای گرایش منفی” “صفات و قیود استخراج شده به طور خود کار دارای گرایش مثبت” “صفات و قیود استخراج شده به طور خود کار دارای گرایش منفی” ۴-۵٫ پیش پردازش های انجام شده و استخراج بردار های مشخصه هر چند که برای استخراج مشخصه های استفاده شده به صورت انسانی و بدون کمک سیستم های خودکار، انجام عملیات پیش پردازش ضروری نبود و این مشخصه ها (“گرایش آغاز گر”، “تعداد نشانه های سوال”، “صفات دارای گرایش مثبت”، “صفات دارای گرایش منفی”، “قیود دارای گرایش مثبت”، و ” قیود دارای گرایش منفی”) به همین صورت استخراج شدند، اما از آن جا که در آزمایش های انجام شده علاوه بر مشخصه های استخراج شده توسط انسان، استفاده از صفات و قیود مثبت و منفی استخراج شده به طور خودکار نیز مورد بررسی قرار گرفته است، برخی عملیات پیش پردازش مورد نیاز بود و انجام گرفت. برای تشخیص خودکار لغاتی که صفت یا قید هستند پس از بررسی سیستم های در دسترس یک سیستم پیش پردازش متون فارسی مورد استفاده قرار گرفت. البته از آنجا که این سیستم به صورت محلی[۵۶] در اختیار نبود، از نسخه ی تحت وب آن استفاده شده است. روند استخراج به این صورت انجام گرفته است که ابتدا در راستای نرمال شدن لغات (یکسان سازی دقیق لغات یکسان از جنبه های مختلف نظیر فاصله گذاری و حروف)، نظرات بازبینی شدند و اشتباهات تایپی و املائی، فاصله گذاری ها، و حالات محاوره ای به صورت نرمال بازنویسی شدند. سپس با بهره گرفتن از یک قطعه بند عملیات قطعه بندی متون انجام شد و با لغات استخراج شده ی حاصل از این کار یک لغت نامه از لغات موجود در تمام نظرات تهیه شد. لغات این لغت نامه توسط برنامه ای یک به یک به سیستم پیش پردازش تحت وب ارسال شدند (برای این کار ارسال فرم html که واسط کاربر این برنامه است شبیه سازی شد و لغات در غالب متغیر مربوطه به همراه متغیر های لازم دیگر با متد post در غالب درخواست http [۵۷] به برنامه تحت وب ارسال شدند). نتایج بازگشتی از برنامه که در غالب یک فایل html بودند با بهره گرفتن از تجزیه گر از داخل فایل استخراج شده و مورد بررسی قرار گرفتند و بدین صورت صفت یا قید بودن لغات، تعیین شده و در لغت نامه ثبت شد. سپس لغاتی از این لغت نامه که صفت یا قید بودند و گرایش مثبت یا منفی نیز داشتند جدا شدند و با بهره گرفتن از آن ها صفات و قیود مثبت و منفی موجود در نظرها استخراج گردیدند. برای ساخته شدن بردار های مشخصه در قالب فایل های قابل استفاده برای نرم افزار یادگیری ماشین، برنامه ای تهیه شد که مشخصه های استخراج شده از نظرات را تبدیل به انواع بردار های مشخصه ی لازم برای انجام آزمایش ها کرده و در فایل های جداگانه ذخیره کرد. ۴-۶٫ انتخاب رده بند ها با توجه به معرفی دو رده بند Naïve Bayesian و SVM به عنوان دو تا از مهم ترین رده بند های حوزه ی “بازیابی اطلاعات[۵۸] در متن” در منابعی چون [۳۸]، همچنین استفاده از این دو رده بند در مطالعات مختلف انجام شده در حوزه ی “تشخیص گرایش احساس” و گزارشات مناسب از عملکرد آن ها، و نیز نتایج مناسب که در مراحل اولیه ی کار با بهره گرفتن از آن ها بدست آمد، این دو رده بند برای انجام آزمایش ها انتخاب شدند. البته همان طور که خواهیم دید به منظور این که رده بند های دیگری را هم تا حدودی بررسی کرده باشیم از چهار رده بند مطرح دیگر نیز در برخی حالات استفاده کرده و نتایج را مقایسه کرده ایم. لازم به ذکر است که برای آزمایش ها از رده بند های پیاده سازی شده در برنامه ی کاربردی weka[59] و با تنظیمات پیش فرض[۶۰] استفاده شده است. ۴-۷٫ آزمایش های انجام شده مشخصه ها و انواع حالت های مختلف از آن ها که مورد استفاده قرار گرفته اند در بخش ۴-۴ معرفی شدند. همچنین رده بندهایی که به کار گرفته شده اند در بخش ۴-۶ ذکر شدند. مشخصه ها به صورت تک تک و نیز ترکیب های مختلف و با بهره گرفتن از دو روش یادگیری ماشین SVM و Naïve Bayes مورد استفاده قرار گرفتند و نتایج به دست آمده توسط رده بند های ساخته شده ثبت شدند. برای آموزش و آزمایش رده بند ها از اعتبار سنجی متقابل ۱۰ قسمتی[۶۱] استفاده شده است. در جداول ۴-۱ تا ۴-۶ نتایج به دست آمده برای مجموعاً ۷۰ حالت مختلف قابل مشاهده هستند. در هر کدام از این جداول از یکی از دو رده بند مذکور استفاده شده است و مشخصه ها نیز در یکی از سه حالت “با لحاظ تعداد رخداد و بدون نرمال سازی”، “با لحاظ تعداد رخداد و بصورت نرمال شده”، و “بدون لحاظ تعداد رخداد ” به کار رفته اند. برای بررسی عمل کرد برخی رده بند های مطرح دیگر، آن ها هم در برخی از حالات منتخب مورد آزمایش قرار گرفتند و نتایج آن ها با نتایج به دست آمده ی قبل مورد مقایسه قرار گرفت. نتایج این آزمایش ها در کنار نتایج به دست آمده ی قبلی را در جدول ۴-۷ می توان دید. در بحث استخراج مشخصه های صفات و قیود مثبت و منفی مشاهده شد که برخی از آن ها به زمینه ی متنی که در آن به کار رفته اند وابستگی دارند و برای استخراج صحیح آن ها باید به نوعی از آن ها رفع ابهام شود. این لغات در آزمایش های اصلی حذف شدند اما برای بررسی تاثیر استفاده از رفع ابهام و میزان سودمندی توسعه چنین سیستمی، برخی از این لغات کشف شده را به مشخصه ها افزودیم و برخی از حالات منتخب از آزمایش های انجام شده را تکرارکردیم و نتایج به دست آمده را با نتایج قبل از افزودن آن ها مقایسه نمودیم. نتایج این کار در کنار نتایج قبلی در جدول ۴-۸ آمده اند. جدول۴-۱٫ نتایج بدست آمده با لحاظ تعداد رخداد و بدون نرمال سازی توسط رده بند Naïve Bayesian مشخصه ها Naïve Bayesian صفات قیود صفات و قیود خودکار گرایش آغازگر نشانه های سؤال Precision Recall F-Measure ROC Area ۱ x ۰٫۸۲۹ ۰٫۸۲ ۰٫۸۱۶ ۰٫۸۱ ۲ x ۰٫۶۷۷ ۰٫۵۲ ۰٫۴۴۵ ۰٫۴۹۹ ۳ X ۰٫۶۵۹ ۰٫۶۴ ۰٫۶۴ ۰٫۷۰۵ ۴ X ۰٫۶۵۴ ۰٫۶۲ ۰٫۶۱۶ ۰٫۶۸۵ ۵ x ۰٫۷۹۶ ۰٫۶۸ ۰٫۶۲۴ ۰٫۵۷۲ ۶ X x ۰٫۸۳۲ ۰٫۷۶ ۰٫۷۳۶ ۰٫۸۰۱ ۷ X X ۰٫۷۹۷ ۰٫۷۶ ۰٫۷۵۸ ۰٫۸۱۳ ۸ x X ۰٫۸۰۴ ۰٫۸ ۰٫۸۰۱ ۰٫۸۸۶ ۹ x x ۰٫۷۱۶ ۰٫۶۸ ۰٫۶۴۸ ۰٫۷۶۵ ۱۰ x x ۰٫۷۹۷ ۰٫۷۸ ۰٫۷۷۱ ۰٫۸۴۹ ۱۱ x X x ۰٫۸۲۹ ۰٫۸۲ ۰٫۸۱۶ ۰٫۸۷۷ ۱۲ X X x ۰٫۹۰۵ ۰٫۹ ۰٫۸۹۹ ۰٫۹۳۱ ۱۳ X x X x ۰٫۸۵۲ ۰٫۸۴ ۰٫۸۴۱ ۰٫۹۳۴ جدول۴-۲٫ نتایج بدست آمده با لحاظ تعداد رخداد و بدون نرمال سازی توسط رده بند SVM مشخصه ها SVM صفات قیود صفات و قیود خودکار گرایش آغازگر نشانه های سؤال Precision Recall F-Measure ROC Area ۱ X ۰٫۸۱۳ ۰٫۸ ۰٫۷۹۴ ۰٫۷۸۲ ۲ x ۰٫۳۱۴ ۰٫۵۶ ۰٫۴۰۲ ۰٫۵ ۳ x ۰٫۶۵۳ ۰٫۶۲ ۰٫۵۶۲ ۰٫۵۷۸ ۴ X ۰٫۷۸۷ ۰٫۷ ۰٫۶۸۹ ۰٫۷۲۷ ۵ X x ۰٫۷۹۶ ۰٫۶۸ ۰٫۶۲۴ ۰٫۶۳۶ ۶ X x ۰٫۶۶۹ ۰٫۶۴ ۰٫۶۳۸ ۰٫۶۵۴ ۷ x X ۰٫۷۱۵ ۰٫۶۶ ۰٫۶۵۲ ۰٫۶۸۲ ۸ x X ۰٫۸۱ ۰٫۷۸ ۰٫۷۷۹ ۰٫۷۹۴ ۹ x x ۰٫۶۲۴ ۰٫۶ ۰٫۵۳ ۰٫۵۵۵ ۱۰ x x ۰٫۷۱۶ ۰٫۶۸ ۰٫۶۴۸ ۰٫۶۴۶ ۱۱ x X x ۰٫۶۲۲ ۰٫۶۲ ۰٫۶۲۱ ۰٫۶۱۷ ۱۲ x X x ۰٫۷۸۷ ۰٫۷۸ ۰٫۷۸۱ ۰٫۷۸۴ ۱۳ x x X x ۰٫۸۳۷ ۰٫۸۲ ۰٫۸۲ ۰٫۸۳ جدول۴-۳٫ نتایج بدست آمده با لحاظ تعداد رخداد و بصورت نرمال شده توسط رده بند Naïve Bayesian مشخصه ها Naïve Bayesian صفات قیود صفات و قیود خودکار گرایش آغازگر نشانه های سؤال Precision Recall F-Measure ROC Area ۱ X ۰٫۸۴۱ ۰٫۸۴ ۰٫۸۳۹ ۰٫۷۷۴ ۲ x ۰٫۷۷۵ ۰٫۵۴ ۰٫۴۵۹ ۰٫۵۵۳ ۳ x ۰٫۷۳۳ ۰٫۷ ۰٫۶۷۵ ۰٫۶۷ ۴ x مشابه جدول ۴-۱ ۵ x مشابه جدول ۴-۱ ۶ x x مشابه جدول ۴-۱ ۷ x x ۰٫۷۳۵ ۰٫۷۲ ۰٫۷۰۶ ۰٫۷۸۲ ۸ x x ۰٫۸۴۱ ۰٫۸۴ ۰٫۸۳۹ ۰٫۸۵۵ ۹ x x ۰٫۷۸۲ ۰٫۷۶ ۰٫۷۴۸ ۰٫۷۵ ۱۰ x x ۰٫۸۶ ۰٫۸۶ ۰٫۸۶ ۰٫۸۱۳ ۱۱ x x x ۰٫۸۱۳ ۰٫۸ ۰٫۷۹۴ ۰٫۸۵ ۱۲ x x x ۰٫۸۴۱ ۰٫۸۴ ۰٫۸۳۹ ۰٫۸۹۷ ۱۳ x x x x ۰٫۸۶۳ ۰٫۸۶ ۰٫۸۵۸ ۰٫۹۱۵ جدول۴-۴٫ نتایج بدست آمده با لحاظ تعداد رخداد و بصورت نرمال شده توسط رده بند SVM مشخصه ها SVM صفات قیود صفات و قیود خودکار گرایش آغازگر نشانه های سؤال Precision Recall F-Measure ROC Area ۱ X ۰٫۸۱۳ ۰٫۸ ۰٫۷۹۴ ۰٫۷۸۲ ۲ x ۰٫۳۱۴ ۰٫۵۶ ۰٫۴۰۲ ۰٫۵ ۳ x ۰٫۷۷۴ ۰٫۷۲ ۰٫۶۹۲ ۰٫۶۸۷ ۴ x مشابه جدول ۴-۲ ۵ x مشابه جدول ۴-۲ ۶ x x مشابه جدول ۴-۲ ۷ x x ۰٫۷۱۷ ۰٫۷ ۰٫۶۸۲ ۰٫۶۷۴ ۸ X x ۰٫۸۶۳ ۰٫۸۶ ۰٫۸۵۸ ۰٫۸۵۱ ۹ x x ۰٫۷۱۶ ۰٫۶۸ ۰٫۶۴۸ ۰٫۶۴۶ ۱۰ X x ۰٫۸۲۹ ۰٫۸۲ ۰٫۸۱۶ ۰٫۸۰۵ ۱۱ x x x ۰٫۷۶۹ ۰٫۷۶ ۰٫۷۵۳ ۰٫۷۴۲ ۱۲ X x x ۰٫۸۸۱ ۰٫۸۸ ۰٫۸۷۹ ۰٫۸۷۳ ۱۳ X x x x ۰٫۹۰۵ ۰٫۹ ۰٫۸۹۹ ۰٫۸۹۱ جدول۴-۵٫ نتایج بدست آمده بدون لحاظ تعداد رخداد توسط رده بند Naïve Bayesian مشخصه ها Naive Bayesian صفات قیود صفات و قیود خودکار گرایش آغازگر نشانه های سؤال Precision Recall F-Measure ROC Area ۱ X ۰٫۸۴۱ ۰٫۸۴ ۰٫۸۳۹ ۰٫۷۷۹ ۲ x ۰٫۳۰۹ ۰٫۵۴ ۰٫۳۹۳ ۰٫۴۵۷ ۳ x ۰٫۷۵۲ ۰٫۷۴ ۰٫۷۳ ۰٫۷۱۴ ۴ X ۰٫۶۵۴ ۰٫۶۲ ۰٫۶۱۶ ۰٫۶۸۵ ۵ x ۰٫۷۹۶ ۰٫۶۸ ۰٫۶۲۴ ۰٫۵۳۷ ۶ X x ۰٫۸۲۲ ۰٫۷۴ ۰٫۷۱ ۰٫۷۶۲ ۷ x X ۰٫۷۶۲ ۰٫۷۶ ۰٫۷۵۶ ۰٫۸۵۶ ۸ x X ۰٫۸۸۸ ۰٫۸۸ ۰٫۸۷۸ ۰٫۹۰۱ ۹ x x ۰٫۷۸۷ ۰٫۷۸ ۰٫۷۷۵ ۰٫۷۷۱ ۱۰ x x ۰٫۸۲۹ ۰٫۸۲ ۰٫۸۱۶ ۰٫۸۱۸ ۱۱ x X x ۰٫۸۴۳ ۰٫۸۲ ۰٫۸۱۳ ۰٫۸۸ ۱۲ x X x ۰٫۸۸۸ ۰٫۸۸ ۰٫۸۷۸ ۰٫۹۲ ۱۳ x x X x ۰٫۸۸۸ ۰٫۸۸ ۰٫۸۷۸ ۰٫۹۲۶ جدول۴-۶٫ نتایج بدست آمده بدون لحاظ تعداد رخداد توسط رده بند SVM مشخصه ها SVM صفات قیود صفات و قیود خودکار گرایش آغازگر نشانه های سؤال Precision Recall F-Measure ROC Area ۱ X ۰٫۸۴۳ ۰٫۸۲ ۰٫۸۱۳ ۰٫۸ ۲ x ۰٫۳۰۹ ۰٫۵۴ ۰٫۳۹۳ ۰٫۴۸۲ ۳ x ۰٫۷۵۲ ۰٫۷۴ ۰٫۷۳ ۰٫۷۱۹ ۴ X ۰٫۷۸۷ ۰٫۷ ۰٫۶۸۹ ۰٫۷۲۷ ۵ X ۰٫۷۹۶ ۰٫۶۸ ۰٫۶۲۴ ۰٫۶۳۶ ۶ X X ۰٫۶۳۷ ۰٫۶۴ ۰٫۶۳۸ ۰٫۶۳ ۷ x X ۰٫۷۶۹ ۰٫۷۶ ۰٫۷۵۳ ۰٫۷۴۲ ۸ X X ۰٫۹۱۵ ۰٫۹ ۰٫۸۹۸ ۰٫۸۸۶ ۹ x X ۰٫۷۶۹ ۰٫۷۶ ۰٫۷۵۳ ۰٫۷۴۲ ۱۰ X X ۰٫۹۰۱ ۰٫۸۸ ۰٫۸۷۶ ۰٫۸۶۴ ۱۱ x X X ۰٫۷۹۷ ۰٫۷۸ ۰٫۷۷۱ ۰٫۷۶ ۱۲ x X X ۰٫۹۱۵ ۰٫۹ ۰٫۸۹۸ ۰٫۸۸۶ ۱۳ x x X X ۰٫۹۳ ۰٫۹۲ ۰٫۹۱۹ ۰٫۹۰۹ جدول۴-۷٫ نتایج آزمایش مجدد ۳ حالت منتخب پس از افزودن صفات و قیود وابسته به زمینه در کنار نتایج قبل حالت استفاده از مشخصه ها مشخصه ها دقت قبل از افزودن دقت بعد از افزودن صفات قیود صفات و قیود خودکار گرایش آغازگر نشانه های سؤال ۱ بدون لحاظ تعداد رخداد X x X X ۰٫۹۳ ۰٫۹۰۱ ۲ با لحاظ تعداد رخداد و نرمال شده X x X X ۰٫۹۰۵ ۰٫۸۱۳ ۳ با لحاظ تعداد رخداد و نرمال نشده X X x ۰٫۹۰۵ ۰٫۸۸۸ جدول۴-۸٫ نتایج استفاده از رده بند های دیگر در کنار نتایج قبل برای ۴ حالت منتخب حالت استفاده از مشخصه ها مشخصه ها رده بندها صفات قیود صفات و قیود خودکار گرایش آغازگر نشانه های سؤال SVM یا NB Neural Network Decision Tree Ada Boost Bagging ۱ بدون لحاظ تعداد رخداد x x x X ۰٫۹۳ ۰٫۹۰۵ ۰٫۸۷۶ ۰٫۹۰۱ ۰٫۸۸۸ ۲ با لحاظ تعداد رخداد و نرمال شده x x x X ۰٫۹۰۵ ۰٫۸۷۲ ۰٫۸۷۶ ۰٫۹۰۱ ۰٫۸۵۷ ۳ با لحاظ تعداد رخداد و نرمال نشده x x X ۰٫۹۰۵ ۰٫۸۶۳ ۰٫۸۸۸ ۰٫۸۸۸ ۰٫۸۸۸ ۴ با لحاظ تعداد رخداد x X ۰٫۸۳۲ ۰٫۶ ۰٫۵۵۶ ۰٫۷۳۵ ۰٫۷۰۷ ۴-۸٫ تحلیل نتایج ۴-۸-۱٫ بهترین نتایج از بین تمام ۷۰ نتیجه ی حاصل شده از ۷۰ ترکیب مختلف از مشخصه ها و رده بندها، ۶ عدد از آن ها دارای دقت بالاتر از ۹۰ درصد هستند. از این ۶ عدد، ۴ عدد در جدول ۴-۶ قرار دارند (ردیف های ۸، ۱۰، ۱۲ و ۱۳)، و این به این معنی است که در این ۴ حالت از رده بند SVM و مشخصه های دودویی استفاده شده است. بهترین دقت نیز یکی از این چهار ترکیب، یعنی ترکیب ردیف ۱۳، با دقت ۰٫۹۳ است که در آن از هر ۴ مشخصه ی “صفات”، “قیود”، “گرایش آغازگر”، و “نشانه های سؤال” استفاده شده است (برای مشخصه ی صفات از حالت “استخراج شده توسط انسان” استفاده شده است). قابل ذکر است که از بین ۲ نتیجه ی دیگر نیز، یکی با رده بند SVM ساخته شده است (جدول ۴-۴، ردیف ۱۳)، یعنی نهایتا ۵ نتیجه از ۶ نتیجه ای که بالای ۹۰ درصد دقت دارند، با بهره گرفتن از رده بند SVM بدست آمده اند. از نکات جالب توجه دیگری که با بررسی این ۶ ترکیب اول می توان دید این است که در دو حالت از آن ها که تنها ۲ مشخصه بکار رفته است (ردیف های ۸ و ۱۰ از جدول ۴-۶)، افزوده شدن تک تک مشخصه های “گرایش آغازگر”، و “نشانه های سؤال” هر کدام به تنهایی منجر به بهبود قابل توجهی شده اند، و در عین حال با مقایسه ی ردیف ۸ و ۱۲ می توان دید که درصورتی که مشخصه ی “گرایش آغازگر” اضافه شود، دیگر افزوده شدن مشخصه ی “نشانه های سؤال” تاثیری در بهبود نداشته است. ضمناً در تمام ۶ حالت اول از مشخصه ی “صفات استخراج شده توسط انسان” استفاده شده است. ۴-۸-۲٫ بررسی ترکیب دو مشخصه ی “گرایش آغازگر” و “نشانه های سؤال” بررسی جداگانه ی استفاده از دو مشخصه ی “گرایش آغازگر” و “نشانه های سؤال” از این جهت حائز اهمیت است که به نظر می رسد با توجه به امکانات فعلی (سیستم های موجود برای استخراج صفات و قیود به صورت خودکار)، استخراج آن ها با دقت بالا احتمالا بسیار کم زحمت تر از استخراج مشخصه های صفات و قیود خواهد بود (چه توسط انسان و چه به صورت خودکار). توضیح بیشتر این که استخراج جامع و مانع صفات و قیود توسط انسان (به نحوی که در این پروژه انجام شده) بر اساس تجربه ی انجام شده کاری بسیار زمان بر و همراه با زحمت است. از طرف دیگر بر سر راه استخراج کاملا خودکار این مشخصه ها مشکلاتی وجود دارد که هنوز به عنوان مسائلی باز و حل نشده مطرح هستند. نمومه هایی از این مشکلات عبارتند از : ضعف در توان تشخیص و اصلاح غلط های نوشتاری، ضعف در توان تشخیص حالت های محاوره ای، و ضعف در رفع ابهام بین کاربرد های گوناگون یک لغت با شکل واحد و معانی مختلف. با توجه به آن چه گفته شد، در ادامه بررسی نتایج حاصل از استفاده از دو مشخصه ی “گرایش آغازگر”، و “نشانه های سؤال” می آید. با مقایسه ی ردیف های شماره ی ۶ از جداول ۴-۱، ۴-۲، ۴-۵، و ۴-۶ (ردیف ۶ برای جداول ۴-۳ و ۴-۴ به ترتیب مشابه جداول ۴-۱ و ۴-۲ است)، مشاهده می شود که رده بند SVM از دقت ۰٫۶۶۹ تجاوز نکرده است اما رده بند NB در هر دو حالت (حالت های لحاظ تعداد رخداد و عدم لحاظ تعداد رخداد در جدوال ۴-۱ و ۴-۵) به دقت بالای ۸۰ درصد دست یافته است و در حالتی که تعداد نشانه های سوال لحاظ شده است (جدول ۴-۱) با اندکی برتری نسبت به حالت عدم لحاظ تعداد نشانه های سوال (جدول ۴-۵)، به دقت ۰٫۸۳۲ دست یافته است. ۴-۸-۳٫ بررسی افزودن مشخصه ی “صفات و قیود استخراج شده به صورت خود کار” به دو مشخصه ی قبل همان طور که اشاره شد بر اساس تجربه ی کسب شده استخراج صفات و قیود به طور جامع و مانع توسط انسان کاری مشکل و زمان بر است و طبیعتاً اگر بتوانیم این کار را به طور خود کار انجام دهیم بسیار کمک کننده خواهد بود. بنابراین قبل از بررسی افزودن مشخصه های صفات و قیود استخراج شده توسط انسان به دو مشخصه ی “گرایش آغازگر”، و “نشانه های سؤال” که پیش تر بررسی شدند، به تاثیر افزوده شدن مشخصه ی “صفات و قیود استخراج شده به صورت خودکار” به دو مشخصه ی مذکور می پردازیم. با مشاهده ی ردیف ۱۱ از جداول ۴-۱ و ۴-۳، و مقایسه ی این ردیف با ردیف ۶ از همین جداول می بینیم که افزودن این مشخصه چه به حالت نرمال شده و چه به حالت نرمال نشده دقت رده بند NB را اندکی کاهش داده است. اما ردیف ۱۱ از جدول ۴-۵ نشان می دهد که بهترین حالت بدست آمده پس از افزودن مشخصه ی “صفات و قیود استخراج شده به صورت خودکار” بهتر از بهترین حالت بدست آمده قبل از استفاده از این مشخصه است. مقایسه ی ردیف های ۱۱ و ۶ از جداول ۴-۴، و ۴-۶ حکایت از تاثیر بسیار مثبت مشخصه ی “صفات و قیود استخراج شده به صورت خودکار” بر رده بند SVM در زمان هایی که نرمال سازی یا عدم لحاظ تکرار رخداد مشخصه ها را داشته ایم دارد اما همچنان با بهترین حالت رده بند NB فاصله دارد. ۴-۸-۴٫ بررسی تک تک مشخصه ها با بررسی ۵ سطر اول از جداول ۴-۱ تا ۴-۶، عملکرد دو رده بند مورد استفاده را در حالاتی که تنها یکی از مشخصه ها استفاده شده باشند می بینیم. نتایج قابل توجهی که به این شکل می توان دریافت کرد به این ترتیب است : بهترین نتیجه ی حاصل شده دارای دقت ۰٫۸۴۳ است که با بهره گرفتن از مشخصه ی “صفات استخراج شده توسط انسان” بدست آمده است. این دقت با بهره گرفتن از رده بند SVM، و در حالی که تنها حضور یا عدم حظور مشخصه لحاظ شده است بدست آمده است (جدول ۴-۶ ردیف ۱). ۶ حالت مختلف استفاده از مشخصه ی مذکور بهترین نتایج را از میان تمام حالت هایی که از یک مشخصه استفاده شده است دارا می باشند و همگی دارای دقت بالای ۸۰ درصد هستند. رده بند NB نیز با اختلافی نسبتاً اندک و با دقت ۰٫۸۴۱، بهترین نتیجه ی خود را با بهره گرفتن از همان مشخصه گرفته است (جدول ۴-۵ ردیف ۱) و (جدول ۴-۳ ردیف ۱) . مشخصه ی “قیود استخراج شده توسط انسان ” زمانی که توسط رده بند SVM مورد استفاده قرار گرفته است همواره دقت غیر قابل قبولی داشته است، اما استفاده از NB و در حالی که تعداد قیود بصورت نرمال شده لحاظ شده اند، به دقت ۰٫۷۷۵ منجر شده است. مشخصه ی “صفات و قیود استخراج شده به صورت خود کار” نیز به تنهایی در ۴ حالت مختلف منجر به دقت بالای ۷۰ درصد شده است (ردیف ۳ از جداول ۴-۳ تا ۴-۶). ضمن این که تفاوت فاحشی بین دقت دو رده بند بکاربرده شده، با بهره گرفتن از این مشخصه در حالات گوناگون دیده نمی شود. مشخصه ی “گرایش آغازگر” دارای حالات مختلف نیست و تنها ۲ نتیجه با بهره گرفتن از دو رده بند از آن حاصل شده است که نشان می دهد رده بند SVM به مقدار قابل توجهی (۰٫۱۳۳) با بهره گرفتن از این مشخصه بهتر از رده بند NB عمل می کند. مشخصه ی “نشانه های سوال” دارای حالت نرمال نیست، اما در ۴ حالت مختلف دیگر استفاده از آن، منجر به دقت یکسانی شده است. ۴-۸-۵٫ بررسی لحاظ و عدم لحاظ “نرمال سازی” و “تعداد رخداد” مشخصه ها جداول ۴-۱، ۴-۳، و ۴-۵ هر ۳ با بهره گرفتن از رده بند NB بدست آمده اند، اما تفاوت آن ها در نوع استفاده از مشخصه ها است. این موضوع برای ۳ جدول ۴-۲، ۴-۴، و ۴-۶ که در هر ۳ از رده بند SVM استفاده شده است نیز صدق می کند. تفاوت در نوع استفاده از مشخصه ها به این ترتیب است که اولاً در برخی از آن ها، هم می توان تعداد رخداد را لحاظ کرد و هم می توان آن ها را بدون لحاظ تعداد رخداد و صرفاً با در نظر گرفتن رخداد یا عدم رخداد لحاظ کرد (مشخصه های “صفات استخراج شده توسط انسان “، “قیود استخراج شده توسط انسان”، “صفات و قیود استخراج شده به طور خودکار” و “نشانه های سؤال”). ثانیاً در برخی از آن ها هم امکان استفاده به صورت نرمال شده وجود دارد و هم امکان استفاده بدون لحاظ نرمال سازی هست (مشخصه های “صفات استخراج شده توسط انسان “، “قیود استخراج شده توسط انسان”، و “صفات و قیود استخراج شده به طور خودکار”). بنابر این با مقایسه ی نتایج بدست آمده با بهره گرفتن از این حالات مختلف از مشخصه ها (که در جداول مذکور آمده اند) می توان تاثیر لحاظ کردن یا عدم لحاظ کردن تعداد رخداد و نرمال سازی مشخصه ها را بررسی کرد. از نقطه نظر بهترین نتایج، می بینیم که از ۶ نتیجه ی اول که دارای دقت بالاتر از ۹۰ درصد هستند، ۴ عدد در حالت “بدون لحاظ تعداد رخداد” بدست آمده اند (ردیف های ۸، ۱۰، ۱۲، و ۱۳ از جدول ۴-۶) و سهم حالات نرمال شده و نرمال نشده هر کدام یک خواهد بود (ردیف ۱۳ از جدول ۴-۴ و ردیف ۱۲ از جدول ۴-۱). اگر ۱۰ نتیجه ی اول را هم درنظر بگیریم، تعداد حالات “بدون لحاظ تعداد رخداد” به ۷ خواهد رسید (ردیف های ۸، ۱۲، و ۱۳ از جدول ۴-۵ اضافه می شوند)، سهم حالت نرمال نشده تغییر نخواهد کرد و سهم حالت نرمال شده یکی اضافه خواهد شد (ردیف ۱۲ از جدول ۴-۴). اگر حالت هایی که در آن ها فقط از دو مشخصه ی “گرایش آغازگر” و “نشانه های سؤال” استفاده شده است (اهمیت بررسی جداگانه ی استفاده از این دو مشخصه در بخش ۴-۸-۲ بیان شد) مورد بررسی قرار گیرد می بینیم که نرمال سازی برای این مشخصه ها معنایی ندارد و لحاظ و عدم لحاظ تعداد رخداد نیز تنها برای مشخصه ی “نشانه های سؤال” مطرح است. با مقایسه ی ردیف ۶ از جداول ۴-۱، ۴-۲، ۴-۵ و ۴-۶ می بینیم که لحاظ کردن “تعداد رخداد” برای مشخصه ی مذکور بهتر از لحاظ نکردن آن بوده است. ۴-۸-۶٫ بررسی رده بندهای مورد استفاده همان طور که در بخش ۴-۸-۱ آمد ۵ نتیجه از ۶ نتیجه ای که بالای ۹۰ درصد دقت دارند، با بهره گرفتن از رده بند SVM بدست آمده اند. بهترین نتیجه نیز (دقت ۰٫۹۳ در ردیف ۱۳ از جدول ۴-۶) با بهره گرفتن از این رده بند حاصل شده است. اگر تعداد بهترین نتایج را به ۱۰ عدد افزایش دهیم این تعداد فقط یک عدد افزایش می یابد اما همچنان برتری با SVM است. در مقابل مقایسه ی ردیف ۶ از جداول ۴-۱، ۴-۲، ۴-۵ و ۴-۶ که مربوط به حالاتی هستند که تنها از دو مشخصه ی “گرایش آغازگر” و “نشانه های سؤال” استفاده شده است نشان دهنده ی برتری محسوس رده بند NB در این حالت است. ۴-۸-۷٫ بررسی تاثیر حذف برخی از صفات و قیود وابسته به زمینه منظور از صفات و قیود وابسته به زمینه صفات و قیودی هستند که معنی (و/یا) گرایش آن ها وابسته به زمینه ای است که در آن استفاده شده اند. در این جا تفاوت بین لحاظ کردن و عدم لحاظ کردن این لغات را بررسی می کنیم و برای این کار ۳ حالت از ۷۰ حالت جداول ۴-۱ تا ۴-۶ را انتخاب می کنیم و در شرایطی که صفات و قیود وابسته به زمینه به آن ها افزوده شده اند مجدداً می آزماییم و با حالت قبل از افزوده شدن صفات و قیود وابسته به زمینه مقایسه می کنیم. این ۳ حالت را به این صورت انتخاب می کنیم که از میان بهترین نتایجی که بالای ۹۰ درصد دقت دارند، ۳ حالت اول را به نحوی انتخاب می کنیم که هر ۳ حالت “بدون نرمال سازی”، “با نرمال سازی”، و “بدون لحاظ تعداد رخداد” پوشش داده شوند (ردیف ۱۲ از جدول ۴-۱ و ردیف ۱۳ از جداول ۴-۴ و ۴-۶). در جدول ۴-۷ دقت بدست آمده برای هر دو حالت را در دو ستون آخر در کنار هم می بینیم. نکته ی جالبی که از مقایسه ی این دو ستون بدست می آید این است که در هیچ کدام از موارد، افزودن صفات و قیود وابسته به زمینه نتوانسته است دقت را بهبود دهد و تمام دقت ها با افزودن این لغات کاهش داشته اند. ۴-۸-۸٫ بررسی برخی از رده بند های مهم و شناخته شده ی دیگر اکنون پس از اینکه نتایج ترکیب های متفاوتی از مشخصه های استفاده شده را با بهره گرفتن از دو رده بند SVM و NB مورد بررسی قرار دادیم، برای بررسی عملکرد رده بند های دیگر، ۳ حالت انتخاب شده در ۴-۸-۷ بعلاوه ی بهترین حالتی که تنها با بهره گرفتن از دو مشخصه ی “گرایش آغازگر” و “نشانه های سؤال” بدست آمده است را برای ۴ رده بند دیگر هم امتحان می کنیم و نتیجه را بررسی می نمائیم. در جدول ۴-۸ دقت بدست آمده در ۴ حالت قبل که طبیعتاً با بهره گرفتن از یکی از رده بند های SVM و NB بدست آمده اند (دو سطر اول SVM و دو سطر دوم NB) را در کنار دقت های بدست آمده با بهره گرفتن از ۴ رده بند دیگر می بینیم. با مقایسه ی این دقت ها مشاهده می کنیم که اگرچه رده بندهای دیگر نیز در مواردی عملکرد خوبی از خود بروز داده اند، اما نکته ی جالب توجه این است که در هیچ کدام از حالت ها و توسط هیچ یک از رده بند ها دقتی معادل یا بهتر از دقت رده بند استفاده شده ی قبل (SVM یا NB) بدست نیامده است و به نظر می رسد که این موضوع نشانه ی دیگری از کارایی بالای این دو رده بند در حوزه ی رده بندی گرایش احساس باشد. ی فصل ۵ نتیجه گیری و کار های آتی ۵-۱٫ نتیجه گیری از جمله ی اصلی ترین مسائل در حوزه ی “کاوش در نظرات” مسئله ی تشخیص جهت گیری نظرات است به این معنی که اظهار نظر درج شده دارای گرایش مثبت، منفی، یا ختثی است. در این پایان نامه به بررسی این مسئله در دامنه ی نظرات کاربران یکی از پربازدید ترین پایگاه های خبری پرداخته شد. برای حل آن مجموعه ای از مشخصه ها معرفی شدند و ترکیب های مختلفی از حالات گوناگون این مشخصه ها با بهره گرفتن از رده بند های مختلف مورد بررسی قرار گرفتند و در بهترین حالت دقت ۰٫۹۳ حاصل شد. نتایج مفصل این آزمایش ها در فصل ۴ آمد. در کنار تلاش برای حل مسئله ی مذکور با مطالعه ی گسترده ای که بر روی ابعاد مختلف مسئله ی کاوش در نظرات انجام شد، یک معماری برای یک موتور جستجوی نظرات در فصل ۳ معرفی شد. چکیده ای از نتایج به دست آمده از آزمایش های انجام شده را می توان به این ترتیب ذکر کرد : به نظر می رسد مجموعاً رده بند SVM عملکرد بهتری را در کسب بالاترین دقت ها از خود نشان داده است. اما در عین حال با توجه به اهمیت ویژه ای که ممکن است برخی مشخصه ها داشته باشند، مثل ترکیب دو مشخصه ی “نشانه های سؤال” و “گرایش آغاز گر” در این پروژه و برتری قابل توجه رده بند NaïveBayesian در استفاده از آن ها، به نظر می رسد که این رده بند نیز باید حتی الامکان مورد بررسی قرار گیرد. آزمایش های انجام شده با بهره گرفتن از رده بند های دیگر، نشان از مطلوبیت دو رده بند اصلی استفاده شده دارد و لزوم توجه به آن ها را نشان می دهد. دو مشخصه ی جدید معرفی شده (“نشانه های سؤال” و “گرایش آغاز گر”) توانایی خود را هم در ترکیب با مشخصه های قبل (“صفات و قیود مثبت و منفی”) و بهبود نتایج به دست آمده با آن ها، و هم به صورت مستقل از مشخصه های دیگر و در ترکیب با هم نشان دادند. اهمیت استفاده از صفات در متون زبان فارسی نشان داده شد. توجه به این اهمیت در کنار پرزحمت و زمان بر بودن استخراج دقیق آن ها و ضعف سیستم های فعلی، لزوم افزایش دقت سیستم های تشخیص خود کار را مشخص می کند. در مورد قیود استخراج شده به صورت انسانی اگرچه استفاده از این مشخصه به صورت تکی گاهی خوب و گاهی بسیار بد بوده است اما بهترین نتیجه زمانی به دست آمده است که از آن استفاده شده است. انجام برخی از عملیات پیش پردازش نظیر اصلاح فاصله گذاری ها، تبدیل حالات محاوره ای به معیار، و اصلاح غلط های املائی به صورت انسانی در این کار، درکنار در دسترس نبودن مطلوب سیستم هایی که این اعمال را به صورت خودکار انجام دهند و از عهده ی رفع ابهامات موجود در لغات زبان فارسی هم بر آیند، اهمیت کار در راستای تهیه ی این سیستم ها را نشان می دهد. لحاظ کردن برخی از لغاتی که گرایش آن ها با بهره گرفتن از بررسی زمینه مشخص می شد، و انجام مجدد برخی از آزمایش ها نتوانست به بهبود نتایج کمک کند، هرچند این موضوع نیاز به بررسی بیشتری دارد. ۵-۲٫ کار های آتی در روند مطالعات انجام شده غیر از مشخصه های به کار گرفته شده، مشخصه های جالب توجه دیگری نیز به نظر رسید که بررسی آن ها می تواند مفید باشد ازجمله ی این مشخصه ها می توان به “لغات تاثیر گذار غیر از صفت و قید”، “آغازگر جملات داخلی نظرات”، و ضرب المثل ها اشاره کرد. تعیین گرایش مثبت یا منفی لغات، اگر به صورت خودکار انجام شود می تواند حجم قابل توجهی از کار انسانی لازم را کاهش داده و انجام مطالعات آتی را تسهیل کند. کار در مورد ابعاد دیگر بحث های مهم در رابطه با تحلیل احساس، علی الخصوص شناسایی هدف مورد اظهار نظر توسط کاربر از جمله مطالعاتی است که نیاز و اهمیت آن احساس می شود. پیاده سازی اولیه ی معماری ارائه شده در فصل ۳ نیز از کارهایی است که پرداختن به آن دارای جذابیت و اهمیت قابل توجهی است . مراجع و ماخذ [۱] Pang B and Lee L. January 2008. Opinion Mining and Sentiment Analysis. Found. Trends Inf. Retr. 2, 1-2, 1-135. [۲] Liu B. 2011. Web Data Mining, Exploring HyperLinks, contents, and Usage Data. Springer. [۳] Wiegand M and Klakow D. 2010. Convolution kernels for opinion holder extraction. In Human Language Technologies: The Annual Conference of the North American Chapter of the Association for Computational Linguistics (HLT). Association for Computational Linguistics, Stroudsburg, PA, USA, 795-803. [۴] Lu B. 2010. Identifying opinion holders and targets with dependency parser in Chinese news texts. In Proceedings of the NAACL HLT Student Research Workshop (HLT-SRWS). Association for Computational Linguistics, Stroudsburg, PA, USA, 46-51. [۵] Awadallah R, Ramanath M, and Weikum G. 2011. OpinioNetIt: understanding the opinions-people network for politically controversial topics. In Proceedings of the 20th ACM international conference on Information and knowledge management (CIKM), Bettina Berendt, Arjen de Vries, Wenfei Fan, Craig Macdonald, Iadh Ounis, and Ian Ruthven (Eds.). ACM, New York, NY, USA, 2481-2484. [۶] Goujon B. 2011. Text Mining for Opinion Target Detection. In Proceedings of the European Intelligence and Security Informatics Conference (EISIC). IEEE Computer Society, Washington, DC, USA, 322-326. [۷] Mukund S, Ghosh D, and Srihari R. 2011. Using sequence kernels to identify opinion entities in Urdu. In Proceedings of the Fifteenth Conference on Computational Natural Language Learning (CoNLL ’11). Association for Computational Linguistics, Stroudsburg, PA, USA, 58-67. [۸] Jiang L, Yu M, Zhou M, Liu X, and Zhao T. 2011. Target-dependent Twitter sentiment classification. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies – Volume 1 (HLT), Vol. 1. Association for Computational Linguistics, Stroudsburg, PA, USA, 151-160. [۹] Wang H, Lu Y, and Zhai C. 2011. Latent aspect rating analysis without aspect keyword supervision. In Proceedings of the 17th ACM SIGKDD international conference on Knowledge discovery and data mining (KDD). ACM, New York, NY, USA, 618-626. [۱۰] Yohan J and Alice H. 2011. Aspect and sentiment unification model for online review analysis. In Proceedings of the fourth ACM international conference on Web search and data mining (WSDM). ACM, New York, NY, USA, 815-824. [۱۱] Baccianella S, Esuli A, and Sebastiani F. 2009. Multi-facet Rating of Product Reviews. In Proceedings of the 31th European Conference on IR Research on Advances in Information Retrieval (ECIR), Mohand Boughanem, Catherine Berrut, Josiane Mothe, and Chantal Soule-Dupuy (Eds.). Springer-Verlag, Berlin, Heidelberg, 461-472. [۱۲] Shimada K and Endo T. 2008. Seeing several stars: a rating inference task for a document containing several evaluation criteria. In Proceedings of the 12th Pacific-Asia conference on Advances in knowledge discovery and data mining (PAKDD). Springer-Verlag, Berlin, Heidelberg, 1006-1014. [۱۳] Liu J and Seneff S. 2009. Review sentiment scoring via a parse-and-paraphrase paradigm. In Proceedings of the Conference on Empirical Methods in Natural Language Processing: Volume 1 – Volume 1 (EMNLP), Vol. 1. Association for Computational Linguistics, Stroudsburg, PA, USA, 161-169. [۱۴] Baykan E, Henzinger M, Marian L, and Weber I. 2011. A Comprehensive Study of Features and Algorithms for URL-Based Topic Classification. ACM Trans. Web 5, 3, Article 15, 29 pages. July [۱۵] Baykan E, Henzinger M, and Weber I. August 2008. Web page language identification based on URLs. Proc. VLDB Endow. 1, 1, 176-187. [۱۶] Zubaryeva O and Savoy J. 2009. Investigation in statistical language-independent approaches for opinion detection in English, Chinese and Japanese. In Proceedings of the Third International Workshop on Cross Lingual Information Access: Addressing the Information Need of Multilingual Societies (CLIAWS3). Association for Computational Linguistics, Stroudsburg, PA, USA, 38-45. [۱۷] Osman D, Yearwood J, and Vamplew P. 2007. Using corpus analysis to inform research into opinion detection in blogs. In Proceedings of the sixth Australasian conference on Data mining and analytics – Volume 70 (AusDM), Vol. 70. Australian Computer Society, Inc., Darlinghurst, Australia, 65-75. [۱۸] Yu N and Kübler S. 2011. Filling the gap: semi-supervised learning for opinion detection across domains. In Proceedings of the Fifteenth Conference on Computational Natural Language Learning (CoNLL). Association for Computational Linguistics, Stroudsburg, PA, USA, 200-209. [۱۹] Gongshen L, Huoyao L, Jun L, Jiuchuan L. 2010. Predicting the Semantic Orientation of MovieReviews. Seventh International Conference on Fuzzy Systems and Knowledge Discovery (FSKD). [۲۰] Pang B, Lee L, Vaithyanathan S. 2002. Thumbs up? Sentiment classification using machine learning techniques. In Proceedings of the 2002 Conference on Empirical Methods in Natural Language Processing (EMNLP). [۲۱] Meena A and Prabhakar T. 2007. Sentence level sentiment analysis in the presence of conjuncts using linguistic analysis. In Proceedings of the 29th European conference on IR research (ECIR). Springer-Verlag, Berlin, Heidelberg, 573-580. [۲۲] Fu G and Wang X. 2010. Chinese sentence-level sentiment classification based on fuzzy sets. In Proceedings of the 23rd International Conference on Computational Linguistics: Posters (COLING). Association for Computational Linguistics, Stroudsburg, PA, USA, 312-319. [۲۳] Engonopoulos N, Lazaridou A, Paliouras G, and Chandrinos K. 2011. ELS: a word-level method for entity-level sentiment analysis. In Proceedings of the International Conference on Web Intelligence, Mining and Semantics (WIMS). ACM, New York, NY, USA, Article 12, 9 pages. [۲۴] Thet T, Cheon J, and Khoo C. December 2010. Aspect-based sentiment analysis of movie reviews on discussion boards. J. Inf. Sci. 36, 6, 823-848. [۲۵] Esuli A and Sebastiani F. 2006. “SentiWordNet: A publicly available lexical resource for opinion mining”, in Proceedings of Language Resources and Evaluation (LREC). [۲۶] Baccianella A and Sebastiani F. 2010. SentiWordNet 3.0: An Enhanced Lexical Resource for Sentiment Analysis and Opinion Mining, in ‘Proceedings of the Seventh conference on International Language Resources and Evaluation (LREC), European Language Resources Association (ELRA), Valletta, Malta. [۲۷] MEJOVA, Y., SRINIVASAN, P. 2011. Exploring Feature Definition and Selection for Sentiment Classifiers. International AAAI Conference on Weblogs and Social Media, North America, jul. [۲۸] Hu X and Wu B. 2009. Classification and Summarization of Pros and Cons for Customer Reviews. In Proceedings of IEEE/WIC/ACM International Joint Conference on Web Intelligence and Intelligent Agent Technology – Volume 03 (WI-IAT), Vol. 3. IEEE Computer Society, Washington, DC, USA, 73-76. [۲۹] Lerman K, Goldensohn S, and McDonald R. 2009. Sentiment summarization: evaluating and learning user preferences. In Proceedings of the 12th Conference of the European Chapter of the Association for Computational Linguistics (EACL). Association for Computational Linguistics, Stroudsburg, PA, USA, 514-522. [۳۰] Zhang Z and Varadarajan B. 2006. Utility scoring of product reviews. In Proceedings of the 15th ACM international conference on Information and knowledge management (CIKM). ACM, New York, NY, USA, 51-57. [۳۱] Huang S, Shen D, Feng W, Zhang Y, and Baudin C. 2009. Discovering clues for review quality from author’s behaviors on e-commerce sites. In Proceedings of the 11th International Conference on Electronic Commerce (ICEC). ACM, New York, NY, USA, 133-141. [۳۲] Lu Y, Tsaparas P, Ntoulas A, and Polanyi L. 2010. Exploiting social context for review quality prediction. In Proceedings of the 19th international conference on World wide web (WWW). ACM, New York, NY, USA, 691-700. [۳۳] Lau R, Liao S, Kwok R, Xu K, Xia Y, and Li Y. January 2012. Text mining and probabilistic language modeling for online review spam detection. ACM Trans. Manage. Inf. Syst. 2, 4, Article 25, 30 pages. [۳۴] Jindal N and Liu B. 2008. Opinion spam and analysis. In Proceedings of the international conference on Web search and web data mining (WSDM). ACM, New York, NY, USA, 219-230. [۳۵] Lim E, Nguyen V, Jindal N, Liu B, and Lauw H. 2010. Detecting product review spammers using rating behaviors. In Proceedings of the 19th ACM international conference on Information and knowledge management (CIKM). ACM, New York, NY, USA, 939-948. [۳۶] Jindal N, Liu B, and Lim E. 2010. Finding unusual review patterns using unexpected rules. In Proceedings of the 19th ACM international conference on Information and knowledge management (CIKM). ACM, New York, NY, USA, 1549-1552. [۳۷] Shamsfard M, Jafari H, Ilbeygi M. 2010. STeP-1: A Set of Fundamental Tools for Persian Text Processing, LREC 2010-8th Language Resources and Evaluation Conference, Malta. [۳۸] Manning C, Raghavan P, Schütze H. 2008. Introduction to Information Retrieval. Cambridge UP. پیوست الف ۵۰ اظهار نظر استفاده شده (از ۳۰ خبر)، به همراه مشخصه های استخراج شده از داخل آن ها ۱- عنوان خبر : طلبه جوان دیگری در دفاع از ناموس مردم، چاقو خورد + دستگیری عوامل نظر : به نظر من بیشترین تنبیه باید متوجه بیمارستانهایی بشه که بنده خدارو پذیرش نکرنند . عدم پذیرش بیمار با چاقو بش زدن چه فرق داره؟ صفات مثبت : صفات منفی : بیمار قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : صفات و قیود منفی (استخراج خودکار) : بیمار – آغازگر جهت دار : نشانه های سوال : ? – چه ۲- عنوان خبر : بیایید قهرمانی “مهران” را در جام جهانی ایثار و شهادت جشن بگیریم نظر : بجای اینکه ازمهران بگویید مانندرزمندگانی باشید که مهران راآزادکردند.نه برای گمراه کردن مردم ازمهران بگویید وازپیروان مافیای اقتصادی باشید. عکس مرتبط با اقتصاد صفات مثبت : رزمندگانی – آزاد صفات منفی : گمراه قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : رزمندگانی – صفات و قیود منفی (استخراج خودکار) : گمراه – آغازگر جهت دار : بجای اینکه نشانه های سوال : ۳- عنوان خبر : چرا آقایان وقتی کم می آورند از اسلام و ایمان هزینه می کنند؟ نظر : آخه بابا این که نشد تیم های تهرانی تلاش کنند با هزار هزینه و بدبختی به لیگ برتر صعود کنند اونوقت چشم دیدنشون رو در تهران نداشته باشند و به زور منتقل کنند به شهر دیگه. چرا فقط با تیم های تهرانی این کار رو می کنند؟! صفات مثبت : صفات منفی : بدبختی قیود مثبت : قیود منفی : بهزور صفات و قیود مثبت (استخراج خودکار) : برتر – صفات و قیود منفی (استخراج خودکار) : بدبختی – بهزور – آغازگر جهت دار : آخه بابا نشانه های سوال : ? – چرا ۴- عنوان خبر : واکنش آمریکا به مانور نظامی یا شکست تحریم؟ نظر : ال سعود نوکری بیش نیستند. صفات مثبت : صفات منفی : نوکری قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : نشانه های سوال : ۵- عنوان خبر : موذن معروف به لقاء الله شتافت نظر : خدایش رحمت کند . صفات مثبت : رحمت صفات منفی : قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : خدایش رحمت نشانه های سوال : ۶- عنوان خبر : ایرانی که هواپیما را بدون چرخ فرود آورد که بود؟ نظر : دست مریزاد خلبان شهبازی، خدا تو رو برای خانواده ات و این مردم نجیب حفظ کنه. ما علیرغم محروم بودن در زمینه های فنی ولی از لحاظ داشتن خلبان و تیم فنی در دنیا بی نظیریم. من بارها و با پروازهای مختلف ایرانی و خارجی به خارج از کشور پرواز داشتم. واقعا خلبان های ایرانی بخصوص در موقع فرود هواپیما از تمام پروازهای خارجی بهتر و نرمتر به زمین می نشینند. فقط متاسفانه بدلیل کهنه بودن هواپیماها مسافران استرس دارند که انشاء ا… یه راهکاری براش پیدا کنند صفات مثبت : نجیب – بینظیریم صفات منفی : محروم – کهنه قیود مثبت : بهتر – نرمتر قیود منفی : متاسفانه صفات و قیود مثبت (استخراج خودکار) : نجیب – فنی – فنی – بینظیریم – بهتر – نرمتر – صفات و قیود منفی (استخراج خودکار) : محروم – متاسفانه – کهنه – آغازگر جهت دار : دست مریزاد نشانه های سوال : ۷- عنوان خبر : طلبه جوان دیگری در دفاع از ناموس مردم، چاقو خورد + دستگیری عوامل نظر : این همه مسئولین دم از ترویج امر به مهعروف و نهی از منکر می کنند. خدا وکیلی همین آقایون برای این مضورب امر به معروف چی کار می کنند. وقتی دروغ همه گیر می شه آخرش همینه. اصولاً با این وضعیت این امر مقدس هم در جمهوری اسلامی مثل خیلی چیز های دیگه تعطیل خواهد شد. این است قاطعیت علی(ع) صفات مثبت : معروف – معروف – مقدس – قاطعیت صفات منفی : منکر – مضروب قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : معروف – معروف – مقدس – اسلامی – قاطعیت – صفات و قیود منفی (استخراج خودکار) : منکر – آغازگر جهت دار : نشانه های سوال : چکار ۸- عنوان خبر : بلندمردان والیبال ایران تاریخ ساز شدند نظر : واقعا پیروزی قاطعانه و دلچسبی بود درود به غیرت این دلاور مردان صفات مثبت : پیروزی – دلچسب – غیرت – دلاورمرد صفات منفی : قیود مثبت : قاطعانه قیود منفی : صفات و قیود مثبت (استخراج خودکار) : قاطعانه – دلچسبی – غیرت – دلاورمردان – صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : نشانه های سوال : ۹- عنوان خبر : «اسم من حسن است؛ شاید بتوانم ۲۰ ریال یا ۱۰ ریال پول کمکتان کنم» نظر : یاد باد آن روزگاران یاد باد! یادم میاد مامانم – همونروزای دفاع مقدس – یه بسته مواد شوینده بهم داد برم بگذارم پشت وانتی که عازم جبهه های حق بود البته بهم میگفت مواظب باش کسی نبینه!!! صفات مثبت : مقدس – حق – حق صفات منفی : قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : مقدس – مواظب – صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : یاد باد نشانه های سوال : ۱۰- عنوان خبر : «نگاه شما»: چرا افغان ستیزی! نظر : بابا آریایی بابا متمدن کوتاه بیا صفات مثبت : متمدن صفات منفی : قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : متمدن – صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : نشانه های سوال : ۱۱- عنوان خبر : مسی، بهترین بازیکن سال ۲۰۱۱+تصاویر نظر : واقعا حقش بود رونالدو به گرد پاشم نمیرسه صفات مثبت : حق صفات منفی : قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : نشانه های سوال : ۱۲- عنوان خبر : کالای لوکس چیست؟ +تصاویر نظر : اونوقت ما اینجا به ماشین های مصرفی کره ای میگیم لوکس!!! صفات مثبت : صفات منفی : قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : صفات و قیود منفی (استخراج خودکار) : مصرفی – آغازگر جهت دار : نشانه های سوال : ۱۳- عنوان خبر : گرانی امان مردم را بریده است نظر : این نماینده گفته تو روستاها وضع خوبه آخه ……لا اله الا الله آدم یه چیزی میگه اخه مگه تو روستا تراکتور با آب کار میکند و بشکه ایی نفت ۲۵ هزار تومن نمی خرن و پول برق نمی دن و کود شیمیایی نمی خرن و ….. صفات مثبت : خوب صفات منفی : قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : خوب – صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : نشانه های سوال : ۱۴- عنوان خبر : کالای لوکس چیست؟ +تصاویر نظر : ممنون باحال بود صفات مثبت : ممنون – باحال صفات منفی : قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : ممنون – باحال – صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : ممنون نشانه های سوال : ۱۵- عنوان خبر : ایران قدرت خود را به رخ مدعیان کشید نظر : دمشان گرم ما ازشون ممنونیم. صفات مثبت : ممنون صفات منفی : قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : ممنونیم – صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : دمشان گرم نشانه های سوال : ۱۶- عنوان خبر : واکنش آمریکا به مانور نظامی یا شکست تحریم؟ نظر : از مانور دریایی ایران احساس غرور می کنم صفات مثبت : غرور صفات منفی : قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : نشانه های سوال : ۱۷- عنوان خبر : چرا آقایان وقتی کم می آورند از اسلام و ایمان هزینه می کنند؟ نظر : باید با چنین رویه ای که اخیرا نیز بسیار باب شده است برخورد جدی شود. اینگونه استدلال های غیر منطقی برخی از مدیران توهین به نظام اسلامی، آرمان های امام و درک مردم است. صفات مثبت : صفات منفی : غیرمنطقی قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : اسلامی – صفات و قیود منفی (استخراج خودکار) : غیرمنطقی – آغازگر جهت دار : نشانه های سوال : ۱۸- عنوان خبر : تصاویر: شهید احمدی روشن قبل از شهادت نظر : قیام حضرت صاحب الزمان (عج) با چنین افرادی است که ارزش آنها از افلاک و هرچه هست ونیست بیشتر است.. زنده باد شهید مصطفی احمدی روشن صفات مثبت : زنده صفات منفی : قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : زنده – روشن – صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : نشانه های سوال : ۱۹- عنوان خبر : قدرت نمایی دفاعی موفقیت آمیز ایران در آبهای خلیج فارس+تصاویر نظر : قدرت نظامی ایران هم در نوع خودش بی نظیره. اون از هواپیماهای بی سرنشین این هم از قایقهای تندرو . کم کم داریم پیشرفت هایمان را به رخ دنیا می کشیم. صفات مثبت : بینظیر صفات منفی : قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : قدرت – بینظیر – صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : نشانه های سوال : ۲۰- عنوان خبر : دومین شاهکار یک خلبان ایرانی نظر : موافقم و از این حرکتابتکاری و بشر دوستانه خالصانه سپاسگزارم . صفات مثبت : موافقم صفات منفی : قیود مثبت : بشردوستانه – ابتکاری – خالصانه قیود منفی : صفات و قیود مثبت (استخراج خودکار) : موافقم – ابتکاری – بشردوستانه – خالصانه – سپاسگزارم – صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : موافقم نشانه های سوال : ۲۱- عنوان خبر : پاسخ «حاج قاسم» به تهدیدات آمریکا نظر : خدا قوت سردار… صفات مثبت : قوت – سردار صفات منفی : قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : سردار – صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : خدا قوت نشانه های سوال : ۲۲- عنوان خبر : «نگاه شما»: چرا افغان ستیزی! نظر : سوغات افاغنه برای مردم ایران ۱-مواد مخدر۲-افزایش ناامنی اجتماعی۳-قطع رود هیرمند به ایران که باعث خشکسالی در سیستان ایران شده اندو….. صفات مثبت : صفات منفی : مخدر – ناامن قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : صفات و قیود منفی (استخراج خودکار) : مخدر – ناامنی – آغازگر جهت دار : نشانه های سوال : ۲۳- عنوان خبر : ایرانی که هواپیما را بدون چرخ فرود آورد که بود؟ نظر : گر نگهدار من آنست که من میدانم شیشه را در بغل سنگ نگه می دارد صفات مثبت : نگهدار صفات منفی : قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : نگهدار – صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : گر نگهدار نشانه های سوال : ۲۴- عنوان خبر : نام این زن را به خاطر بسپارید + عکس نظر : مرحبا به این شیرزن افتخار آفرین! صفات مثبت : شیرزن – افتخارآفرین صفات منفی : قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : مرحبا نشانه های سوال : ۲۵- عنوان خبر : طلبه جوان دیگری در دفاع از ناموس مردم، چاقو خورد + دستگیری عوامل نظر : وای بر مدیران بهداشت این مملکت که پول و عابرویشان از جون مردم عزیزتر است….. مدیران بیمارستان سجاد..پارسیان… امام حسین و …. پسخگو باشند صفات مثبت : عزیز صفات منفی : قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : عزیزتر – صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : وای بر نشانه های سوال : ۲۶- عنوان خبر : حاشیه های اعدام قاتل روح الله داداشی+عکس نظر : اوهنهائی که میلیلارد میلیارد حق مردم رو میخورن یه اب هم روش حالا یکی از هزار تا رو شده بدتر از قاتلند ولی میبینین ازاد و رهامیگردند و اخرش هم هیچ وری نمیشه . جوانی هم اعدام شد نه سابقه داشته نه قاتل حرفه ای بوده شاید هدفی هم نداشته یه اتفاق بوده که ممکن بود برای کس دیگه ای اتفاق میفتاد به نظر من با اینگونه اعدام ها مشکلات بی شمار جامعه مریض ما درست نمیشه صفات مثبت : ازاد – رها – درست صفات منفی : بدتر – قاتلند – قاتل – مریض قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : رها – حرفهای – درست – صفات و قیود منفی (استخراج خودکار) : بدتر – قاتلند – قاتل – آغازگر جهت دار : نشانه های سوال : ۲۷- عنوان خبر : شهادت یکی از سربازان گمنام امام زمان (عج) نظر : سلام و درود خدا براین سربازان گمنام امام زمان عج که با خون خود به جامعه آرامش می دهند. صفات مثبت : آرامش صفات منفی : قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : نشانه های سوال : ۲۸- عنوان خبر : روایتی از بزرگ ترین عملیات هوایی با فانتوم نظر : سلام و درود فراوان به تمامی خلبانان شجاع ودلیر نیروی هوایی ارتش جمهوری اسلام ایران سایرکارکنان این نیرو خداوند متعال حافظ ونگهدارشان باشد . صفات مثبت : شجاع – دلیر – متعال – حافظ – نگهدار صفات منفی : قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : شجاع – دلیر – اسلامی – متعال – صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : نشانه های سوال : ۲۹- عنوان خبر : تصاویری از زندگی یک جانباز ۷۵ درصدی نظر : خداوند اجر عظیمی به این جانباز بزرگ و اجر و صبر تمام نشدنی به همسرش بدهد صفات مثبت : عظیمی – تمامنشدنی – جانباز صفات منفی : قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : نشانه های سوال : ۳۰- عنوان خبر : کالای لوکس چیست؟ +تصاویر نظر : بله این برای آمریکایی ها لوکس هست؟اما برای ما خیلی چیز هایی که پیش پا افتاده است لوکسه صفات مثبت : صفات منفی : پیشپاافتاده قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : نشانه های سوال : ? ۳۱- عنوان خبر : جنگ بین «خان»های تهران، راه را بر مردم بست + تصاویر نظر : مثل همه کارهای دیگر. بی نظمی ناهماهنگی. اختلاف و کر کری صفات مثبت : صفات منفی : بینظمی – ناهماهنگی قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : صفات و قیود منفی (استخراج خودکار) : بینظمی – ناهماهنگی – آغازگر جهت دار : نشانه های سوال : ۳۲- عنوان خبر : کافی نت ها اطلاعات هویتی کاربران را ثبت کنند+ توضیحات پلیس فتا نظر : کسی بخواد خلاف اینترنتی کنه نمیره تو کافی نت زیر چشم پنجاه نفر. صفات مثبت : صفات منفی : خلاف قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : صفات و قیود منفی (استخراج خودکار) : خلاف – آغازگر جهت دار : نشانه های سوال : ۳۳- عنوان خبر : کالای لوکس چیست؟ +تصاویر نظر : سلام اگه درست فکر کنم این بهترین ماشین شرکت لامبورگینی دومین خودروی گرون قیمت دنیا بعد از بوگاتی ویرون خداییش این لامبورگینی سوار شدن داره صفات مثبت : بهترین – گرانقیمت صفات منفی : قیود مثبت : درست قیود منفی : صفات و قیود مثبت (استخراج خودکار) : درست – بهترین – گرانقیمت – صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : نشانه های سوال : ۳۴- عنوان خبر : «نگاه شما»: چرا افغان ستیزی! نظر : در افغانستان امروز کمکی به فرهنگ خراسان بزرگ نمیشه که خودشون رو شیر خراسان بنامند! صفات مثبت : صفات منفی : قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : نشانه های سوال : ۳۵- عنوان خبر : افسری که جانش را فدای زائران کربلا کرد نظر : خدا غریق رحمتش کند صفات مثبت : غریق – رحمت صفات منفی : قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : خدا غریق نشانه های سوال : ۳۶- عنوان خبر : واکنش آمریکا به مانور نظامی یا شکست تحریم؟ نظر : سلام بر شما از اینکه آمریکا در منطقه اینقدر از ایران حساب میبره افتخار میکنم یه دست مریزاد به غیور مردان نیروی دریائی و دانشمندان کشور میگم. صفات مثبت : افتخار غیورمردان دانشمند صفات منفی : قیود مثبت : قیود منفی : صفات و قیود مثبت (استخراج خودکار) : صفات و قیود منفی (استخراج خودکار) : آغازگر جهت دار : سلام بر نشانه های سوال :
