۳-۳-۳-۴-تکنیک براساس فراهم کردن داده‌های موثر (ODP) 34
۳-۳-۳-۵-شخصیسازی وب با بهره گرفتن از روش های ترکیبی ۳۴
۳-۳-۳-۶-شخصیسازی وب براساس الگوریتم استقرایی و تکنولوژی tf-idf 35
۳-۳-۳-۷-شخصیسازی وب با بهره گرفتن از کندوکاو الگوی ترتیبی و درخت الگو ۳۵
۳-۴-خوشه‌بندی برای شخصی‌سازی وب ۳۵
۳-۴-۱-خوشهبندی فازی ۳۶
۳-۴-۱-۱-الگوریتم پایه‌ای خوشه‌بندی فازی ۳۶
۳-۴-۱-۲-الگوریتم فازی کا-مینز ۳۶
۳-۴-۱-۳-خوشهبندی صفحات وب با بهره گرفتن از خوشهبندی فازی k-means 37
۳-۴-۲-الگوریتم ژنتیک ۳۹
۳-۴-۲-۱-بهینه‌سازی خوشه‌بندی فازی با بهره گرفتن از الگوریتم ژنتیک ۴۰
۳-۴-۳-روش پیشنهادی در این تحقیق ۴۲
۳-۴-۴-شمای کلی سیستم پیشنهادی ۴۲
۳-۴-۵-مثالی از سیستم پیشنهادی ۴۳
۳-۴-۶-شبه کد روش پیشنهادی ۵۰
۳-۵-جمعبندی ۵۱
مراجع ۵۳
فصل چهارم: ۵۵
۴-۱-مقدمه ۵۶
۴-۲-مجموعه داده ها ۵۶
۴-۲-۱-دیتاست YANDEX 57
۴-۲-۱-۱-پیش پردازش انجام شده با مجموعه داده های خام قبل از انتشار ۵۷
۴-۳-پارامترهای ارزیابی ۶۰
۴-۴-آزمایشات انجام شده ۶۱
۴-۴-۱-سخت افزار مورد استفاده ۶۲
۴-۴-۲-نتایج آزمایشات ۶۲
۴-۵-جمعبندی ۶۴
مراجع: ۶۵
فصل پنجم: ۶۶
۵-۱-مقدمه ۶۷
۵-۲-نتایج و دستاوردهای پروژه ۶۸
۵-۳-پیشنهادات ۶۸
مراجع ۷۰

فهرست اشکال
شکل ۳- ۱: فرایند شخصی‌سازی وب ۲۹
شکل ۳-۲: مجموعه داده پروانه‌ای. ۳۸
شکل ۳-۳:خوشه بندی فازی داده. ۳۹
شکل ۳-۴: مراحل اصلی الگوریتم ژنتیک. ۴۰
شکل ۳-۵: شمای کلی سیستم پیشنهادی ۴۲
شکل ۳-۶: خوشهبندی داده های آموزشی ۴۷
شکل ۳-۷: خوشهبندی داده های تست ۴۹
شکل ۴-۸: مقایسه روش‌های پیشنهادی با روش ارائه شده در (Varghese, & John, 2012). 64
فهرست جداول
جدول۴-۱: نتایج آزمایشات انجام شده بر روی ۱۰۰ جلسه‌ی تصادفی ۶۲
جدول۴-۲: مقایسه نتایج سیستم پیشنهادی با سایر روش‌ها ۶۲
جدول ۴-۳: مقایسه نتایج سیستم پیشنهادی با روش ارائه شده در (Varghese, & John, 2012). 63

برای دانلود متن کامل پایان نامه به سایت tinoz.ir مراجعه کنید.

چکیده

گرانبار شدن اطلاعات یک مشکل عمده در وب کنونی به شمار میرود. برای مقابله با این مشکل، سیستم‌های شخصیسازی وب ارائه شدهاند که محتوا و سرویسهای یک وبسایت را با افراد براساس علایق و رفتار گردشی آنها سازگار میکنند. یک مؤلفهی اساسی در هر سیستم شخصیسازی وب، مدل کاربر آن است. هدف از شخصی سازی وب، مهیا ساختن محتوا و سرویسهای مورد نیاز کاربران به وسیله دانش به دست آمده از تعاملات قبلی کاربران در صفحات وب است. در حال حاضر، برای شخصیسازی وب چندین متد خوشهبندی در دسترس است. روش هایی که تاکنون ارائه شدهاند، در مواردی دارای اشکالاتی بودند. البته تکنیکهای جدیدی در رفع این مشکلات و بهبود آنها ارائه شده است. اما در بیشتر این تکنیکها، مسائل افزونگی داده و مقیاسبندی بالا وجود دارد. با توجه به اینکه افزایش کاربران وب منجر به افزایش اندازه‌ی خوشه می‌گرد، نیاز به بهینه‌سازی خوشه‌ها اجتناب‌ناپذیر خواهد بود. در تحقیق، یک متدولوژی بهینهسازی خوشه بر اساس سیستم فازی ارائه شده است. به منظور افزایش دقت نهایی خوشهبندی، برای تنظیم پارامترهای توابع عضویت از الگوریتم ژنتیک استفاده شده است. نتایج حاصل از شبیه‌سازی نشان می‌دهد که روش پیشنهادی دقت خوشهبندی صفحات وب را تا حد قابل توجهی افزایش میدهد.
کلید واژهها: شخصیسازی صفحات وب- خوشهبندی- کاربرد وبکاوی- الگوریتم فازی سی مینز- پایگاه داده یاندکس.

فصل اول

کلیات تحقیق:

مقدمه

با توسعه سیستم‌های اطلاعاتی، داده به یکی از منابع پراهمیت سازمان‌ها مبدل گشته است. بنابراین روش‌ها و تکنیک‌هایی برای دستیابی کارا به داده، اشتراک داده، استخراج اطلاعات از داده و استفاده از این اطلاعات، مورد نیاز می‌باشد. با ایجاد و گسترش وب و افزایش چشمگیر حجم اطلاعات، نیاز به این روش‌ها و تکنیک‌ها بیش از پیش احساس می‌شود. وب، محیطی وسیع، متنوع و پویا است که کاربران متعدد اسناد خود را در آن منتشر می‌کنند. در حال حاضر بیش از دو بیلیون صفحه در وب موجود است و این تعداد با نرخ ۷٫۳ میلیون صفحه در روز افزایش می‌یابد. با توجه به حجم وسیع اطلاعات در وب، مدیریت آن با ابزارهای سنتی تقریباً غیر ممکن است و ابزارها و روش هایی نو برای مدیریت آن مورد نیاز است. به طور کلی کاربران وب در استفاده از آن با مشکلات زیر روبرو هستند:
۱٫ یافتن اطلاعات مرتبط: یافتن اطلاعات مورد نیاز در وب دشوار می‌باشد. روش‌های سنتی بازیابی اطلاعات که برای جستجوی اطلاعات در پایگاه داده‌ها به کار می‌روند، قابل استفاده در وب نمی‌باشند و کاربران معمولاً از موتورهای جستجو که مهمترین و رایج ترین ابزار برای یافتن اطلاعات در وب می باشند، استفاده می‌کنند. این موتورها، یک پرس و جوی مبتنی بر کلمات کلیدی از کاربر دریافت کرده و در پاسخ لیستی از اسناد مرتبط با پرس و جوی وی را که بر اساس میزان ارتباط با این پرس و جو مرتب شده اند، به وی ارائه میکنند. اما موتورهای جستجو دارای دو مشکل اصلی هستند (Baeza-Yates, 2004). اولاً دقت موتورهای جستجو پایین است، چراکه این موتورها در پاسخ به یک پرس و جوی کاربر صدها یا هزاران سند را بازیابی می‌کنند، در حالی که بسیاری از اسناد بازیابی شده توسط آنها با نیاز اطلاعاتی کاربر مرتبط نمی‌باشند (Bharat, and et. al., 2001). ثانیاً میزان فراخوان این موتورها کم می‌باشد، به آن معنی که قادر به بازیابی کلیه اسناد مرتبط با نیاز اطلاعاتی کاربر نیستند. چرا که حجم اسناد در وب بسیار زیاد است و موتورهای جستجو قادر به نگهداری اطلاعات کلیه اسناد وب، در پایگاه داده‌های خود نمی‌باشند (Chakrabarti, and et. al., 1999).
۲٫ ایجاد دانش جدید با بهره گرفتن از اطلاعات موجود در وب: در حال حاضر این سوال مطرح است که چگونه می‌توان داده‌های فراوان موجود در وب را به دانشی قابل استفاده تبدیل کرد، به طوری که یافتن اطلاعات مورد نیاز در آن به سادگی صورت بگیرد. همچنین چگونه می‌توان با بهره گرفتن از داده‌های وب به اطلاعات و دانشی جدید دست یافت.
۳٫ خصوصی سازی اطلاعات: از آن جا که کاربران متفاوت هر یک درباره نوع و نحوهی بازنمایی اطلاعات سلیقه خاصی دارند، این مسئله باید توسط تأمینکنندگان اطلاعات در وب مورد توجه قرار بگیرد. برای این منظور با توجه به خواسته‌ها و تمایلات کاربران متفاوت، نحوه ارائه اطلاعات به آنها باید سفارشی گردد.
تکنیک‌های وب کاوی قادر به حل این مشکلات می‌باشند (Chakrabarti, 2000).

تعریف مسئله

وب به یک بخش تسلیم نشدنی جهان تبدیل شده است و گشت و گذار وب، یک فعالیت مهم برای مشتریانی که خرید آنلاین دارند، به شمار میآید (Varghese, 2012). همانطور که گفته شد، با توجه به حجم وسیع اطلاعات در وب، مدیریت آن با ابزارهای سنتی تقریباً غیر ممکن است و ابزارها و روش هایی نو برای مدیریت آن مورد نیاز است. یکی از این روشها وبکاوی است. به طور کلی وبکاوی را میتوان داده کاوی بر روی داده های محتوا، ساختار و کاربرد وب به حساب آورد. هدف وبکاوی کشف مدلها و الگوهای نهفته در منابع وب میباشد. هدف وب کاوی کاربرد وب به طور خاص کشف الگوهای رفتاری کاربران وب میباشد. کشف چنین الگوهایی از حجم عظیمی از داده های تولید شده توسط وب سرورها کاربردهای مهمی دارد (Anand, and Mobasher, 2005). از جملهی آنها میتوان به سیستمهایی که میزان مؤثر بودن یک سایت را در برآوردن انتظارات کاربر ارزیابی میکنند، تکنیکهایی برای متعادل کردن پویای بار و بهینهسازی وب سرورها برای دستیابی مؤثرتر کاربران و کاربردهای مربوط به ساختاردهی مجدد و تطبیق یک سایت براساس نیازهای پیش بینی شدهی کاربر اشاره کرد.
کشف استخراج اطلاعات مفید از دادهی وب یا فایلهای وبلاگ، بهبود کارایی اطلاعات وب و فراهم کردن تکنولوژی برای کاربردهای وب به عنوان مثال، شخصیسازی و غیره از جمله اهداف دیگر وبکاوی میباشد. برای مدیریت تصمیمگیری، نتیجه کاوش کاربرد وب میتواند برای تبلیغات، بهبود طراحی وب، بهبود رضایت مشتری، هدایت استراتژی تصمیم آنالیز بازار و سازمان مورد استفاده قرار گیرد (Naveena Devi et al., 2012).
در سال های اخیر تکنیک‌های وبکاوی کاربرد وب به عنوان رویکردی دیگر که مبتنی بر کاربر است در شخصیسازی وب ارائه شده است که برخی از مشکلات مربوط به فیلترکردن جمعی را کاهش میدهد. به طور خاص وب کاوی کاربرد وب برای افزایش گسترش‌پذیری سیستمهای شخصیسازی شدهی سنتی که برمبنای تکنیکهای فیلترکردن جمعی میباشند استفاده شده است.
شخصیسازی صفحه وب شامل خوشهبندی صفحات مختلف وبی است که الگوی مشابهی دارند. شخصیسازی وب از تکنیک کاربرد وبکاوی برای سفارشی کردن صفحات وب برای یک کاربر خاص استفاده میکند. این مسئله شامل استخراج جلسات کاربر از فایلهای ورود به سیستم میشود. یک جلسه کاربر، دنبالهی صفحات وبی که توسط کاربر در یک دوره زمانی خاص مورد دسترسی قرار گرفته، میباشد.

اهمیت و ضرورت تحقیق

با رشد ناگهانی اندازه وب و استفاده از وب گسترده جهانی، برای کاربران بسیار مشکل شد که بتوانند به طور مؤثر به اطلاعات مرتبط و مورد علاقه خود دسترسی پیدا کنند. نیاز به پیشبینی نیازهای کاربر به منظور بهبود قابلیت استفاده و حفظ کاربر سایت، آشکار است و میتواند با بهره گرفتن از شخصیسازی آدرسدهی شود. شخصی‌سازی وب، پردازشی از یک سایت برای بر طرف کردن نیاز یک کاربر خاص یا مجموعهای از کاربران با بهره گرفتن از دانش به دست آمده از طریق تحلیل رفتار گشت و گذار کاربر است. هدف از سیستم شخصی سازی وب، مهیا ساختن اطلاعات و نیازهای کاربران، بدون این که صریحاً از آنها سوالی پرسیده شود.
هر اقدامی که اطلاعات یا سرویسهای فراهم شده توسط یک وبسایت با نیازهای یک کاربر یا گروه خاصی از کاربران با به کارگیری دانش بدست آمده از رفتار گردشی کاربر و علایق خاص او به صورت ترکیب با محتوا و ساختار وبسایت سازگار میکند شخصیسازی وب نامیده میشود (Eirinaki, 2003).
بطور کلی اهداف شخصیسازی وب عبارتند از:

شخصیسازی سرویسهای ارائه شده توسط یک وبسایت نقش مهمی در کاهش گرانبار شدن اطلاعات ایفا میکند و وبسایت را به یک محیط کاربر پسندتر برای افراد تبدیل میکند.

با فراهم کردن اطلاعات دلخواه کاربر به روش مناسب و در زمان مناسب، باعث بهبود گردش کاربر در وب سایت میشود.

در تجارت الکترونیکی مکانیزیمی برای درک بهتر نیازهای مشتری، شناسایی تمایلات آیندهی او و در نهایت افزایش پابرجایی مشتری به سرویس ارائه شده فراهم میکند.