شکل ۳-۶: نمای کلی استفاده از روش های ارزیابی
شکل ۳-۷: نمای کلی استفاده از یک مدل درون یک روش ارزیابی
الگوریتم KNN
در انتخاب مقدار k اعداد بین ۱ تا ۲۰ و همچنین اعداد ۲۵ تا ۱۰۰ با فاصله ۵ آزمایش شدند. بهترین مقدار عدد ۱۱ بوده است.
پس از اجرای الگوریتم، بهترین نتیجه مربوط به ارزیابی Split Validation با دقت۹۱.۲۳%بوده است. نمودار AUC آن در شکل ۳-۸ ترسیم شده است.
آستانه قابل قبول
دسته مثبت
شکل ۳-۸: نمودار AUC الگوریتم KNN
الگوریتم Naïve Bayes
این الگوریتم پارامترخاصی برای تنظیم ندارد.

بهترین نتیجه مربوط به ارزیابی Split Validation با دقت ۹۶.۰۹% بوده است. نمودار AUC آن در شکل ۳-۹ ترسیم شده است.
آستانه قابل قبول
دسته مثبت
شکل ۳-۹: نمودار AUC الگوریتم Naïve Bayes
الگوریتم Neural Network
تکنیک شبکه عصبی استفاده، مدل پرسپترون چندلایه با ۴ نرون در یک لایه نهان بوده است.
تنظیمات الگوریتم شبکه عصبی به شرح زیر بوده است:
Training cycles=500
Learning rate=0.3
Momentum=0.2
Local random seed=1992
چون این الگوریتم فقط از ویژگیهای عددی پشتیبانی می کند، از عملگرهای مختلفی برای تبدیل مقادیر غیرعددی به عدد استفاده شده است. به همین دلیل تنها از روش Split validation با نسبت ۷۰-۳۰برای ارزیابی استفاده شده است که تقسیم ورودی ها نیز توسط کاربر انجام گرفت.
شکل۳-۱۰ عملیات انجام شده را نشان می دهد.
شکل ۳-۱۰: تبدیل ویژگی های غیر عددی به عدد در الگوریتم شبکه عصبی
نتیجه اجرای الگوریتم Neural Network دقت ۹۱.۲۵%بوده ماتریس آشفتگی آن و نمودار AUC در شکل ۳-۱۱ رسم شده است.
آستانه قابل قبول
دسته مثبت
شکل ۳-۱۱: نمودار AUC و ماتریس آشفتگی الگوریتم Neural Net
الگوریتم SVM خطی
در این الگوریتم نیز بدلیل عدم پشتیبانی از نوع داده اسمی از عملگرهای مختلفی برای تبدیل مقادیر غیرعددی به عدد استفاده شده است. به همین دلیل تنها از روش Split validation با نسبت ۷۰-۳۰ برای ارزیابی استفاده شده است که تقسیم ورودی ها نیز توسط کاربر انجام شد.
شکل۳-۱۲ عملیات انجام شده را نشان می دهد.
شکل ۳-۱۲: تبدیل ویژگی های غیر عددی به عدد در الگوریتم SVM خطی
پارامترهای الگوریتم عبارتند از :
Kernel cache=200
Max iteretions=100000
نتیجه حاصل از اجرای الگوریتم SVM خطی دقت ۹۸.۵۴% است. ماتریس آشفتگی آن و نمودار AUC در شکل ۳-۱۳ رسم شده است.
آستانه قابل قبول
دسته مثبت
شکل ۳-۱۳ : نمودار AUC الگوریتم SVM Linear
۳-۹-۵-الگوریتم رگرسیون لجستیک
در این الگوریتم از روش Split validation با نسبت ۷۰-۳۰برای ارزیابی استفاده شده است که تقسیم ورودی ها نیز توسط کاربر انجام شد.
نتیجه حاصل از اجرای الگوریتم رگرسیون لجستیک دقت ۹۸.۵۴% است. ماتریس آشفتگی آن و نمودار AUC در شکل ۳-۱۴ رسم شده است.
آستانه قابل قبول
دسته مثبت
شکل ۳-۱۴ : نمودار AUC الگوریتم رگرسیون لجستیک
۳-۹-۶- الگوریتم Meta Decision Tree
در این الگوریتم که یک درخت تصمیم است، از روش Split validationبا نسبت ۷۰-۳۰ برای ارزیابی استفاده شده است که دقت ۹۶.۶۴% اقدام به پیش بینی خسارت احتمالی نموده است. ماتریس آشفتگی آن و نمودار AUC در شکل ۳-۱۵ رسم شده است.
آستانه قابل قبول
دسته مثبت
شکل ۳-۱۵ : نمودار AUC الگوریتم Meta Decision Tree
با توجه به اندازه بزرگ درخت خروجی فقط قسمتی از آن در شکل ۳-۱۶ بصورت درخت نمایش داده می شود. در شکل ۳-۱۷ درخت بصورت کامل آمده است اما نتایج آن در فصل چهارم مورد تفسیر قرار خواهند گرفت.
شکل ۳-۱۶ : قسمتی از نمودارtree الگوریتم Meta Decision Tree