دانش داده کاوی(data mining)

داده کاوی(data minnig) پل ارتباطی میان علم آمار ، علم کامپیوتر ، هوش مصنوعی ، الگوشناسی ، فراگیری ماشین و بازنمایی بصری داده می‌باشد. داده کاوی فرآیندی پیچیده جهت شناسایی الــگوها و مـدل های صحیح، جدید و به صورت بالقوه مفید، در حجم وسیعی از داده می‌باشد، به طریقی که این الگو ها و مدلها برای انسانها قابل درک باشند. داده کاوی به صورت یک محصول قابل خریداری نمی‌باشد، بلکه یک رشته علمی و فرآیندی است که بایستی به صورت یک پروژه پیاده سازی شود. داده‌ها اغلب حجیم می‌باشند و به تنهایی قابل استفاده نیستند، بلکه دانش نهفته در داده‌ها قابل استفاده می‌باشد. بنابراین بهره گیری از قدرت فرآیند داده کاوی جهت شناسایی الگوها و مدلها و نیز ارتباط عناصر مختلف در پایگاه داده جهت کشف دانش نهفته در داده‌ها و نهایتا تبدیل داده به اطلاعات، روز به روز ضروری تر می‌شود. کاربرد: یکی از نمونه‌های بارز داده کاوی را می‌توان در فروشگاه‌های زنجیره‌ای مشاهده نمود، که در آن سعی می‌شود ارتباط محصولات مختلف هنگام خرید مشتریان مشخص گردد. فروشگاه‌های زنجیره‌ای مشتاق هستند بدانند که چه محصولاتی با یکدیگر به فروش می‌روند . برای مثال طی یک عملـیات داده کاوی گستـرده در یـک فروشـگاه زنجیره‌ای در آمریکای شمالی که بر روی حجـم عظیمـی از داده‌های فروش صورت گرفت، مشخص گردید که مردانی که برای خرید قنداق بچه به فروشگاه می‌روند معمولا آب جو نیز خریداری می‌کنند. همچنین مشخص گردید مشتریانی که تلویزیون خریداری می‌کنند، غالبا گلدان کریستالی نیز می خرند. نمونه مشابه عملیات داده کاوی را می‌توان در یک شرکت بزرگ تولید و عرضه پوشاک در اروپا مشاهده نمود، به شکلی که نتایج داده کاوی مشخص می‌کرد که افرادی که کراوات های ابریشمی خریداری می‌کنند، در همان روز یا روزهای آینده گیره کراوات مشکی رنگ نیز خریداری می‌کنند. به روشنی این مطلب قابل درک است که این نوع استفاده از داده کاوی می‌تواند فروشگاه‌ها را در برگزاری هوشمندانه فستیوال های فروش و نحوه ارائه اجناس به مشتریان یاری رساند. نمونه دیگر استفاده از داده کاوی در زمینه فروش را می‌توان در یک شرکت بزرگ دوبلاژ و تکثیر و عرضه فیلم های سینمایی در آمریکای شمالی مشاهده نمود که در آن عملیات داده کاوی، روابط مشتریان و هنرپیشه‌های سینمایی و نیز گروه‌های مختلف مشتریان بر اساس سبک فیلم ها ( ترسناک، رمانتیک، حادثه‌ای و ...) مشخص گردید. بنابراین آن شرکت به صورت کاملا هوشمندانه می‌توانست مشتریان بالقوه فیلم های سینمایی را بر اساس علاقه مشتریان به هنرپیشه‌های مختلف و سبک های سینمایی شناسایی کند. از دیگر زمینه‌های به کارگیری داده کاوی، استفاده بیمارستانها و کارخانه‌های داروسازی جهت کشف الگوها و مدلهای ناشناخته تاثیر دارو ها بر بیماری های مختلف و نیز بیماران گروه‌های سنی مختلف را می‌توان نام برد. رابطه داد کاوی با آنالیز آماری: داده کاوی معمولا با نوشتن مقدار زیادی گزارش و تحقیق و استعلام در آنها اشتباه گرفته می‌شود. اما در واقع داده کاوی هیچ کدام از اینها را شامل نمی‌شود بلکه داده کاوی توسط تجهیزات خاصی صورت می پذیرد، که عملیات کاوش را بر اساس تجزیه و تحلیل مکرر داده‌ها انجام می‌دهد. داده کاوي با آنالیز های متداول آماری نیز متفاوت است؛در زیرمی توان برخی از اصلی ترین تفاوت های داده کاوي و آنالیز آماری را مشاهده نمود: آنالیز آماری: • آمار شناسان همیشه با یک فرضیه شروع به کار می‌کنند. • آنها از داده‌های عددی استفاده می‌کنند. • آمارشناسان باید رابطه‌هایی را ایجاد کنند که به فرضیه آنها مربوط است. • آنها می‌توانند داده‌های نابجا و نادرست را در طول آنالیز مشخص کنند. • آنها می‌توانند نتایج کار خود را تفسیر و برای مدیران بیان کنند. داده کاوی: • به فرضیه احتیاجی ندارد. • ابزارهای داده کاوی از انواع مختلف داده ، نه تنها عددی می‌توانند استفاده کنند. • الگوریتمهای داده کاوی به طور اتوماتیک روابط را ایجاد می‌کنند. • داده کاوی به داده‌های صحیح و درست نیاز دارد. • نتایج داده کاوی نسبتا پیچیده می‌باشد و نیاز به متخصصانی جهت بیان آنها به مدیران دارد. جهت درک بهتر تفاوت داده کاوی و آنالیزهای آماری به مثال زیر که در مورد شناخت کلاهبرداری های شرکت بیمه می‌باشد، توجه کنید. نمونه‌ای از روش آنالیز آماری: یک مفسر ممکن است متوجه الگوی رفتاری شود که سبب کلاهبرداری بیمه گردد. بر اساس این فرضیه، مفسر به طرح یک سری سوال می‌پردازد تا این موضوع را بررسی کند. اگر نتایج حاصله مناسب نبود، مفسر فرضیه را اصلاح می‌کند و یا با انتخاب فرضیه دیگری مجددا شروع می‌کند. این روش نه تنها وقت گیر است بلکه به قدرت تجزیه و تحلیل مفسر نیز بستگی دارد. مهمتر از همه اینکه این روش هیچ وقت الگوهای کلاهبرداری دیگری را که مفسر به آنها مظنون نشده و در فرضیه جا نداده ، پیدا نمی‌کند. نمونه‌ای از روش داده کاوی: یک مفسر سیستم های داده کاوی را ساخته و پس از طی مراحلی از جمله جمع آوری داده ها، یکپارچه سازی و اخلاص داده‌ها به انجام عملیات داده کاوی می‌پردازد. داده کاوی تمام الگوهای غیرعادی را که از حالت عادی و نرمال انحراف دارند و ممکن است منجر به کلاهبرداری شوند را پیدا می‌کند. نتایج داده کاوی حالت های مختلفی را که مفسر باید در مراحل بعدی تحقیق کند، نشان می‌دهند. در نهایت مدل های به دست آمده می‌توانند مشتریانی را که امکان کلاهبرداری دارند، پیش بینی نمایند. فواید و نقش داده کاوی در فعالیت شرکتها:امروزه عملیات داده کاوی به صورت گسترده توسط تمامی شرکت هایی که مشتریان در کانون توجه آنها قرار دارند، استفاده می‌شود، از جمله فروشگاه ها، شرکت های مالی، ارتباطاتی، بازاریابی و غیره. استفاده از داده کاوی به این شرکتها کمک می‌کند تا ارتباط عوامل داخلی از جمله قیمت، محل قرارگیری محصولات، مهارت کارمندان را با عوامل خارجی از جمله وضعیت اقتصادی، رقابت در بازار و محل جغرافیایی مشتریان کشف نمایند.از آنجـائیـکه هـوش مصنوعی یکی از اصلی ترین عنــاصـر داده کـــاویمی باشد و با توجه به اینکه به کمک سیستم های کامپیوتری و پایگاه‌های داده، روزانه به میزان داده‌ها افزوده می‌شود، بنابراین استفاده هوشمندانه از دانش بالقوه‌ای که در این داده نهفته است در دنیای رقابتی امروز برای شرکت ها حیاتی می‌باشد.داده کاوی پیش بینی وضع آینده بازار، گرایش مشتریان و شناخت سلیقه‌های عمومی آنها را برای شرکت ها ممکن می سازد.

مراحل اصلی داده کاوی : داده کاوی را " کشف دانش در داده‌ها " نیز می نامند. کشف دانش داده‌ها دارای مراحل مختلفی می‌باشد که در اینجا به صورت خلاصه آنها را بیان می کنیم : • استخراج اطلاعات از چندین منبع داده ( پایگاه داده). • یکپارچه سازی اطلاعات و حذف داده‌های زاید. • قرار دادن اطلاعات اصلاح شده در انبار داده ها. • انجام عملیات داده کاوی توسط نرم افزار های مخصوص. • نمایش نتایج به صورت قابل فهم مانند گزارش و گراف

باز نمونه گیری

روش های باز نمونه گیری(resampeling): روش هایی هستند که با حداقل هزینه خطای نمونه گیری را نسبت به روش های مرسوم کاهش میدهند.

سه روش سنتی و یک روش مدرن در بازنمونه گیری وجود دارد. روش های سنتی عبارتند از Jackknife, cross-validation و delta-method. روش مدرن بازنمونه گیری bootstrap نام دارد. این روش خود به سه صورت مختلف انجام می شود: ساده یا تجربی(empirical)   روش بلوکی(blocked) و روش بیزی بوت استرپ.

لیزرل

لیزرل یا مدل یابی معادلات ساختاری (Structural equation modeling: SEM)یک تکنیک تحلیل چند متغیری بسیار کلی و نیرومند از خانواده رگرسیون چند متغیری و به بیان دقیق‌تر بسط "مدل خطی کلی"(General linear model) است. که به پژوهشگر امکان می‌دهد مجموعه ای از معادلات رگرسیون را به گونه هم زمان مورد آزمون قرار دهد. مدل یابی معادله ساختاری یک رویکرد جامع برای آزمون فرضیه‌هایی درباره روابط متغیرهای مشاهده شده و مکنون است که گاه تحلیل ساختاری کوواریانس، مدل یابی علّی و گاه نیز لیزرل(Lisrel) نامیده شده است اما اصطلاح غالب در این روزها، مدل یابی معادله ساختاری یا به گونه خلاصه SEM است.(هومن 1384،11)
از نظر آذر (1381) نیز یکی از قوی‌ترین و مناسب‌ترین روش‌های تجزیه و تحلیل در تحقیقات علوم رفتاری و اجتماعی، تجزیه و تحلیل چند متغیره است زیرا این گونه موضوعات چند متغیره بوده و نمی توان آنها را با شیوه دو متغیری (که هر بار یک متغیر مستقل با یک متغیر وابسته در نظر گرفته می‌شود) حل نمود.
«تجزیه و تحلیل ساختارهای کوواريانس» یا همان «مدل یابی معادلات ساختاری»، یکی از اصلی‌ترین روش‌های تجزیه و تحلیل ساختار داده‌های پیچیده و یکی از روش‌های نو برای بررسی روابط علت و معلولی است و به معنی تجزیه و تحلیل متغیرهای مختلفی است که در یک ساختار مبتنی بر تئوری، تاثیرات همزمان متغیرها را به هم نشان می‌دهد. از طریق این روش می‌توان قابل قبول بودن مدل‌های نظری را در جامعه‌های خاص با استفاده از داده‌های همبستگی، غیر آزمایشی و آزمایشی آزمود.

اندیشه اساسی زیربنای مدل یابی ساختاری
یکی از مفاهیم اساسی که در آمار کاربردی در سطح متوسط وجود دارد اثر انتقالهای جمع پذیر و ضرب پذیر در فهرستی از اعداد است یعنی اگر هر یک از اعداد یک فهرست در مقدار ثابت K ضرب شود میانگین اعداد در همان K ضرب می‌شود و به این ترتیب ، انحراف معیار استاندارد در مقدار قدر مطلق Kضرب خواهد شد. نکته این است که اگر مجموعه ای از اعداد x با مجموعه دیگری از اعداد y از طریق معادله y=4xمرتبط باشند در این صورت واریانس y باید 16 برابر واریانس x باشد و بنابراین از طریق مقایسه واریانس‌های x و y می‌توانید به گونه غیر مستقیم این فرضیه را که y و x از طریق معادله y=4x با هم مرتبط هستند را بیازمایید. این اندیشه از طریق تعدادی معادلات خطی از راه‌های مختلف به چندین متغیر مرتبط با هم تعمیم داده می‌شود. هرچند قواعد آن پیچیده‌تر و محاسبات دشوارتر می‌شود. اما پیام کلی ثابت می‌ماند. یعنی با بررسی واریانسها و کوواریانسهای متغیرها می‌توانید این فرضیه را که "متغیرها از طریق مجموعه ای از روابط خطی با هم مرتبط اند" را بیازمایید.

توسعه مدل‌های علّی و همگرایی روش‌های اقتصادسنجی، روان سنجی و...
توسعه مدل‌های علّی متغیرهای مکنون معرف همگرایی سنتهای پژوهشی نسبتا مستقل در روان سنجی، اقتصادسنجی، زیست شناسی و بسیاری از روشهای قبلا آشناست که آنها را به شکل چهارچوبی وسیع در می‌آورد. مفاهیم متغیرهای مکنون (Latent variables)(در مقابل متغیرهای مشاهده شده (Observed variables)) و خطا در متغیرها، تاریخی طولانی دارد. در اقتصادسنجی آثار جهت دار هم زمان چند متغیر بر متغیرهای دیگر، تحت برچسب مدلهای معادله هم زمان بسیار مورد مطالعه قرار گرفته است. در روان سنجی به عنوان تحلیل عاملی و تئوری اعتبار توسعه یافته و شالوده اساسی بسیاری از پژوهش‌های اندازه گیری در روانسنجی می‌باشد. در زیست شناسی، یک سنت مشابه همواره با مدلهای معادلات هم زمان (گاه با متغیرهای مکنون) در زمینه نمایش و طرح برآورده در تحلیل مسیر سر و کار دارد.

موارد کاربرد روش لیزرل:
روش لیزرل ضمن آنکه ضرایب مجهول مجموعه معادلات ساختاری خطی را برآورد می‌کند برای برازش مدلهایی که شامل متغیرهای مکنون، خطاهای اندازه گیری در هر یک از متغیرهای وابسته و مستقل، علیت دو سویه، هم زمانی و وابستگی متقابل می‌باشد طرح ریزی گردیده است. اما این روش را می‌توان به عنوان موارد خاصی برای روشهای تحلیل عاملی تاییدی، تحلیل رگرسیون چند متغیری، تحلیل مسیر، مدلهای اقتصادی خاص داده‌های وابسته به زمان، مدلهای برگشت پذیر و برگشت ناپذیر برای داده‌های مقطعی/ طولی، مدلهای ساختاری کوواریانس و تحلیل چند نمونه ای (مانند آزمون فرضیه‌های برابری ماتریس کوواریانس های، برابری ماتریس همبستگی ها، برابری معادلات و ساختارهای عاملی و غیره) نیز به کار برد.
نرم افزار لیزرل:
لیزرل یک محصول نرم افزاری است که به منظور برآورد و آزمون مدلهای معادلات ساختاری طراحی و از سوی "شرکت بین المللی نرم افزار علمی" (Scientific software international (www.ssicentral.com)به بازار عرضه شده است. این نرم افزار با استفاده از همبستگی و کوواریانس اندازه گیری شده، می‌تواند مقادیر بارهای عاملی، واریانسها و خطاهای متغیرهای مکنون را برآورد یا استنباط کند و از آن می‌توان برای اجرای تحلیل عاملی اکتشافی، تحلیل عاملی مرتبه دوم، تحلیل عاملی تاییدی و همچنین تحلیل مسیر (مدل یابی علت و معلولی با متغیرهای مکنون) استفاده کرد.

تحلیل عاملی اکتشافی و تاییدی:
تحلیل عاملی می‌تواند دو صورت اکتشافی و تاییدی داشته باشد. اینکه کدام یک از این دو روش باید در تحلیل عاملی به کار رود مبتنی بر هدف تحلیل داده هاست. در تحلیل اکتشافی(Exploratory factor analysis) پژوهشگر به دنبال بررسی داده‌های تجربی به منظور کشف و شناسایی شاخص‌ها و نیز روابط بین آنهاست و این کار را بدون تحمیل هر گونه مدل معینی انجام می‌دهد. به بیان دیگر تحلیل اکتشافی علاوه بر آنکه ارزش تجسسی یا پیشنهادی دارد می‌تواند ساختارساز، مدل ساز یا فرضیه ساز باشد.
تحلیل اکتشافی وقتی به کار می‌رود که پژوهشگر شواهد کافی قبلی و پیش تجربی برای تشکیل فرضیه درباره تعداد عامل‌های زیربنایی داده‌ها نداشته و به واقع مایل باشد درباره تعیین تعداد یا ماهیت عامل‌هایی که همپراشی بین متغیرها را توجیه می‌کنند داده‌ها را بکاود. بنابر این تحلیل اکتشافی بیشتر به عنوان یک روش تدوین و تولید تئوری و نه یک روش آزمون تئوری در نظر گرفته می‌شود.
تحلیل عاملی اکتشافی روشی است که اغلب برای کشف و اندازه گیری منابع مکنون پراش و همپراش در اندازه گیری‌های مشاهده شده به کار می‌رود. پژوهشگران به این واقعیت پی برده اند که تحلیل عاملی اکتشافی می‌تواند در مراحل اولیه تجربه یا پرورش تستها کاملا مفید باشد. توانشهای ذهنی نخستین ترستون ، ساختار هوش گیلفورد نمونه‌های خوبی برای این مطلب می‌باشد. اما هر چه دانش بیشتری درباره طبیعت اندازه گیری‌های روانی و اجتماعی به دست آید ممکن است کمتر به عنوان یک ابزار مفید به کار رود و حتی ممکن است بازدارنده نیز باشد.
از سوی دیگر بیشتر مطالعات ممکن است تا حدی هم اکتشافی و هم تاییدی باشند زیرا شامل متغیر معلوم و تعدادی متغیر مجهول‌اند. متغیرهای معلوم را باید با دقت زیادی انتخاب کرد تا حتی الامکان درباره متغیرهای نامعلومی که استخراج می‌شود اطلاعات بیشتری فراهم‌اید. مطلوب آن است که فرضیه ای که از طریق روش‌های تحلیل اکتشافی تدوین می‌شود از طریق قرار گرفتن در معرض روش‌های آماری دقیق‌تر تایید یا رد شود. تحلیل اکتشافی نیازمند نمونه‌هایی با حجم بسیار زیاد می‌باشد.
در تحلیل عاملی تاییدی(Confirmatory factor analysis) ، پژوهشگر به دنبال تهیه مدلی است که فرض می‌شود داده‌های تجربی را بر پایه چند پارامتر نسبتا اندک، توصیف تبیین یا توجیه می‌کند. این مدل مبتنی بر اطلاعات پیش تجربی درباره ساختار داده هاست که می‌تواند به شکل: 1) یک تئوری یا فرضیه 2) یک طرح طبقه بندی کننده معین برای گویه‌ها یا پاره تستها در انطباق با ویژگی‌های عینی شکل و محتوا ، 3)شرایط معلوم تجربی و یا 4) دانش حاصل از مطالعات قبلی درباره داده‌های وسیع باشد.
تمایز مهم روش‌های تحلیل اکتشافی و تاییدی در این است که روش اکتشافی با صرفه‌ترین روش تبیین واریانس مشترک زیربنایی یک ماتریس همبستگی را مشخص می‌کند. در حالی که روش‌های تاییدی (آزمون فرضیه) تعیین می‌کنند که داده‌ها با یک ساختار عاملی معین (که در فرضیه آمده) هماهنگ اند یا نه.

آزمون‌های برازندگی مدل کلی
با آنکه انواع گوناگون آزمون‌ها که به گونه کلی شاخص‌های برازندگی(Fitting indexes) نامیده می‌شوند پیوسته در حال مقایسه، توسعه و تکامل می‌باشند اما هنوز درباره حتی یک آزمون بهینه نیز توافق همگانی وجود ندارد. نتیجه آن است که مقاله‌های مختلف، شاخص‌های مختلفی را ارائه کرده اند و حتی نگارش‌های مشهور برنامه‌های SEM مانند نرم افزارهایlisrel, Amos, EQS نیز تعداد زیادی از شاخص‌های برازندگی به دست می‌دهند.(هومن1384 ،235) این شاخص‌ها به شیوه‌های مختلفی طبقه بندی شده اند که یکی از عمده‌ترین آنها طبقه بندی به صورت مطلق، نسبی و تعدیل یافته می‌باشد. برخی از این شاخص ها عبارتند از:

شاخص‌های GFI وAGFI
شاخص GFI (Goodness of fit index )مقدار نسبی واریانس‌ها و کوواریانس‌ها را به گونه مشترک از طریق مدل ارزیابی می‌کند. دامنه تغییرات GFI بین صفر و یک می‌باشد. مقدار GFI باید برابر یا بزرگتر از 90/0باشد.
شاخص برازندگی دیگر (Adjusted Goodness of Fit Index)AGFI یا همان مقدار تعدیل یافته شاخص GFI برای درجه آزادی می‌باشد. این مشخصه معادل با کاربرد میانگین مجذورات به جای مجموع مجذورات در صورت و مخرج (1- GFI) است. مقدار این شاخص نیز بین صفر و یک می‌باشد. شاخص‌های GFI و AGFI را که جارزکاگ و سوربوم (1989) پیشنهاد کرده اند بستگی به حجم نمونه ندارد.

شاخص RMSEA
اين شاخص , ريشة ميانگين مجذورات تقريب می‌باشد. شاخص (Root Mean Square Error of Approximation)RMSEAبرای مدل‌های خوب برابر 0.05 یا کمتر است. مدلهایی که RMSEA آنها 0.1 باشد برازش ضعیفی دارند.

مجذور کای
آزمون مجذور كاي (خي دو) اين فرضيه را مدل مورد نظر هماهنگ با الگوی همپراشی بين متغيرهای مشاهده شده است را می‌آزمايد، کميت خي دو بسيار به حجم نمونه وابسته می‌باشد و نمونه بزرگ کميت خی دو را بيش از آنچه که بتوان آن را به غلط بودن مدل نسبت داد, افزايش می‌دهد. (هومن.1384. 422).

شاخصNFI وCFI:
شاخصNFI (که شاخص بنتلر-بونت هم نامیده می‌شود) برای مقادیر بالای 90/0 قابل قبول و نشانه برازندگی مدل است. شاخص CFIبزرگتر از 90/0 قابل قبول و نشانه برازندگی مدل است. این شاخص از طریق مقایسه یک مدل به اصطلاح مستقل که در آن بین متغیرها هیچ رابطه ای نیست با مدل پیشنهادی مورد نظر، مقدار بهبود را نیز می‌آزماید. شاخص CFIاز لحاظ معنا مانند NFI است با این تفاوت که برای حجم گروه نمونه جریمه می‌دهد.

شاخص‌های دیگری نیز در خروجی نرم افزار لیزرل دیده می‌شوند که برخی مثلAIC, CAIC ECVA , برای تعیین برازنده‌ترین مدل از میان چند مدل مورد توجه قرار می‌گیرند برای مثال مدلی که دارای کوچکترین AIC,CAIC,ECVA باشد برازنده‌تر است.(هومن1384 ،244-235) برخی از شاخص‌ها نیز به شدت وابسته حجم نمونه اند و در حجم نمونه‌های بالا می‌توانند معنا داشته باشند.منبع: هومن, حیدر علی.(1384).مدل يابي معادلات ساختاری با کاربرد نرم افزار لیزرل، انتشارات سمت، چاپ اول
 دلاور، علی- ویس کرمی،علی – زرین جویی، محمد (1386) ، "لیزرل محاوره ای: راهنمای کاربران"،نشر ارسباران
 سرمد, ز. بازرگان, ع. حجازي, ا.(1384).روش هاي تحقيق در علوم رفتاري, تهران: انتشارات آگاه.