توضیحات:
آموزش تحلیل داده های بازار بورس در کلاستر هادوپ با رابط گرافیکی Hue با ابزار Hive و Excel، در قالب فایل word و در حجم 76 صفحه، بصورت تصویری و همراه با توضیحات کامل و کاربردی.
این فایل آموزش گام بگام تحلیل کلان داده های بازار بورس در کلاستر مجازی هادوپ در رابط گرافیکی Cloudera Hue با Apache Hive و ایجاد داشبورد مدیریتی با Excel می باشد.
Big Data. (کلان داده)، دارایی‌هایی از جنس داده، با حجمی انبوه، روند تولید پرشتاب، با فرمتهای گوناگون و حاوی ارزش نهفته در درون خود هستند. این نوع از داده ها نیاز به روش‌های پردازشی تازه‌ای دارند تا تصمیم‌گیری بهتر، بینش تازه و ارزش آفرینی بیشتر را برای صاحبانشان به ارمغان آورند.
اما: چگونه این حجم بزرگ و متنوع داده ها و اطلاعات را با توجه به ساختار هایی که در فضای فناوری اطلاعات وجود دارد، می توان مدیریت، کنترل و پردازش کرد و از آن در جهت بهبود ساختارها و سودآوری بیشتر بهره جست؟ تحلیل داده های عظیم فرایندی است که مهمترین هدف آن ارایه راهکارهای کارامد، برای پاسخگویی به این پرسش است.
اخیرا" مطالعه و فعالیت در حوزه های مرتبط با Big Data در کشور ما ، چه به بعنوان موضوعی بروز و ارزشمند در سطح پژوهشهای دانشگاهی و چه بعنوان مهارتی استراتژیک و پرتقاضا در بازار کار ، مورد توجه و استقبال اساتید ، دانشجویان عزیز ، متخصصان و دست اندرکاران حوزه ارتباطات و فناوری گرفته است،
بدلایل مختلفی، نظیر نوپا بودن تحقیقات در این حوزه، کمبود نمونه های کاربردی، مشکلات مربوط به تهیه داده های معتبر، در دسترس نبودن امکانات سخت افزاری، نرم افزاری ، فقدان آموزشها و کارگاههای آموزشی داخلی (و در صورت وجود هزینه بالای آنها) و همینطور چالشهای موجود برای تامین منابع علمی بروز بعلت تحریمهای علمی، در اغلب اینگونه پژوهشها ، دانشجویان عزیز، بویژه کسانیکه تجربه فعالیت قبلی در این حوزه ندارند، خصوصا" در مرحله’ ارائه سناریوهای کاربردی، با نواقصی مثل وقفه های کاری ، سردرگمی، هدر رفتن زمان زیاد و نامعقول در حین آزمون و خطاهای مکرر مواجه میشود.
در این آموزش، ما چکیده اطلاعات و تجربیاتی که از منابع مختلف آموزشی شامل فیلمهای آموزشی، پایگاههای داده علمی معتبر، کورسهای آنلاین، مقالات و تجربیات متخصصین حوزه Big data بدست آمده است را با یک مدل آموزشی نوین "بیان ساده’ مفاهیم پیچیده" (Simple expression of complex concepts )تلفیق کرده و با هدف ارتقای مهارتهای عملی دانشجویان در پیاده سازی سناریوهای مبتنی بر Big Data ارائه کرده ایم. روشها و ابزارهای مختلفی برای دستیابی به بهترین گزینه آزمایش شده و تلاش بر این بوده که جدیدترین، ساده ترین، در دسترس ترین و کارامدترین روش را که تهیه پیش نیازهای آن برای اکثر دانش پژوهان کشورمان مقدور باشد را برگزیده و به اشتراک بگذاریم .
در این محصول آموزشی مراحل پیاده سازی یک سناریوی عملی در حوزه Big Data را بصورت گام به گام از ابتدا و بصورت کاملا" تصویری آموزش داده ایم. بطوریکه کاربر از بدو امر در جریان انجام عملی سناریو قرار میگیرید ، و در حین انجام کار عملی اطلاعات مفهومی هر قسمت را هم مطالعه میکنید.
، ضمنا" بخشی بعنوان ضمیمه برای توضیحات تکمیلی مرتبط در نظر گرفته شده و لینکهایی برای مطالعات بیشتر نیز پیشنهاد گردیده است.
شرح سناریو:
ابتدا با استفاده از بسته ماشین مجازی هادوپ بنام Cloudera quickstart VM CDH-5 (حجم 4.8 گیگا بایت)، ارایه شده توسط شرکت کلودرا و نرم افزار مجازیسازی Vmware workstationدر محیط ویندوز ، یک کلاستر هادوپ تک گره (Single-Node) ایجاد میکنیم.سپس با بکارگیری رابط گرافیکی تحت وب مدیریت هادوپ بنام هیو ( Hue Cloudera) به تحلیل عملی مجموعه داده های بازار بورس ایا لات متحده ، طی سالهای 2009 الی 2014 میپردازیم.
در فرایند تحلیل در کلاستر هادوپ ، از ابزار Apache Hive استفاده میکنیم.
نهایتا" دیتاست خروجی را بعنوان نتیجه تحلیل به محیط ویندوز منتقل کرده و نحوه ایجاد چارتهای گزارشی و داشبورد مدیریتی با افزونه Power Pivot در محیط نرم افزار اکسل آموزش میدهیم.
در انتهای آموزش در کمترین زمان، و ساده ترین روش با مجموعه زیادی از مفاهیم اساسی در حوزه داده های عظیم ازجمله، مجازی سازی سرور ، ساختار پلتفرم هادوپ ، ایجاد کلاستر مجازی هادوپ ،کار با رابط کاربری Cloudera Hue ، کار با کنسول Hive ، ساخت دیتابیس و جداول داخلی و خارجی در کنسول هایو، ایجاد انواع پرس و جو در هایو، انتقال داده ها به جداول هایو و تحلیل آنها با پرس و جوهای سفارشی ، آپلود و دانلود فایل از فایل سیستم HDFS به سیستم محلی و بالعکس، مدیریت کلاستر مجازی هادوپ از محیط ویندوز، تبدیل جداول هایو به فرمت csv ، استفاده از محیط اکسل برای تهیه’ گزارشها و داشبوردهای مدیریتی اکسل و تحت وب و.... بصورت عملی آشنا شده اید. حالا شما ، بدون هیچگونه اغراقی در زمره معدود دانش پژوهان کشور قرار دارید که مهارت ایجاد و مدیریت یک پروژه’ کلان داده از نقطه’ صفر تا تحویل نهایی راکسب کرده است. با کمی تلاش و انگیزه میتوانید بسترهای دارای پتانسیل بالا و قابل پیاده سازی با تکنیکهای مبتنی بر Big Data را در حوزه های مختلف شناسایی ،در جهت رفع چالشهای آنها، سناریوهای خلاقانه و راه حلهای نوین با محوریت مدیریت داده های حجیم در کلاسترهای حقیقی چند گره و محیطهای واقعی ارائه کنید.
دیتا ستهایی که در این پژوهش استفاده شده، شامل 7 Dataset با فرمت csv با حجم 154 مگابایت است که از وبسایتهای خارجی تهیه شده است. ما پوشه کامل این داده ها را در قالب یک فایل فشرده، با حجم 47 مگابایت در یک سرور داخلی آپلود کرده و لینک آن را برای استفاده و دانلود در متن آموزش به اشتراک گذاشته ایم.
نکته مهم: اجرای عملی این آموزش، مستلزم دسترسی به امکانات سخت افزاری و نرم افزاری زیر میباشد.
ملزومات سخت افزاری و نرم افزاری برای پیاده سازی:
• لپ تاپ یا PC ویندوز 64 بیتی ورژن 7 و بالاتر با حداقل 8 گیگا بایت حافظه رم و حداقل 64 گیگا بایت فضای خالی هارد دیسک
• اتصال اینترنت با قابلیت دانلود بسته های اینترنتی با حجم بالا
• نصب نرم افزار Vmware Workstation نسخه 8 و بالاتر
• دانلود بسته آماده ماشین مجازی هادوپ شرکت کلودرا ((Cloudera quickstart VM CDH-5
• نرم افزار MS Excel - نسخه 2010 و بالاتر
قالب: داکیومنت word قابل ویرایش
راهنمای استفاده
برای استفاده، فایل فشرده دانلودی را با نرم افزار winrar از حالت فشرده خارج و استفاده نمایید.
لطفا" ملزومات پیاده سازی را که در قسمت توضیحات فایل بطور کامل قید گردیده، مطالعه فرمایید.
محتوای فایل دانلودی
فایل داکیومنت word