کلان داده، داده عظیم، Big Data، داده کاوی

کلان داده، داده عظیم، Big Data، داده کاوی

داده های بزرگ یا عظیم داده ترجمه اصطلاح Big Data می باشد که معمولا به مجموعه از داده ها اطلاق می شود که اندازه آنها فراتر از حدی است که با نرم افزارهای معمول بتوان آنها را در یک زمان معقول اخذ، دقیق سازی، مدیریت و پردازش کرد. مفهوم «اندازه» در داده های بزرگ بطور مستمر در حال تغییر است و به مرور بزرگتر می شود.

داده های بزرگ (Big Data) مجموعه از تکنیک ها و تاکتیک هایی است که نیازمند شکل جدیدی از یکپارچگی هستند تا بتوانند ارزش های بزرگی را که در مجموعه های بزرگ، وسیع، پیچیده و متنوع داده پنهان شده اند، آشکار سازند.

از این رو با رشد روز افزون داده ها و نیاز به بهره برداری و تحلیل از این داده ها، بکارگیری زیرساخت های Big Data از اهمیت ویژه ای برخوردار شده است. این شرکت نیز در سال های اخیر با درک این موضوع، توانسته است گام های موثری در راستای تسلط به این حوزه بردارد و افتخار دارد که یکی از موسسات پیشرو در این زمینه در کشور باشد.

عبارت Big Data مدت‌ها است که برای اشاره به حجم‌های عظیمی از داده‌‌ها که توسط سازمان‌های بزرگ، کارخانجات، سازمان های دولتی و ... ذخیره و تحلیل می‌شوند مورد استفاده قرار می‌گیرد. اما به تازگی، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌ای بزرگی استفاده می‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌های داده سنتی و معمولی قابل مدیریت نیستند. مشکلات اصلی در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا می‌کند که با استفاده از تحلیل حجم‌های بیشتری از داده‌ها، می‌توان تحلیل‌های بهتر و پیشرفته‌تری را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بیشتر تحلیل‌های مورد نیاز در پردازش داده‌های عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، شبیه‌سازی‌های پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌های اقتصادی و مالی و تجاری مورد استفاده قرار می‌گیرد. حجم داده‌های ذخیره‌شده در مجموعه‌های داده‌ای Big Data، عموماً به‌ خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌های موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌های تشخیص RFID، شبکه‌های حسگر بی‌سیم وغیره با سرعت خیره‌کننده‌ای در حال افزایش است. در این مقاله ضمن بررسی مفاهیم پایه ای در بزرگ داده، به بررسی راه حل های موجود برای مدیریت و بهره برداری از این نوع داده ها خواهیم پرداخت.

برای ایجاد یک دید مناسب در خصوص کلان داده و اهمیت آن، جامعه ای را تصور کنید که در آن جمعیت بطور نمایی در حال افزایش است، اما خدمات و زیرساخت های عمومی آن نتواند پاسخگوی رشد جمعیت باشد و از عهده مدیریت آن برآید. چنین شرایطی در حوزه داده در حال وقوع است. بنابراین نیازمند توسعه زیرساخت های فنی برای مدیریت داده و رشد آن در بخش هایی نظیر جمع آوری، ذخیره سازی، جستجو، به اشتراک گذاری و تحلیل می باشیم. دستیابی به این توانمندی معادل است با شرایطی که مثلا بتوانیم "هنگامی که با اطلاعات بیشتری در حوزه سلامت مواجه باشیم، با بازدهی بیشتری سلامت را ارتقا دهیم"، "در شرایطی که خطرات امنیتی افزایش پیدا میکند، سطح امنیت بیشتری را فراهم کنیم"، "وقتی که با رویدادهای بیشتری از نظر آب و هوایی مواجه باشیم، توان پیش بینی دقیقتر و بهتری بدست آوریم"، "در دنیایی با خودروهای بیشتر، آمار تصادفات و حوادث را کاهش دهیم"، "تعداد تراکنش های بانکی، بیمه و مالی افزایش پیدا کند، ولی تقلب کمتری را شاهد باشیم"، "با منابع طبیعی کمتر، به انرژی بیشتر و ارزانتری دسترسی داشته باشیم" و بسیاری موارد دیگر از این قبیل که اهمیت پنهان کلان داده را نشان می دهد.

چالش های حوزه کلان داده در بحث کلان داده، ما نیاز داریم که داده ها را به منظور استخراج اطلاعات، کشف دانش و در نهایت تصمیم گیری در خصوص مسائل مختلف کاربردی به صورت صحیح مدیریت کنیم. مدیریت داده ها عموما شامل 5 فعالیت اصلی میباشد.

جمع آوری ذخیره سازی جستجو به اشتراک گذاری تحلیل

تاکنون چالشهای زیادی در حوزه کلان داده مطرح شده است که تا حدودی از جنبه تئوری ابعاد مختلفی از مشکلات این حوزه را بیان میکنند. این چالش ها در ابتدا سه بعد اصلی حجم داده، نرخ تولید و تنوع به عنوان 3V’s مطرح شدند ولی در ادامه چالش های بیشتری در ادبیات موضوع توسط محققان مطرح شده است:

حجم داده (Volume): حجم داده ها به صورت نمایی در حال رشد می باشد. منابع مختلفی نظیر شبکه های اجتماعی، لاگ سرورهای وب، جریان های ترافیک، تصاویر ماهواره ای، جریان های صوتی، تراکنش های بانکی، محتوای صفحات وب، اسناد دولتی و ... وجود دارد که حجم داده بسیار زیادی تولید می کنند.

نرخ تولید (Velocity): داده ها از طریق برنامه های کاربردی و سنسورهای بسیار زیادی که در محیط وجود دارند با سرعت بسیار زیاد و به صورت بلادرنگ تولید می شوند. بسیاری از کاربردها نیاز دارند به محض ورود داده به درخواست کاربر پاسخ دهند. ممکن است در برخی موارد نتوانیم به اندازه کافی صبر کنیم تا مثلا یک گزارش در سیستم برای مدت طولانی پردازش شود.

تنوع (Variety): انواع منابع داده و تنوع در نوع داده بسیار زیاد می باشد که در نتیجه ساختارهای داده ای بسیار زیادی وجود دارد. مثلا در وب، افراد از نرم افزارها و مرورگرهای مختلفی برای ارسال اطلاعات استفاده می کنند. بسیاری از اطلاعات مستقیما از انسان دریافت میشود و بنابراین وجود خطا اجتناب ناپذیر است. این تنوع سبب میشود جامعیت داده تحت تاثیر قرار بگیرد. زیرا هرچه تنوع بیشتری وجود داشته باشد، احتمال بروز خطای بیشتری نیز وجود خواهد داشت.

صحت (Veracity): با توجه به اینکه داده ها از منابع مختلف دریافت میشوند، ممکن است نتوان به همه آنها اعتماد کرد. مثلا در یک شبکه اجتماعی، ممکن است نظرهای زیادی در خصوص یک موضوع خاص ارائه شود. اما اینکه آیا همه آنها صحیح و قابل اطمینان هستند، موضوعی است که نمیتوان به سادگی از کنار آن در حجم بسیار زیادی از اطلاعات گذشت. البته بعضی از تحقیقات این چالش را به معنای حفظ همه مشخصه های داده اصلی بیان کرده اند که باید حفظ شود تا بتوان کیفیت و صحت داده را تضمین کرد. البته تعریف دوم در مولدهای کلان داده صدق میکند تا بتوان داده ای تولید کرد که نشان دهنده ویژگی های داده اصلی باشد.

اعتبار (Validity): با فرض اینکه دیتا صحیح باشد، ممکن است برای برخی کاربردها مناسب نباشد یا به عبارت دیگر از اعتبار کافی برای استفاده در برخی از کاربردها برخوردار نباشد.

نوسان (Volatility): سرعت تغییر ارزش داده های مختلف در طول زمان میتواند متفاوت باشد. در یک سیستم معمولی تجارت الکترونیک، سرعت نوسان داده ها زیاد نیست و ممکن است داده های موجود مثلا برای یک سال ارزش خود را حفظ کنند، اما در کاربردهایی نظیر تحلیل ارز و بورس، داده با نوسان زیادی مواجه هستند و داده ها به سرعت ارزش خود را از دست میدهند و مقادیر جدیدی به خود می گیرند. اگرچه نگهداری اطلاعات در زمان طولانی به منظور تحلیل تغییرات و نوسان داده ها حائز اهمیت است. افزایش دوره نگهداری اطلاعات، مسلما هزینه های پیاده سازی زیادی را دربر خواهد داشت که باید در نظر گرفته شود.

نمایش (Visualization): یکی از کارهای مشکل در حوزه کلان داده، نمایش اطلاعات است. اینکه بخواهیم کاری کنیم که حجم عظیم اطلاعات با ارتباطات پیچیده، به خوبی قابل فهم و قابل مطالعه باشد از طریق روش های تحلیلی و بصری سازی مناسب اطلاعات امکان پذیری است.

ارزش (Value): این موضوع دلالت بر این دارد که از نظر اطلاعاتی برای تصمیم گیری چقدر داده حائز ارزش است. بعبارت دیگر آیا هزینه ای که برای نگهداری داده و پردازش آنها میشود، ارزش آن را از نظر تصمیم گیری دارد یا نه. معمولا داده ها میتوانند در لایه های مختلف جابجا شوند. لایه های بالاتر به معنای ارزش بیشتر داده می باشند. بنابراین برخی از سازمانها میتوانند هزینه بالای نگهداری مربوط به لایه های بالاتر را قبول کنند.

تحلیل و مدیریت داده های عظیم (Big data) با ورود به عصر اطلاعات و ارتباطات و آغاز استفاده از داده ها و اطلاعات به عنوان سرمایه های اصلی در حرکت علمی، اقتصادی، اجتماعی و فرهنگی جوامع، سازمان ها و شرکت های مختلف و توسعه مشارکت افراد در جهان اینترنت و ارتباطات شبکه ای در دنیا، دغدغه ای بروز پیدا کرد که از جنس همین داده هایی بود که همه روز و با سرعت وحشتناک در دنیا و در عرصه های مختلفی که فناوری اطلاعات ورود پیدا کرده بود، تولید می شود و آن اینکه چگونه این حجم بزرگ و متنوع داده ها و اطلاعات را با توجه به ساختار هایی که در فضای فناوری اطلاعات وجود دارد، می توان مدیریت، کنترل و پردازش کرد و از آن در جهت بهبود ساختارها و سودآوری بیشتر بهره جست؟

شرکت رایان نت نمایندگی رسمی آی تی ریسرچز در ایران، ارایه دهنده طیف وسیعی از خدمات پردازش داده مبتنی بر فناوری های Big Data و فریمورک فدرتمند Hadoop می باشد.

این مجموعه با در اختیار داشتن نیروهای کارآمد و متخصص جوان و مجرب در امر توسعه و تولید نرم افزار با استفاده از آخرین دانش و تکنولوژی روز سعی نموده است تا با ارائه خدمات حرفه ای به شرکتها ، موسسات و اشخاص حقیقی و حقوقی در جهت رفع نیازهای نرم افزاری و ایجاد بستر مناسب IT قدم بردارد این شرکت با تکیه بر اصول مهندسی نرم افزار و با استفاده از جدیدترین و مناسبترین روشها آمادگی دارد طراحی ، برنامه نویسی و اجرائی نمودن پروژه های نرم افزاری را طبق نیازهای واقعی مشتری بعهده گیرد.

معرفی شرکت : این مجموعه در سال 1386 با اخذ نمایندگی رسمی مرکز تحقیقات و شرکت بین المللی آی تی ریسرچز (IT Researches) فعالیت خود را در ایران آغاز نمود، شرکت بین المللی و مرکز تحقیقات IT researches یک کمپانی فعال در فناوری اطلاعات و تحقیقات علوم کامپیوتر مستقر در انگلستان است که با شعبه های متعدد در کشور های مختلف پهنای وسیعی از خدمات تجاری و علمی را بر پایه هوش مصنوعی به شرکتها و سازمانها در سراسر جهان ارائه می نماید. این شرکت همکاری های گسترده ای را به عنوان همکار تجاری با شرکت های مطرح فناوری اطلاعات از جمله مایکروسافت، آی بی ام، آمازون و بیش از 30 شرکت بزرگ دیگر دارد.

اطلاعات بیشتر : http://www.itresearches.co.uk

در طی سال های 1386 تا 1394 توسعه مجموعه با روند رو به رشدی همراه بود به نحوی که این مجموعه در حال حاضر با 5 شخصیت حقوقی مستقل در ایران، ارمنستان و انگلستان و با نام های تجاری IT Researches , Talee و رایان نت مشغول به فعالیت می باشد، برای اطلاع از جزئیات بیشتر می توانید به وبسایت انگلیسی زبان شرکت و یا بخش ارتباط با ما مراجعه نمایید.

خدمات این شرکت طیف وسیعی از راهکار های فناوری اطلاعات مبتنی بر هوش مصنوعی را شامل می شود، هوش مصنوعی به سیستم‌هایی گفته می‌شود که می‌تواند واکنش‌هایی مشابه رفتارهای هوشمند انسانی از جمله درک شرایط پیچیده، شبیه‌سازی فرایندهای تفکری و شیوه‌های استدلالی انسانی و پاسخ موفق به آنها، یادگیری و توانایی کسب دانش و استدلال برای حل مسایل را داشته باشند.

برخی از تخصص ها و تکنولوژی های مورد استفاده شرکت در انجام پروژه ها به شرح زیر است : شبکه های عصبی ، الگوریتم ژنتیک، سیستم های فازی، یادگیری ماشینی، داده کاوی، کلان داده، پردازش تصویر، پردازش زبان طبیعی، پردازش صدا، هوش تجاری، سیستم های خبره و ...

برای اطلاعات بیشتر با ما تماس بگیرید.

اطلاعات تماس : وبسایت : http://www.itresearches.ir

دفتر : تهران - اقدسیه – نرسیده به مینی سیتی – جنب بانک پاسارگاد – پلاک 113 – طبقه 4 اصفهان - چهارباغ بالا - مجتمع پارسیان - طبقه 3 - واحد 511 لندن، خیابان ونلاک، شماره 20-22 کد پستی N1 7GU 20-22 Wenlock Road, London, N1 7GU ارمنستان - ایروان - مرکز تجاری سیتادل - واحد 205 105/1 Teryan St, Yerevan 0009, Armenia

وبسایت انگلیسی : http://www.talee.co.uk

شماره های تماس : دفتر لندن : (در پایین آگهی) دفتر ایروان : (در پایین آگهی) مرکز پاسخگویی: 021284282

بخش محصولات مایکروسافت : (در پایین آگهی) بخش پشتیبانی : (در پایین آگهی) دفتر اصفهان : (در پایین آگهی) بخش خدمات هوش مصنوعی: (در پایین آگهی)

فکس : (در پایین آگهی) (در پایین آگهی)

ایمیل-مدیریت : mailto:Iran@itresearches.co.uk ایمیل-پشتیبانی : mailto:support@itresearches.ir ایمیل-ارتباطات : mailto:info@itresearches.ir

لینک مستقیم : https://www.itresearches.ir/کلان-داده-داده-عظیم-یا-big-data