فصل اول: مقدمه....................................................................................................................... 15

1-1- کاربردهای کلان داده‌ها............................................................................................... 15

1-2- کلان داده‌ها به‌عنوان سرویس..................................................................................... 19

1-3- پردازش کلان داده‌ها................................................................................................... 22

1-3-1- گام‌های پردازش................................................................................................. 23

1-3-2- چالش‌ها............................................................................................................. 24

1-3-3- دستورالعمل‌ها.................................................................................................... 26

1-4- سیستم کلان داده‌ها.................................................................................................... 27

1-5- فنّاوری و ابزارها........................................................................................................... 28

1-5-1- فنّاوری سخت‌افزاری........................................................................................... 29

1-5-2- فنّاوری نرم‌افزاری................................................................................................ 30

1-6- ابزار کلان داده‌ها.......................................................................................................... 32

1-7- موضوعات برای مطالعه بیشتر..................................................................................... 38

1-8- منابع........................................................................................................................... 41

فصل دوم: معماری کلان داده‌ها............................................................................................. 45

2-1- فضای کلان داده‌ها...................................................................................................... 46

2-2- سطح بعدی داده‌ها...................................................................................................... 50

2-3- ویژگی‌های داده........................................................................................................... 51

2-3-1- دریاچه‌ی‌ داده..................................................................................................... 56

2-3-2- تولید داده........................................................................................................... 57

2-3-3- تحقیق و توسعه داده.......................................................................................... 58

2-3-4- برداشت ارزش از داده‌ها...................................................................................... 59

2-4- استفاده از سه مؤلفه عملکردی در عمل...................................................................... 61

2-5- تحقیق و توسعه‌ی داده زمینه ظهور نوآوری‌ها............................................................ 61

2-6- ساخت معماری داده..................................................................................................... 66

2-6-1- پلتفرم داده یا دریاچه‌ داده.................................................................................. 66

2-6-2- تولید داده........................................................................................................... 70

2-6-3- تحقیق و توسعه داده یا پلتفرم کشف................................................................. 71

2-6-4- یکپارچه کردن................................................................................................... 72

2-6-5- ویژگی‌های معماری............................................................................................ 74

2-7- منابع............................................................................................................................ 76

فصل سوم: الگوریتم‌های پردازش کلان داده‌ها................................................................... 77

3-1- چالش‌ها باکلان داده‌ها................................................................................................ 77

3-2- سیستم چند‌هسته‌ای در مقایسه با سیستم‌های توزیع‌شده......................................... 79

3-3- الگوریتم‌های توزیع‌شده............................................................................................... 79

3-4- گشت تصادفی............................................................................................................. 80

3-5- جدول درهم توزیع‌شده............................................................................................... 81

3-6- پردازش دسته‌ای هم‌زمان............................................................................................ 81

3-7- الگوی MapReduce...................................................................................................... 82

3-8- معرفی ابزارهای هدوپ................................................................................................ 85

3-8-1- سیستم فایل توزیع‌شده هدوپ.......................................................................... 85

3-8-2- گره نام............................................................................................................... 87

3-8-3- گره داده‌ها.......................................................................................................... 88

3-8-4- پلتفرم محاسباتی MapReduce........................................................................... 90

3-8-5- یارن................................................................................................................... 94

3-8-6- تقسیم‌کننده‌ها و ادغام کننده‌ها.......................................................................... 96

3-8-7- خواننده‌های ورودی و نویسنده‌های خروجی...................................................... 97

3-8-8- جمع‌بندی از MapReduce................................................................................... 99

3-9- روش‌های پیشرفته MapReduce................................................................................ 106

3-9-1- جریان هدوپ................................................................................................... 106

3-9-2- نهان‌سازی‌توزیع‌شده........................................................................................ 107

3-9-3- خروجی چندگانه............................................................................................. 107

3-9-4- MapReduce تکراری......................................................................................... 108

3-9-5- یادگیری ماشین با MapReduce...................................................................... 108

3-10- نتیجه‌گیری............................................................................................................ 110

3-11- منابع...................................................................................................................... 112

فصل چهارم: جستجو و داده‌کاوی در کلان داده‌ها............................................................ 113

4-1- خوشه‌بندی K-Means............................................................................................... 116

4-2- شبکه‌های اجتماعی-تشخیص انجمن....................................................................... 118

4-3- خوشه‌بندی شبکه‌های اجتماعی –تشخیص توپولوژی............................................. 120

4-3-1- معیارهای اندازه‌گیری در شبکه‌های اجتماعی................................................. 120

4-4- الگوریتم خوشه‌بندی برای پیدا کردن توپولوژی شبکه............................................ 124

4-4-1- تعیین وزن یال................................................................................................ 124

4-4-2- خوشه‌بندی...................................................................................................... 125

4-4-3- ارزیابی آزمایشی.............................................................................................. 125

4-5- خلاصه‌ای از شبکه‌های اجتماعی.............................................................................. 127

4-5-1- احساس کاوی متن.......................................................................................... 129

4-5-2- ارزیابی احساسات............................................................................................ 130

4-5-3- یادگیری فعال................................................................................................. 131

4-5-4- Concept drift4............................................................................................... 132

4-5-5- استفاده از احساسات از وب.............................................................................. 133

4-5-6- تعمیم محلی.................................................................................................... 135

4-5-7- به‌روز‌رسانی محلی........................................................................................... 135

4-5-8- هسته در فضای ویژگی‌ها................................................................................. 136

4-5-9- بازخورد کاربر در به‌روز‌رسانی همسایگی......................................................... 137

4-6- ابزارهای آنالیز و داده‌کاوی کلان داده‌ها.................................................................... 141

4-7- منابع......................................................................................................................... 143

فصل پنجم: امنیت و حریم خصوصی در کلان داده‌ها....................................................... 145

5-1- ملزومات طراحی....................................................................................................... 145

5-2- امنیت....................................................................................................................... 149

5-2-1- امنیت کلان داده‌ها در IT................................................................................ 150

5-2-2- امنیت کلان داده‌ها در زیرساخت‌های حیاتی.................................................. 150

5-2-3- محرمانه بودن.................................................................................................. 152

5-2-4- یکپارچگی....................................................................................................... 154

5-2-5- در دسترس‌بودن.............................................................................................. 154

5-2-6- حریم خصوصی................................................................................................ 155

5-2-7- حریم خصوصی آنلاین..................................................................................... 156

5-2-8- حریم خصوصی آفلاین.................................................................................... 157

5-2-9- حریم خصوصی داده‌های آرشیوشده بسیار قدیمی......................................... 157

5-3- ظهور روندها............................................................................................................. 158

5-3-1- روند تا به اینجا............................................................................................... 158

5-3-2- چشم‌انداز......................................................................................................... 158

5-3-3- چالش‌ها........................................................................................................... 158

5-4- منابع......................................................................................................................... 160