大數(shù)據(jù)的搜索與挖掘，在當(dāng)今的“互聯(lián)網(wǎng)+”時(shí)代是很有必要的。本書(shū)提出的分布式大數(shù)據(jù)搜索與日志挖掘及可視化方案是基于ELK Stack而提出的，它能有效應(yīng)對(duì)海量大數(shù)據(jù)所帶來(lái)的分布式存儲(chǔ)與處理、全文檢索、日志挖掘、可視化等問(wèn)題。構(gòu)建在全文檢索開(kāi)源軟件Lucene之上的Elasticsearch，不僅能對(duì)海量規(guī)模的數(shù)據(jù)完成分布式索引與檢索，還能提供數(shù)據(jù)聚合分析。據(jù)國(guó)際的數(shù)據(jù)庫(kù)產(chǎn)品評(píng)測(cè)機(jī)構(gòu)DB?Engines的統(tǒng)計(jì)，在2016年1月，Elasticsearch已超過(guò)Solr等，成為排名前列的搜索引擎類(lèi)應(yīng)用；Logstash能有效處理來(lái)源于各種數(shù)據(jù)源的日志信息；Kibana能得出可視化分析結(jié)果。了解基于ELK Stack的大數(shù)據(jù)搜索與日志挖掘及可視化方案，掌握Elasticsearch、Logstash、Kibana的基本使用方法和技巧，很有必要。

全書(shū)以模塊化的方式進(jìn)行組織。和初版相比，本書(shū)力求反映ELK Stack的新成果，內(nèi)容新穎、強(qiáng)調(diào)實(shí)踐。本書(shū)也可為高等學(xué)校相關(guān)專(zhuān)業(yè)（如計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程、物聯(lián)網(wǎng)、信息管理與信息系統(tǒng)）學(xué)生的學(xué)習(xí)和科研工作提供幫助，同時(shí)對(duì)于從事大數(shù)據(jù)搜索與挖掘、日志分析、信息可視化技術(shù)的工程技術(shù)人員和希望了解網(wǎng)絡(luò)信息檢索技術(shù)的人員也具有較高的參考價(jià)值和工程應(yīng)用價(jià)值。

目錄
第1章概述1
1.1Elasticsearch的安裝與簡(jiǎn)單配置3
1.2走進(jìn)Elasticsearch6
1.2.1相關(guān)概念6
1.2.2Elasticsearch API的簡(jiǎn)單使用方式8
1.2.3部分插件簡(jiǎn)介9
1.2.4Elasticsearch 基本架構(gòu)11
1.3Elasticsearch索引及其構(gòu)建12
1.3.1概述12
1.3.2借助Head工具構(gòu)建索引12
1.3.3Mapping簡(jiǎn)述14
1.4信息檢索及其構(gòu)建15
1.5中文分詞插件16
1.6實(shí)例20
1.7擴(kuò)展知識(shí)與閱讀25
1.8本章小結(jié)25
第2章文檔索引及管理26
2.1文檔索引概述26
2.2建立索引28
2.3通過(guò)映像Mapping配置索引32
2.3.1在索引中使用映像33
2.3.2管理/配置映像33
2.3.3獲取映像信息34
2.3.4刪除映像35
2.4管理索引文件362.4.1打開(kāi)、關(guān)閉、檢測(cè)、刪除索引文件36
2.4.2清空索引緩存36
[1][2][1][3]2.4.3刷新索引數(shù)據(jù)37
2.4.4優(yōu)化索引數(shù)據(jù)37
2.4.5flush操作37
2.5設(shè)置中文分詞器38
2.6對(duì)文檔的其他操作39
2.6.1獲取指定的文檔信息39
2.6.2刪除文檔中的信息41
2.6.3數(shù)據(jù)更新41
2.6.4基于POST方式批量獲取文檔44
2.6.5刪除部分文檔46
2.7實(shí)例46
2.8擴(kuò)展知識(shí)與閱讀49
2.9本章小結(jié)50
第3章信息檢索與結(jié)果過(guò)濾51
3.1實(shí)驗(yàn)數(shù)據(jù)集描述52
3.2簡(jiǎn)單檢索53
3.3基本檢索55
3.3.1設(shè)置不同字段的排序權(quán)重55
3.3.2指定返回的字段子集55
3.3.3term查詢(xún)、terms查詢(xún)、wildcard通配符查詢(xún)58
3.3.4match、match_all、match_phrase查詢(xún)59
3.3.5query_string查詢(xún)60
3.3.6prefix、range查詢(xún)61
3.3.7more_like_this、fuzzy_like_this查詢(xún)63
3.3.8跨字段檢索64
3.4filter概述65
3.5常用filter及其應(yīng)用67
3.5.1and filter及or filter67
3.5.2bool filter68
3.5.3exists filter和missing filter68
3.5.4type filter69
3.5.5match_all filter69
3.5.6not filter70
3.5.7query filter70
3.6復(fù)合查詢(xún)71
3.7結(jié)果排序74
3.8實(shí)例75
3.9擴(kuò)展知識(shí)與閱讀79
3.10本章小結(jié)79
第4章信息統(tǒng)計(jì)分析與搜索提示80
4.1facets概述81
4.2各種不同的facets統(tǒng)計(jì)82
4.2.1terms facets: 指定字段的分布情況統(tǒng)計(jì)82
4.2.2range facets: 在某個(gè)范圍的分布情況統(tǒng)計(jì)86
4.2.3histogram facets89
4.2.4date_histogram facets92
4.2.5statistical facets94
4.2.6terms_stats facets96
4.3aggregations97
4.3.1概述97
4.3.2最值、求和、均值統(tǒng)計(jì)98
4.3.3stats aggregation及extended stats aggregation101
4.3.4terms aggregations103
4.3.5range aggregations108
4.3.6date_range aggregations111
4.3.7histogram aggregations111
4.3.8date_histogram aggregations114
4.3.9filter aggregations117
4.3.10missing aggregations119
4.4搜索提示121
4.5實(shí)例122
4.6擴(kuò)展知識(shí)與閱讀127
4.7本章小結(jié)127
第5章Elasticsearch部分功能的Java客戶(hù)端實(shí)現(xiàn)129
5.1Elasticsearch節(jié)點(diǎn)實(shí)例化129
5.1.1通過(guò)Maven添加對(duì)Elasticsearch依賴(lài)130
5.1.2初始化Elasticsearch Client132
5.2索引數(shù)據(jù)133
5.2.1準(zhǔn)備json數(shù)據(jù)133
5.2.2索引json數(shù)據(jù)135
5.3對(duì)索引文檔的操作137
5.3.1獲取索引文檔137
5.3.2刪除索引文檔138
5.3.3更新索引文檔139
5.3.4批量操作索引文件140
5.3.5簡(jiǎn)單的統(tǒng)計(jì)操作141
5.4信息檢索142
5.4.1概述142
5.4.2multiSearch143
5.4.3Query DSL概述144
5.4.4matchQuery145
5.4.5matchAllQuery146
5.4.6multiMatchQuery146
5.4.7boolQuery147
5.4.8termQuery148
5.4.9wildcardQuery149
5.4.10queryString149
5.4.11moreLikeThis150
5.4.12filter概述151
5.4.13termFilter152
5.4.14existsFilter152
5.4.15matchAllFilter153
5.4.16queryFilter153
5.4.17rangeFilter154
5.4.18typeFilter155
5.4.19過(guò)濾器間的組合: boolFilter、notFilter、orFilter、andFilter155
5.5統(tǒng)計(jì)分析157
5.5.1facets157
5.5.2aggregations158
5.6對(duì)檢索結(jié)果的進(jìn)一步處理160
5.6.1控制每頁(yè)的顯示數(shù)量及顯示排序依據(jù)160
5.6.2基于Scroll方法的檢索結(jié)果及其分頁(yè)161
5.6.3高亮顯示檢索詞163
5.7實(shí)例164
5.7.1連接Elasticsearch164
5.7.2信息采集與索引構(gòu)建165
5.7.3搜索模塊的實(shí)現(xiàn)167
5.7.4推薦模塊的實(shí)現(xiàn)169
5.8擴(kuò)展知識(shí)與閱讀170
5.9本章小結(jié)170
第6章Elasticsearch配置與集群管理171
6.1Elasticsearch部分基本配置及其說(shuō)明171
6.2提高索引和查詢(xún)效率的策略174
6.3監(jiān)控集群狀態(tài)176
6.4控制索引分片與副本分配178
6.5集群管理180
6.6擴(kuò)展知識(shí)與閱讀181
6.7本章小結(jié)181
第7章基于Logstash的日志處理182
7.1概述183
7.2input: 處理輸入的日志數(shù)據(jù)185
7.2.1處理基于file方式輸入的日志信息186
7.2.2處理基于generator產(chǎn)生的日志信息187
7.2.3處理基于log4j的日志信息188
7.2.4處理基于redis的日志信息189
7.2.5處理基于stdin方式輸入的信息193
7.2.6處理基于TCP傳輸?shù)娜罩緮?shù)據(jù)193
7.2.7處理基于UDP傳輸?shù)娜罩緮?shù)據(jù)197
7.3codecs: 格式化日志數(shù)據(jù)199
7.3.1json格式199
7.3.2rubydebug格式201
7.3.3plain格式202
7.4基于filter的日志處理與轉(zhuǎn)換202
7.4.1json filter203
7.4.2grok filter204
7.4.3kv filter206
7.5output: 處理輸出的日志數(shù)據(jù)208
7.5.1將處理后的日志輸出到Elasticsearch中208
7.5.2將處理后的日志輸出至文件中210
7.5.3將處理后的部分日志輸出到csv格式的文件中211
7.5.4將處理后的日志輸出到redis中212
7.5.5將處理后的部分日志通過(guò)UDP協(xié)議輸出214
7.5.6將處理后的部分日志通過(guò)TCP協(xié)議輸出216
7.5.7將收集到的日志信息傳輸?shù)阶远x的HTTP接口中220
7.6擴(kuò)展知識(shí)與閱讀220
7.7本章小結(jié)221
第8章基于Kibana的數(shù)據(jù)分析可視化222
8.1安裝Kibana223
8.2Kibana概述224
8.2.1在儀表盤(pán)上添加新行226
8.2.2在行中添加新面板226
8.2.3設(shè)置Query和Filtering228
8.3常用面板類(lèi)型230
8.3.1histogram230
8.3.2table233
8.3.3map和bettermap234
8.3.4terms234
8.3.5text236
8.3.6sparklines237
8.3.7trends238
8.4網(wǎng)站性能監(jiān)控可視化應(yīng)用的設(shè)計(jì)與實(shí)現(xiàn)238
8.4.1概述239
8.4.2Page View240
8.4.3響應(yīng)/請(qǐng)求時(shí)間241
8.4.4流量走勢(shì)與統(tǒng)計(jì)242
8.4.5狀態(tài)碼監(jiān)控245
8.4.6UA行248
8.5Kibana V4簡(jiǎn)介249
8.5.1新建視圖250
8.5.2建立Dashboard252
8.5.3配置252
8.6擴(kuò)展知識(shí)與閱讀253
8.7本章小結(jié)254
第9章網(wǎng)絡(luò)信息檢索與分析實(shí)踐255
9.1信息采集255
9.2基于Python的信息檢索及Web端設(shè)計(jì)260
9.2.1安裝 Python及Django260
9.2.2安裝 Elasticsearch的Python插件261
9.2.3Web頁(yè)面設(shè)計(jì)262
9.3基于Logstash的日志處理265
9.3.1安裝和配置Nginx266
9.3.2設(shè)計(jì)面向日志文件的模式266
9.3.3在Logstash中進(jìn)行相關(guān)配置267
9.4基于Kibana的日志分析結(jié)果可視化設(shè)計(jì)與實(shí)現(xiàn)268
9.4.1圖表1: 狀態(tài)碼走勢(shì)分析269
9.4.2圖表2: 查詢(xún)?cè)~分析271
9.4.3圖表3: 分析各狀態(tài)碼隨時(shí)間的變遷情況272
9.4.4集成上述圖表273
9.5擴(kuò)展知識(shí)與閱讀274
9.6本章小結(jié)274
參考文獻(xiàn)275