windows下ELK（ElasticSearch、Logstash、Kibana）環境的搭建

一：前言

ELK是ElasticSearch、Logstash、Kibana三個應用的縮寫。 ElasticSearch簡稱ES，主要用來存儲和檢索數據。Logstash主要用來往ES中寫入數據。Kibana主要用來展示數據。

三個軟件都是開源的，可以從https://www.elastic.co/cn/products這里下載

二:安裝

下載完之后直接解壓到相應目錄，比如像我這這樣

這樣就完成了安裝

三：配置與啟動

1.配置elastisearch

其實沒什么好配置的，我只是修改了下data的存放目錄

打開：E:\software\elasticsearch-6.1.0\config\elasticsearch.yml,修改如下

我的其他配置都是默認的，當然你也可以修改一些其他的配置

2.啟動elasticsearch

點擊：E:\software\elasticsearch-6.1.0\bin\elasticsearch.bat，就算是啟動了，訪問http://localhost:9200/可以看到如下說明成功

3.配置和啟動logstash

logstash主要作用是插入數據，當然也可以直接使用elasticsearch來進行數據插入，參考：https://elasticsearch.cn/book/elasticsearch_definitive_guide_2.x/

logstash快速入門請參考:http://blog.csdn.net/wp500/article/details/41040213

我這邊直接使用配置文件來進行數據的錄入

在E:\software\logstash-6.1.0\bin中新建文本insert_2000w.conf,內容如下

input {
	file{
		path => "E:/temp/*.csv"
		start_position => beginning
	}
 }  
  
filter {
	grok {
		patterns_dir => "patterns.txt"
		match =>{ "message" => "%{DATA:name},%{DATA:person_id},%{DATA:email},%{DATA:tel},%{DATA:adress},%{DATA:from}%{S}" }
		}
	mutate{
		remove_field => ["host","path","message","@timestamp","@version"]
}
}
  
output {  
	elasticsearch { hosts => localhost 
					index => "sgdb"
					document_type =>"sgdb"}
	
	stdout { codec => rubydebug } 
}

其中patterns.txt中記錄的是模式，內容如下

E:/temp/*.csv中存儲的是需要錄入的數據，本文格式如下

Name,person_id,EMail,tell,Address,from

在E:\software\logstash-6.1.0\bin目錄下命令行運行一下命令來進行數據錄入

logstash.bat -f insert_2000w.conf

效果如下：

注意：logstash默認不會對1天前的數據進行處理

logstash每次對某一文件處理完之后便不會再次對它進行處理，如果想多次嘗試對同一文件進行輸入，需要刪除E:\software\logstash-6.1.0\data\plugins\inputs\file下的文件

4.啟動kibana

啟動E:\software\kibana-6.1.0-windows-x86_64\bin\kibana.bat

訪問http://localhost:5601 如下

然后在index Patterns中創建index Patterns

再往Discover中就可以對剛剛錄入的數據進行搜索

本文鏈接：https://blog.csdn.net/luchengtao11/article/details/78841370

智能推薦

ELK(ElasticSearch, Logstash, Kibana)搭建實時日志分析平臺

轉載:http://www.tuicool.com/articles/YR7RRr ELK平臺介紹在搜索ELK資料的時候，發現這篇文章比較好，于是摘抄一小段：以下內容來自： http://baidu.blog.51cto.com/71938/1676798 日志主要包括系統日志、應用程序日志和安全日志。系統運維和開發人員可以通過日志了解服務器軟硬件信息、檢查配置過程中的錯...

ELK,Elasticsearch+Winlogbeat+Logstash+Kibana(6.2.4)搭建實驗筆記

前言作者近日在一臺筆記本電腦上搭建了ELK，包括Elasticsearch, Logstash和Kibana，版本都是6.2.4。注意只用了一臺電腦。并且用Winlogbeat收集本機的日志，供ELK分析。在搭建過程中走過許多坑，特在此分享經驗，供同學者參考。 1 環境電腦：Lenovo K2450筆記本，4G內存，Windows 7 64位專業中文版虛擬化環境：VirtualB...

HTML中常用操作關于：頁面跳轉，空格

1.頁面跳轉 2.空格的代替符...

freemarker + ItextRender 根據模板生成PDF文件

1. 制作模板 2. 獲取模板，并將所獲取的數據加載生成html文件 2. 生成PDF文件其中由兩個地方需要注意，都是關于獲取文件路徑的問題，由于項目部署的時候是打包成jar包形式，所以在開發過程中時直接安照傳統的獲取方法沒有一點文件，但是當打包后部署，總是出錯。于是參考網上文章，先將文件讀出來到項目的臨時目錄下，然后再按正常方式加載該臨時文件；還有一個問題至今沒有解決，就是關于生成PDF文件...

電腦空間不夠了？教你一個小秒招快速清理 Docker 占用的磁盤空間！

Docker 很占用空間，每當我們運行容器、拉取鏡像、部署應用、構建自己的鏡像時，我們的磁盤空間會被大量占用。如果你也被這個問題所困擾，咱們就一起看一下 Docker 是如何使用磁盤空間的，以及如何回收。 docker 占用的空間可以通過下面的命令查看： TYPE 列出了docker 使用磁盤的 4 種類型： Images：所有鏡像占用的空間，包括拉取下來的鏡像，和本地構建的。 Con...