목록Elk (3)

빨간색코딩

logstash grok pattern

grok은 비정형 데이터를 파싱하여 정형데이터로 만드는 라이브러리다. key/value형태로 적재된다. 골때리는건 정규표현식쓰는 방법이 독특하다는 거다.. 참조문서 : https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.html1. 기본문법%{SYNTAX:SEMANTIC}SYNTAX = 텍스트와 일치하는 패턴의 이름SEMANTIC = 식별자(ex) %{NUMBER:duration} %{IP:client} (필터링) SEMANTIC SYNTAX 식별자 텍스트 (결과) 버전 3.44 클라이언트 1.1.1.1 2. 기존 패턴 라이브러리https://github.com/elastic/logstash/blob/v1.4.0/patterns/g..
빅데이터 2017. 5. 29. 08:27
logstash 5.4 설치

centos 7을 기준으로 한다. jdk8이 필요하다.참조문서: https://www.elastic.co/guide/en/logstash/5.4/index.html 1. 설치curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-5.4.0.tar.gz tar -xvf logstash-5.4.0.tar.gz cd logstash-5.4.0/bin 테스트./logstash -e 'input { stdin { } } output { stdout {} }'input을하면 ouput이 출력된다. -e 는 명령창에 직접 코드치는 옵션이다. localhost:9600 에 들어가보면 json이 간단히 떠있다. 종료는 ctrl+d로 한다. {"host":..
빅데이터 2017. 5. 29. 08:26
엘라스틱서치(elasticsearch) 5.4 설치

현재 날짜기준 최신버전인 5.4를 설치해보자, 5.x부터 많이 바뀌어서 설치에 문제가 있었다. centos 7을 기준으로 한다. jdk8이 필요하다. 참조문서: https://www.elastic.co/guide/en/elasticsearch/reference/5.4/index.html1. 설치5.x부터는 root유저로 돌릴 수 없기때문에, 애초에 useradd를 통해 es_user를 만든 후 진행해야한다.curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.0.tar.gz tar -xvf elasticsearch-5.4.0.tar.gz cd elasticsearch-5.4.0/bin ./elasticsearch..
빅데이터 2017. 5. 29. 08:22
Prev 1 Next