빨간색코딩

grok은 비정형 데이터를 파싱하여 정형데이터로 만드는 라이브러리다. key/value형태로 적재된다. 골때리는건 정규표현식쓰는 방법이 독특하다는 거다.. 참조문서 : https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.html1. 기본문법%{SYNTAX:SEMANTIC}SYNTAX = 텍스트와 일치하는 패턴의 이름SEMANTIC = 식별자(ex) %{NUMBER:duration} %{IP:client} (필터링) SEMANTIC SYNTAX 식별자 텍스트 (결과) 버전 3.44 클라이언트 1.1.1.1 2. 기존 패턴 라이브러리https://github.com/elastic/logstash/blob/v1.4.0/patterns/g..

centos 7을 기준으로 한다. jdk8이 필요하다.참조문서: https://www.elastic.co/guide/en/logstash/5.4/index.html 1. 설치curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-5.4.0.tar.gz tar -xvf logstash-5.4.0.tar.gz cd logstash-5.4.0/bin 테스트./logstash -e 'input { stdin { } } output { stdout {} }'input을하면 ouput이 출력된다. -e 는 명령창에 직접 코드치는 옵션이다. localhost:9600 에 들어가보면 json이 간단히 떠있다. 종료는 ctrl+d로 한다. {"host":..

현재 날짜기준 최신버전인 5.4를 설치해보자, 5.x부터 많이 바뀌어서 설치에 문제가 있었다. centos 7을 기준으로 한다. jdk8이 필요하다. 참조문서: https://www.elastic.co/guide/en/elasticsearch/reference/5.4/index.html1. 설치5.x부터는 root유저로 돌릴 수 없기때문에, 애초에 useradd를 통해 es_user를 만든 후 진행해야한다.curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.0.tar.gz tar -xvf elasticsearch-5.4.0.tar.gz cd elasticsearch-5.4.0/bin ./elasticsearch..

High-Availability Distributed Object-Oriented Platform깃허브: https://github.com/apache/hadoop 1. 하둡이란?대용량 자료를 처리할 수 있는 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 오픈소스 자바 프레임워크분산 데이터 처리 기술: 큰 용량의 단일 서버보다 여러 서버의 작은 용량을 묶은 컴퓨터 클러스터가 가성비가 더 좋다.하둡의 핵심 철학: 코드(가벼움)를 데이터(무거움)가 있는 곳으로 보낸다.레이드와 하둡레이드시스템은 디스크는 여러개, OS도 1개, CPU1개. 10펙타바이트를 처리할때 OS와 CPU가 죽어난다(매우 느림)하둡은 디스크도 여러개, OS도 여러개, CPU도 여러개. 10펙타바이트를 처리할때 분산처리해버림(..

작년 7월쯤에 리눅스도 잘못하는 내가 하둡을 쓰게되었다 아파치하둡은 자료도 많고, 설치법과 운용법이 널려있으니, 이거말고 클라우데라에서 배포하는 하둡에 대하여 써보겠다. 클라우데라 하둡설치에 대해서 나중에 포스팅할 예정이다 참고로 PPT로 뭐든 정리하는 습관이 있다. 본 글은 그 PPT를 풀어쓰는 거다. PPT가 더 보기좋을거라고 생각한다 먼저 클라우데라를 소개하면- 하둡 기반 빅데이터 벤처기업의 대표적인 선두주자로 야후, 오라클, 출신 등의 사람들에 의해 2008년 설립- 여기서 만든 CDH라는 하둡 배포판이 아파치 파운데이션이 만든 아파치 하둡 배포판보다 훨씬 더 많이 사용됨 하둡은- 대용량 자료를 처리할 수 있는 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 오픈소스 자바 프레임워크- ..