빨간색코딩

High-Availability Distributed Object-Oriented Platform깃허브: https://github.com/apache/hadoop 1. 하둡이란?대용량 자료를 처리할 수 있는 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 오픈소스 자바 프레임워크분산 데이터 처리 기술: 큰 용량의 단일 서버보다 여러 서버의 작은 용량을 묶은 컴퓨터 클러스터가 가성비가 더 좋다.하둡의 핵심 철학: 코드(가벼움)를 데이터(무거움)가 있는 곳으로 보낸다.레이드와 하둡레이드시스템은 디스크는 여러개, OS도 1개, CPU1개. 10펙타바이트를 처리할때 OS와 CPU가 죽어난다(매우 느림)하둡은 디스크도 여러개, OS도 여러개, CPU도 여러개. 10펙타바이트를 처리할때 분산처리해버림(..

작년 7월쯤에 리눅스도 잘못하는 내가 하둡을 쓰게되었다 아파치하둡은 자료도 많고, 설치법과 운용법이 널려있으니, 이거말고 클라우데라에서 배포하는 하둡에 대하여 써보겠다. 클라우데라 하둡설치에 대해서 나중에 포스팅할 예정이다 참고로 PPT로 뭐든 정리하는 습관이 있다. 본 글은 그 PPT를 풀어쓰는 거다. PPT가 더 보기좋을거라고 생각한다 먼저 클라우데라를 소개하면- 하둡 기반 빅데이터 벤처기업의 대표적인 선두주자로 야후, 오라클, 출신 등의 사람들에 의해 2008년 설립- 여기서 만든 CDH라는 하둡 배포판이 아파치 파운데이션이 만든 아파치 하둡 배포판보다 훨씬 더 많이 사용됨 하둡은- 대용량 자료를 처리할 수 있는 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 오픈소스 자바 프레임워크- ..