자드's

Hadoop 데이터 엔지니어를 위해 첫 발을 디뎌본다 Hadoop - 여러대의 컴퓨터 클러스터에서 대용량 데이터를 분산처리하는 프레임워크 HDFS(분산 파일 시스템) = 여러개의 컴퓨터를 하나로 묶어 대용량 데이터를 처리 Map Reduce = 저장된 분산파일을 분산된 서버의 CPU와 메모리를 사용해 분석 Zoo Keeper = 하둡의 서브프로젝트를 관리하는 것 ( 분산 서버 관리자 ) 등으로 구성 되어있음. 분산 리소스 관리 Yarn - 맵리듀스, 하이브, 스파크 등 Yarn에서 작업 실행 데이터수집 kafka ( 실시간 데이터 스트리밍 ) : 데이터 실시간 관리 분산 시스템, 대용량 이벤트 처리 데이터 저장 HBase ( 분산 데이터 베이스 ) : 구글의 Bigtable 기반 비관계형DB, 하둡과 H..