Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 강남데이트
- pandas
- findall()
- 녘
- kafka설치
- read_csv
- topic생성
- TensorFlow
- find()
- to_html
- 갈비스테이크
- read_excel
- to_csv
- 코딩생활
- select_one()
- keras
- select_related()
- webscrap
- 강남 녘
- read_table
- iloc
- find_all()
- to_excel
- to_json
- pivot_table
- Join
- 웹스크랩
- groupby
- DataFrame
- read_fwf
Archives
- Today
- Total
목록프로그래밍/KAFKA (1)
자드's
하둡과 카프카, windows에서 카프카 설치 및 topic 생성
Hadoop 데이터 엔지니어를 위해 첫 발을 디뎌본다 Hadoop - 여러대의 컴퓨터 클러스터에서 대용량 데이터를 분산처리하는 프레임워크 HDFS(분산 파일 시스템) = 여러개의 컴퓨터를 하나로 묶어 대용량 데이터를 처리 Map Reduce = 저장된 분산파일을 분산된 서버의 CPU와 메모리를 사용해 분석 Zoo Keeper = 하둡의 서브프로젝트를 관리하는 것 ( 분산 서버 관리자 ) 등으로 구성 되어있음. 분산 리소스 관리 Yarn - 맵리듀스, 하이브, 스파크 등 Yarn에서 작업 실행 데이터수집 kafka ( 실시간 데이터 스트리밍 ) : 데이터 실시간 관리 분산 시스템, 대용량 이벤트 처리 데이터 저장 HBase ( 분산 데이터 베이스 ) : 구글의 Bigtable 기반 비관계형DB, 하둡과 H..
프로그래밍/KAFKA
2023. 1. 12. 18:25