자드's

Hadoop 데이터 엔지니어를 위해 첫 발을 디뎌본다 Hadoop - 여러대의 컴퓨터 클러스터에서 대용량 데이터를 분산처리하는 프레임워크 HDFS(분산 파일 시스템) = 여러개의 컴퓨터를 하나로 묶어 대용량 데이터를 처리 Map Reduce = 저장된 분산파일을 분산된 서버의 CPU와 메모리를 사용해 분석 Zoo Keeper = 하둡의 서브프로젝트를 관리하는 것 ( 분산 서버 관리자 ) 등으로 구성 되어있음. 분산 리소스 관리 Yarn - 맵리듀스, 하이브, 스파크 등 Yarn에서 작업 실행 데이터수집 kafka ( 실시간 데이터 스트리밍 ) : 데이터 실시간 관리 분산 시스템, 대용량 이벤트 처리 데이터 저장 HBase ( 분산 데이터 베이스 ) : 구글의 Bigtable 기반 비관계형DB, 하둡과 H..

Beautiful Soup 데이터 분석을 하기 위해서 데이터들을 수집해야한다 웹이라는 정보의 바다에서 궁금한 데이터가 있어 분석을 하고싶다면 먼저 데이터를 불러오는 것이 우선 업무이다 데이터들을 불러오는 데에 사용하는 것이 Beautiful Soup이다. 알아보도록 하자 Beautiful Soup 을 이용한 웹스크랩의 기본 먼저 Beautiful Soup 라이브러리를 사용하기 전에 설치가 필요하다 아나콘다 설치가 되어있기 때문에 따로 설치하지 않았지만 만약, 설치가 되어있지 않다면 pip install beautifulsoup4, pip install requests 를 입력해 설치 해주도록 하자 먼저 이용 전에 각각의 방법의 장단점을 살펴보자 스크랩을 원하는 페이지의 소스를 받아오면 처음엔 String..

개요 구글이 2011년에 개발을 시작하여 2015년에 오픈 소스로 공개한 기계학습 라이브러리. 딥러닝과 기계학습 분야를 일반인들도 사용하기 쉽도록 다양한 기능들을 제공한다. 출처 : 나무위키 다양한 Deep Learning Framework가 있지만 TensorFlow 기반으로 Keras 라이브러리를 사용해서 딥러닝 설계를 하는 것을 목표로 하고있다. 역시 아나콘다가 설치되어있다는 기준으로 설치방법을 설명하겠음. 설치 방법 텐서플로 2의 등장으로 설치방법이 간결해졌다. CPU와 GPU를 따로 설치해야했던 1버전과 다르게 pip install tensorflow 만으로 둘 다 설치가 된다. Anaconda 프롬프트에서 설치를 시작하자. 지원 사양 설치에 앞서, Window용 TensorFlow는 비주얼 스..

외관은 별 거 없는데 간판이 조금 특이하다 매장 안 분위기는 사람이 많고 노래 소리도 꽤 커서 북적북적한 분위기이다 메뉴판이 만화? 책? 겉표지들로 되어있음 메뉴들은 검색해보면 나와있기 때문에 생략 딱새우 가스파쵸 전채요리인데 가격이 메인메뉴 같아서 고민하다 시켰는데 양이 꽤 많아서 당황 ㅎ 상큼한데 새우, 캐비어 맛이 더해져서 뭔가 신기한 맛임 첨에 어색했는데 저거 하나도 안남기고 다 먹음 맛있음 담에 가면 또 시킬거임 갈비 스테이크 밑에 깔린게 뭔지 잘 모르겠는데 고기썰어서 같이 먹으면 쫀맛탱임 다른 가니쉬들도 맛있고 그릴향이 굉장히 많이 남 고기도 어지간히 먹고 다녔는데 지금까지 스테이크 이렇게 맛있는곳 처음 봄 가니쉬중에 대파를 레드와인에 절여놓은게 있는데 이게 진짜 맛있음 (또 먹고싶..) 강추..