자드's

Beautiful Soup 데이터 분석을 하기 위해서 데이터들을 수집해야한다 웹이라는 정보의 바다에서 궁금한 데이터가 있어 분석을 하고싶다면 먼저 데이터를 불러오는 것이 우선 업무이다 데이터들을 불러오는 데에 사용하는 것이 Beautiful Soup이다. 알아보도록 하자 Beautiful Soup 을 이용한 웹스크랩의 기본 먼저 Beautiful Soup 라이브러리를 사용하기 전에 설치가 필요하다 아나콘다 설치가 되어있기 때문에 따로 설치하지 않았지만 만약, 설치가 되어있지 않다면 pip install beautifulsoup4, pip install requests 를 입력해 설치 해주도록 하자 먼저 이용 전에 각각의 방법의 장단점을 살펴보자 스크랩을 원하는 페이지의 소스를 받아오면 처음엔 String..

DataFrame : File input / output 작성한 DataFrame을 파일로 저장하거나 작성된 파일을 불러와서 DataFrame으로 저장하는 일은 데이터 분석에서 필수 업무 중의 하나이다 오늘은 몇몇 형태의 파일을 불러오거나 저장하는 방법을 알아보자 CSV(.csv)파일 불러오기 : read_csv( ) pandas.read_csv( ' 경로 ' ) 형식으로 사용이 가능하다 편의상 pandas를 pd로 축약해서 쓰고있다 import pandas as pd from pandas.tests.frame.methods.test_sort_values import ascending df = pd.read_csv("../testdata/ex1.csv") print(df,type(df)) print() ..

Pandas의 기능들 이번 글은 Pandas의 기능들에 대해서 몇가지 알아보려고 한다 먼저 Series와 DataFrame의 재구조 및 기술적 통계와 관련된 함수 DataFrame의 범주화 및 병합을 알아보자 Series 와 DataFrame의 재구조 Series의 재색인, 재배치 index를 재배치 하면 그에 맞는 value도 재배치가 된다 reindex( )를 하면서 index의 갯수를 늘려주면 value에는 NaN이 채워진다 import pandas as pd import numpy as np # Series의 재 색인 data = pd.Series([1,3,2], index=(1,4,2)) # index는 list, tuple, set 가능 # reindex()로 순서를 재 배치 data2 = d..

Pandas란? 파이썬 초기 설치시에 아나콘다를 설치했기 때문에 Pandas 라이브러리가 설치되어있었다 Pandas의 특징으로는 고수준의 자료구조(Series, DataFrame)와 빠르고 쉬운 데이터 분석용 자료구조 및 함수를 제공 NumPy의 고성능 배열 계산 기능과 스프레드시트 SQL과 같은 RDMBS의 유연한 데이터 조작 기능 쉽게 데이터를 재배치하여 집계 등 처리의 편리함 등등이다. Series Series 객체의 특징을 몇가지 알아보자 1. 순서가 있는 Data type만 가능하다. #먼저 pandas 라이브러리에 있는 Series 객체 사용을 위해 import를 한다 import pandas as pd from pandas import Series # Series는 일련의 객체를 담을 수 있..