본문 바로가기

Programming/Python

(8)
[Jupyter Notebook] Jupyter Theme 설치하기 주피터 노트북을 사용하다 보면 화면 가독성이 떨어지거나 오래 보고 있을 경우 피로도가 상승되어 CSS 변경을 통해 커스텀 화면을 사용하시는 경우가 많습니다. 이번 포스팅에서는 CSS 변경없이 간단한 설치로 테마를 적용해 보는 방법을 확인해 보도록 하겠습니다. Jupyter Theme 설치 주피터 노트북 터미널에서 pip install 을 사용합니다. # install jupyterthemes pip install jupyterthemes # upgrade to latest version pip install --upgrade jupyterthemes Jupyter Theme 리스트 보기 리스트 보기 명령어를 실행하면 아래와 같이 리스트 확인이 가능합니다. jt -l Available Themes: che..
[pandas] 결손데이터 처리함수 사용하기 pandas 데이터 결손처리 방법¶ 이번 포스팅에서는 판다스를 활용한 데이터 결손처리에 대해 알아보도록 하겠습니다. 판다스에서 제공하는 isna() , fillna() 함수를 활용하면 간단하게 데이터 결손 처리가 가능합니다. 판다스를 임포트한 후 기존 포스팅에서 활용했던 타이타닉 데이를 이용해 데이터를 출력해 보겠습니다. In [12]: import pandas as pd titanic_df = pd.read_csv('titanic_train.csv') titanic_df.head(10) Out[12]: PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked 0 1 0 3 Braund, Mr. Owen Harris m..
Pandas 데이터 핸들링 방법 살펴보기 안녕하세요 남산도서관 입니다. 이번포스팅에서는 판다스를 활용한 DataFrame 처리에 대해 알아 보려고 합니다. 예제 실행을 위해서 아래링크에서 "titanic_train.csv" 파일을 다운받아 사용했습니다. https://www.kaggle.com/tedllh/titanic-train 데이터 핸들링 - 판다스 우선 판다스에 대해 간단히 알아 보겠습니다. 월스트리트 금융회사의 분석전무가 웨스매티키(Wes McKinney)는 회사의 분석용 데이터 핸들링 툴이 마음에 들지 않아 판다스를 개발하게 되었다고 합니다. 판다스는 파이썬에서 데이터 처리에 가장 인기있는 라이브러리 중 하나로 대부분의 데이터 세트는 2차원 데이터인 행과 열로 구성됩니다. 파이썬의 리스트, 컬렉션, 넘파이 등의 내부 데이터 뿐만 아니..
pandas 로 엑셀 파일 읽어올 때 한글이 깨질 경우, 한글 폰트 세팅하기 안녕하세요. 명동섞어찌개 입니다. 오늘은 파이썬에서 pandas 를 사용해 엑셀을 읽어오고, matplotlib 를 사용해서 그래프를 그릴 때 한글이 깨지는 문제 해결 방법을 가이드 하려고 합니다. (참고로 저는 Mac 에서 사용했습니다. ) 그냥 matplotlib 를 사용해서 데이터를 읽어오면 아래와 같이 보입니다. import pandas as pd import numpy as np import matplotlib.pyplot as plt data = pd.read_excel('../../issues_en.xlsx') . . . (이하 코드 생략) 이 문제를 해결하려고 여기 저기 블로그에 나온 방법들을 검색해서 따라해봤지만 한번에 해결되지는 않았습니다 ㅠ 제가 해결한 방법도 완벽하지는 않겠지만 공유..
[Numpy] ndarray 인덱싱, 정렬 기능 사용하기 지난 포스팅 에서는 ndarray 를 활용한 기본적인 데이터 변황에 대해서 살펴 보았습니다. 2020/05/10 - [Programming/Python] - [Numpy] ndarray 기본 및 데이터 타입 변환하기 이번 포스팅에서는 ndarray 를 통한 행현환 , 인덱싱, 정렬 기능을 사용해 보고자 합니다. 인덱싱 인덱싱 기능으로 살펴볼 내용을 아래와 같습니다. 특정한 데이터만 추출 : 인덱스 값을 지정하면 해당 위치의 데이터가 반환 슬라이싱 : 연속된 인덱스상의 ndarray 를 추출 팬시 인덱싱 : 일정한 인덱싱 집합을 ndarray 형태로 지정해 해당위치 데이터의 ndarray를 반환 불린 인덱싱 : 특정 조건에 해당하는지 여부인 true/false값 인덱싱 집합을 기반으로 true 에 해당하는..
[Numpy] ndarray 기본 및 데이터 타입 변환하기 이번 포스팅에서는 Numpy 의 ndarray 함수에 대해서 간단하게 알아보고자 합니다. Numpy 란? NumPy는 행렬이나 일반적으로 대규모 다차원 배열을 쉽게 처리 할 수 있도록 지원하는 파이썬의 라이브러리이다. NumPy는 데이터 구조 외에도 수치 계산을 위해 효율적으로 구현된 기능을 제공합니다 numpy를 사용을 위해 우선 import 해준 후 np 로 지정합니다. import numpy as np ndarray 란? ndarray 는 numpy 를 통해 생성되는 n차원 배열 객체 입니다. 여기서는 간단하게 배열을 생성하고 데이터를 확인해 보는 시간을 갖도록 하겠습니다 . 배열생성 array 함수를 통해 배열을 생성하고 배열의 타입과 형태를 확인해 보며 다음과 같이 1차원 함수가 생성 됩니다. ..
파이썬을 이용하여 웹 크롤러 만들기 #2 - BeautifulSoup4을 활용하여 크롤링하기 안녕하세요. 남산돈가스입니다. 지난 포스팅에 이어 오늘은 두번째 순서인 BeautifulSoup4를 활용하여 웹 크롤링을 해보도록 하겠습니다. 우선, BeautifulSoup 이라는 것이 어떤 건지 간단히 말씀드리자면, html코드를 python이라는 언어가 이해할 수 있는 객체 구조로 변환해주는 대표적인 html Parsing 라이브러리입니다. 웹크롤링을 한다면 필수적인 라이브러리로 파이썬 웹크롤링 서적에서도 소개될 만큼 검증 된 라이브러리입니다. 이번 포스팅에선 대표적으로 requests 와 BeautifulSoup4 라이브러리를 이용해서 크롤링을 해보려고 합니다. 먼저 위에서 말씀드린 라이브러리들을 install 해보겠습니다. 터미널에 pip install beautifulsoup4 를 입력하여 b..
파이썬을 이용하여 웹 크롤러 만들기 #1 - Python 설치 및 환경 설정 안녕하세요. 남산돈가스 입니다. 얼마 전 한국정보기술연구원 재직자교육을 통해 "파이썬으로 웹 크롤러 만들기" 교육을 수강했습니다. 내용이 어렵지 않아 누구든지 쉽게 따라할 수 있어서 저는 내용들을 상기 시킬 겸, 내용을 소개드릴 겸 해서 이 포스팅을 시작하게 되었습니다. 이번 포스팅은 2회에 걸쳐서 진행될 예정이며, 회차 별 내용은 다음과 같습니다. #1 - Python 설치 및 환경 설정#2 - BeautifulSoup4을 활용하여 크롤링하기 그렇다면 1회차인 Python 설치 및 환경 설정 부터 시작하도록 하겠습니다. 현재 저는 맥북을 사용 중이므로, mac OS 기준으로 설명 드리겠습니다. 먼저 Python을 설치하기 전 mac os 에서 패키지 관리를 할 수 있는 프로그램으로 "homebrew"라..