티스토리

데이터 속으로 퐁

검색하기

블로그 홈

데이터 속으로 퐁

datapong.tistory.com/m

jadePark 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

[pandas] 검사할 키워드 여러 개 , list + any any() : 하나라도 True인게 있으면 True 반환 all() : 모두 True 여야 True 반환 lines_list = ['apple is red', 'banana is yellow', 'cherry is red', 'durian is spiky'] # "red", "banana", or "cherry" 등 제외하고 싶은 리스트로 만들고 exclude_words = ["red", "banana", "cherry"] # lines_list 의 원소인 line에 exclude_words의 원소인 word가 있는지 검사하고 # 하나라도 걸리면 제외시키도록 filtered_lines = [line for line in lines_list if not any(word in line for word in .. 공감수 0 댓글수 0 2023. 3. 21.
특정 연도 이전,이후 인덱스 찾는 방법 시작 일자가 2021년 이전, 종료 일자가 2022년 이후 데이터를 집계하고자할 때, 타겟 데이터가 np.array 형태이면 아래와 같은 코드(np.where 에 조건 넣기)로 인덱스를 찾을 수 있다. import numpy as np target = np.array([19868,16659,15513,19938,17800]) A = np.array(['2020-01-01', '2020-02-01', '2022-03-01', '2023-04-01'], dtype='datetime64') B = np.array(['2023-01-01', '2023-02-01', '2023-03-01', '2024-04-01'], dtype='datetime64') indices = np.where((A < np.dateti.. 공감수 0 댓글수 0 2023. 3. 14.
[pandas] 아이디 기준으로 최근 거래 항목 3개 뽑고 싶을 때 groupby ,tail 데이터에 id, 날짜, 거래 항목이 있을 때 동일한 id의 최근 거래 데이터 3건씩 뽑고 싶을 경우, pandas에서는 groupby 와 tail을 하면 된다. df.groupby('id').tail(3) groupby 한 결과를 보고 싶을 때는 print 함수를 apply 하면 된다. df.groupby('id').apply(print) 공감수 0 댓글수 0 2022. 11. 25.
[pandas], 콤마 제외하고 특수 문자 제거 ( 데이터프레임, replace, 정규표현식) 정규 표현식 이용하면 됨 ^ : not 제외한다 \u : 유니코드 AC00 - D7A3 : 유니코드 한글 0-9 : 숫자 a-zA-z: 영어 (대소문자) \s : 공백 (Space,Tab) 한글, 영어, 숫자, 콤마 이외 표현은 아래와 같음 . [^,\uAC00-\uD7A30-9a-zA-Z\s] sample['keyword'].str.replace(r'[^,\uAC00-\uD7A30-9a-zA-Z\s]', '', regex=True) 한글,영어,숫자, 콤마 (,) , 닷 (.) 이외의 특수문자를 제거하고 싶으면 아래와 같이 [^.,\uAC00-\uD7A30-9a-zA-Z\s] https://stackoverflow.com/questions/39672094/how-to-remove-all-special-c.. 공감수 0 댓글수 0 2022. 11. 11.
[pandas]데이터프레임 행 단위 연산 (apply, 조건에 맞게 처리,예외 처리) 데이터 프레임 A,B,C가 있음. C가 마스터 테이블 C의 'p' 열, 'm' 열의 각 행의 값이 조건 A,B 데이터 프레임의 열 이름이 C의 p열과 m열의 각 값과 일치할 경우 연산을 해야함 . 이럴때는 apply함수를 쓰면 됨. apply에서 lambda 함수로 쓰기엔 함수가 길다 싶으면 위에 함수를 정의해주자. 정의해준 함수 안에서 예외 처리 구문을 넣으면 해결! def cond_mul_np(p,m): try: np_p = A.loc[:,[p]].to_numpy() np_m = B.loc[:,[m]].to_numpy() mul = np_p * np_m result = mul.sum() except: # A or B 에서 C의 조건에 해당하는 열이 없는 경우 result = None return re.. 공감수 0 댓글수 0 2022. 11. 10.
[pandas] read_csv 화폐 단위 열 콤마(,) 제외하고 숫자로 읽어오기 pandas.read_csv pandas.read_csv(filepath_or_buffer, sep=_NoDefault.no_default,delimiter=None,header='infer', names=_NoDefault.no_default,index_col=None,usecols=None,squeeze=None,prefix=_NoDefault.no_default, mangle_dupe_cols=True,dtype=None,engine=None,converters=None,true_values=None,false_values=None, skipinitialspace=False,skiprows=None,skipfooter=0,nrows=None,na_values=None,keep_default_na=T.. 공감수 1 댓글수 0 2022. 10. 14.
[pandas] read_csv 필요한 열만 읽기 usecols pandas.read_csv pandas.read_csv(filepath_or_buffer, sep=_NoDefault.no_default,delimiter=None,header='infer', names=_NoDefault.no_default,index_col=None,usecols=None,squeeze=None,prefix=_NoDefault.no_default, mangle_dupe_cols=True,dtype=None,engine=None,converters=None,true_values=None,false_values=None, skipinitialspace=False,skiprows=None,skipfooter=0,nrows=None,na_values=None,keep_default_na=T.. 공감수 0 댓글수 0 2022. 10. 13.
[pandas] replace 로 값 한꺼번에 바꾸기 ( replace with dictionary, regex) 전처리해야할 열에 바꿀 단어들을 맵핑해 한번에 replace하고 싶을 경우 아래와 같은 순서로 코드 작성하면 됨 1. 바꿀 단어들을 {'before' : 'after' }와 같이 딕셔너리 형태로 작성 2. replace함수에 {"바꿀열이름": 바꿀단어딕셔너리} 를 인자로 작성 print('변경 전 : ',carc['Doors'].unique()) # 변경 전 : ['04-May' '02-Mar' '>5'] replace_dict = {"04-May" : '04-05', "02-Mar" : '02-03'} carc = carc.replace({"Doors": replace_dict}) print('변경 후 : ',carc['Doors'].unique()) # 변경 후 : ['04-05' '02-03' '>.. 공감수 1 댓글수 0 2022. 8. 10.
윈도우 python 가상환경에 kaggle api 설치 가상환경 만들기 (아나콘다가 설치되있다면, 가상환경 만들기 : conda create -n mykaggle_env python=3.8.8 가상환경 활성화 : conda activate mykaggle_env) pip install kaggle kaggle Profile > Account 탭에서 'Create New API Token' 버튼 눌러 api token 생성하기 C:\Users\본인PC메인계정\.kaggle 폴더 안에 3번과정에서 다운받아진 kaggel.json 파일 이동시키기 (또는 C:\Users\.kaggle 폴더 일 수도 있음) 이후 터미널에서 kaggle --version 을 입력하면 아래와 같은 결과가 나옴 Kaggle API 1.5.12 공감수 0 댓글수 0 2022. 7. 15.
[pandas] pandas profiling on Google Colab (구글코랩에서 판다스 프로파일링 해보기) 1. 판다스 프로파일링 설치하기 ! pip install https://github.com/pandas-profiling/pandas-profiling/archive/master.zip 2. 런타임 다시 실행 3. 라이브러리 import import numpy as np import pandas as pd try: from pandas_profiling import ProfileReport except : print('reinstall pandas profiling') !pip install https://github.com/pandas-profiling/pandas-profiling/archive/master.zip from pandas_profiling import ProfileReport 4. 프로.. 공감수 0 댓글수 0 2022. 7. 14.
[pandas] sort_values 이용해 열 기준 정렬 data = pd.read_csv('/content/drive/Shared drives/데이터분석및활용/Challenger_Ranked_Games.csv') print('data 타입 : ',type(data)) print('열 이름 : \n',data.columns) 데이터 타입과, 열이름을 확인해봐야한다. 그리고 열이름을 프린트해두면 복붙하기 편하다. 게임 지속 시간(열이름 'gameDuraton' ) 을 기준으로 오름차순 정렬해보고 싶다면, forTimeDf1 = data.sort_values(by=['gameDuraton'],axis=0) forTimeDf1 위와 같이 입력하면 된다. 공감수 0 댓글수 0 2021. 2. 16.
구글 코랩에서 데이터 분석 (데이터분석 수업 복습 01) 20-2학기에 친구와 데이터분석 수업을 복습하고 정리하기 위해 글을 작성합니다. 더 이상 미루다가 다시 학기가 시작하고 복습을 못할 것 같은 불안감이 밀려와서...내용이 충실하지 못할 수 있습니다. 모든 수업을 비대면으로 진행하고 마찬가지로 팀플도 비대면으로 진행했는데요. 수업 특성상 그렇게 힘들지는 않았습니다. 간혹 구글 코랩 쓰면서 짜증 나서 만나서 후루룩 하고 싶다는 생각이 들기는했지만요. 일단 데이터 분석을 하기위해서 데이터셋을 캐글에서 찾아 헤맸고 최종적으로 LOL 데이터셋을 분석하기로 결정했습니다. https://www.kaggle.com/gyejr95/league-of-legends-challenger-ranked-games2020 이 데이터셋을 공유 드라이브의 팀플 폴더에 저장했고 아래와 .. 공감수 0 댓글수 0 2021. 2. 16.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.