no

np.select나 np.where의 조건을 사용하는 것보다 더 복잡한 연산을 수행해야하는 경우 병렬처리를 통해 빠르게 연산할 수 있다. 1. groupby할 필요없이 apply만 적용하는 경우 from multiprocessing import Pool import multiprocessing print('cpu counts:%d' % multiprocessing.cpu_count()) # cpu 최대 가용 수 확인 def parallelize_dataframe(df, func, n_cores = 2): df_split = np.array_split(n_cores) # n_cores의 개수만큼 df를 나눔 pool = Pool(n_cores) # pool을 core개수만큼 생성 df = pd.concat..

1. np.where() condition이 2개인 경우 사용 (apply보다 속도가 훨씬 빠름), 이때, values를 쓸 경우 좀 더 speed up 가능(computation이 handle할 대상이 훨씬 줄어들기 때문) # fraud_reported가 'Y'인 경우 0, 아닌 경우 1 df['fraud_reported'] = np.where(df['fraud_reported'].values=='Y', 0, 1) 2. np.select() 한개의 column에 대해 적용할 condition이 2개보다 더 많을 경우 사용 conditions = [ df['auto_make'].str.startswith('A'), df['auto_make'].isin(['Saab', 'Mercedes', 'Dodge']..

다음과 같이 전처리 후, 생성된 데이터 프레임을 저장하는 방식은 여러가지가 있다. 이때 저장되는 타입별로 load하는 시간, 파일 용량이 각각 다르므로 가장 빠른것을 선택해 사용하는것을 추천한다. 1. npz, npy로 저장 dataframe에 있는 값들을 가져오고, key=value 값을 넣어준 후, npz형식으로 데이터 저장 import numpy as np # 저장 np.savez('test.npz',**{name:value for name,value in zip(list(df.columns), df.to_numpy().T)}) # data load (이후, 데이터프레임으로 변경하고 싶은 경우 allow_pickle True로 설정) data = np.load('test.npz', allow_pic..

pandas에서 메모리 감소시키는 방법 1. 데이터 단위 줄이기 (dataframe은 기본적으로 64bit이므로 32bit 혹은 16bit로 줄여주기) bit의 범위를 바꿔주면 데이터에 따라 데이터의 정보를 잃을 수도 있음. 유의하여 진행 data[{column_name}] = data[{column_name}].astype(np.int32) 2. dataframe을 numpy로 접근해서 사용 from tqdm import tqdm # 모든 행값 출력 for rows in tqdm(df.to_numpy(), total=len(df), position=0, leave=True): print(rows)

dataclass 는 파이썬 3.7버전에 추가된 기능이다. https://docs.python.org/3.7/library/dataclasses.html 사용목적: 편리성과 직관성을 제공해준다. 어떠한 편리성과 직관성인지에 대해 아래 코드 예제들을 통해 살펴보도록 하자. #dataclass 를 사용하지 않았을 경우 class Book: def __init__(self, name: str, weight: float, shelf_id:int = 0): self.name = name self.weight = weight self.shelf_id = shelf_id test = Book('I need Python',1.5,1267) print(test) >>> #@dataclass를 사용했을 경우 from da..