[Python] 데이터를 빠르게 전처리 하는 방법 - (2) pandas 읽고 쓰기 비교 (pickle, npz, npy, feature, parquet)

다음과 같이 전처리 후, 생성된 데이터 프레임을 저장하는 방식은 여러가지가 있다. 이때 저장되는 타입별로 load하는 시간, 파일 용량이 각각 다르므로 가장 빠른것을 선택해 사용하는것을 추천한다.

 

1. npz, npy로 저장

dataframe에 있는 값들을 가져오고, key=value 값을 넣어준 후, npz형식으로 데이터 저장

import numpy as np

# 저장
np.savez('test.npz',**{name:value for name,value in zip(list(df.columns), df.to_numpy().T)})

# data load (이후, 데이터프레임으로 변경하고 싶은 경우 allow_pickle True로 설정)
data = np.load('test.npz', allow_pickle=True)

# column값들 추출
data.files

# 데이터 프레임 형식으로 변환
df= pd.DataFrame.from_dict({item: data[item] for item in data.files})

# 다른 형식으로 npy 저장
np.save('test.npy', df.to_numpy())

 

2. pickle로 저장

import pickle

# 저장
df.to_pickle('test.pkl')
# 로드
df = pd.read_pickle(".test.pkl")

 

3. feature로 저장

import pandas as pd

# 저장
df.to_feather("df.feather")
# 로드
df = pd.read_feature("df.feather")

 

4. parquet로 저장 (가장 빠른 방식)

import pandas as pd

# 저장
df.to_parquet("df.parquet")
# 로드
df = pd.read_parquet("df.parquet")

 

출처: https://towardsdatascience.com/the-best-format-to-save-pandas-data-414dca023e0d 

The Best Format to Save Pandas Data