안녕하세요 NICU자료 관련 문의드립니다. 보내주신 sample code와 자료를 보고 있는데, 이런 자료의 경우 cleansing을 하는 방법이 시계열 정렬을 새로 하는 방법이 많은데요, 이 cleansing을 매 학습이 시작될때마다 실행되는게 몹시 비효율적인 것 같습니다. 혹시 쓸수 있는 volume data에 이 cleansing된 데이터를 저장하고 불러오는 방식은 가능한지요?

Created by park
추가로 확인해본 결과 시간순 정렬은 안되있어서 직접 정렬 후에 데이터를 활용하셔야 합니다. pandas dataframe에서 sort_values로 하는 경우 train measurement 기준으로 20초 이내로 처리되는 것을 확인하였습니다. 다만, 말씀주신 사항과 같이 시순 정렬 이후에 추가적인 데이터 처리 과정에서 많은 자원과 시간을 소요하는 경우에는 학습데이터를 볼륨에 저장하거나, 학습과정 없이 해당 tensorflow 의 graph를 frozen 한 내용을 저장하여 추가 layer 학습 형식으로 하시면 될 것 같습니다. 확인 후 문제사항이 있으시면 댓글 부탁드리겠습니다. 감사합니다.
학습 데이터의 경우 cleansing data를 압축하여 다시 호출하여도 아마 큰 문제는 없을 듯 합니다. 말씀주신대로 개인적으로 데이터를 학습하는 경우에도 전처리한 데이터를 압축하여 저장한 후에 다시 호출하는 방식으로 진행하고 있습니다. 단, csv 포맷으로 그대로 저장하는 경우에는 볼륨을 많이 차지하므로 압축하여 저장하여 주시기 바랍니다. 추가로 제가 데이터 업로드하였을 시 환자별로 시계열 순 정렬을 진행하여 업로드 한 것으로 기억합니다. 해당 사항은 데이터 전체 확인 후 금주 중에 말씀드리겠습니다. 감사합니다.

NICU cleansing data 저장할 방법 문의드립니다. page is loading…