colab 사용 중 메모리가 꽉 차는 경우

colab 메모리가 꽉 차는 경우

 

 코랩을 사용하면 대부분 판다스로 대용량 데이터를 로드할 것으로 예상된다. 파케형태로 많은 데이터를 읽어 올경우 메모리 부족으로 코랩 연결이 끊어지는 경우가 다수 발생된다.

 

colab 메로리 꽉 차는 경우 솔루션

 

 판다스 데이퍼 프레임에서 필요한 데이터를 축출한 다음 아래 코드 처럼 원본 데이터에 해당하는 데이터 프레임을 삭제하면, 메모리가 부족해서 코랩 연결이 중단 되는 현상을 해소 할 수 있다. 가장 좋은 방법은 원본 데이터를 로드 할때 데이터를 형태에 맞게 갖고 오는게 가장 중요하다. 예를 들어 4byte면 해결이되는 int 형 변수를 8byte의 double 형태라고 갖고 오는 경우 메모리 사용이 비효울 적인 건 자명한 사실이다. 큰 팁은 아니지만 작업 하다 보면 매번 발생되는 업무사항이니 꼭 colab 작업 시 메모리 확인이 필요하다.

 아래 내용에서 del 키워드를 사용하면 데이터 프레임을 삭제 할 수 있다. 메모리 가용 영역이 생기고 유료 지불 없이도 최대한 코랩을 활용 할 수 있게 된다.

del [[데이터프레임명]]