반응형
다음은 자연어 모델 학습을 위한 기본 환경 설정이다.
해당 코드를 jupyter notebook 상단에 실행하면 COLAB / PC 환경을 확인,
COLAB일 경우 구글드라이브 연동 및 라이브러리 체크와 설치,
PC일 경우 라이브러리 체크 및 설치를 진행하며, GPU 가 있는 경우를 가정하여 torch 환경을 설치함
# 자연어 처리 환경 requirements
# colab
try:
import google.colab
IN_COLAB = True
except:
IN_COLAB = False
# print(IN_COLAB)
if IN_COLAB:
# google drive setting
from google.colab import drive
drive.mount('/content/drive')
import os
try:
import transformers, emoji, soynlp, pytorch_lightning
except:
! pip install -U -q transformers emoji soynlp pytorch-lightning snoop wandb sklearn seaborn pandas numpy
# restart runtime
os.kill(os.getpid(), 9)
elif IN_COLAB==False:
print('not colab')
import os
try:
import transformers, emoji, soynlp, pytorch_lightning
except:
! pip install -U -q transformers emoji soynlp pytorch-lightning snoop wandb sklearn seaborn pandas numpy
! pip install -q torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116
반응형
'Tools & Tips > code_snippets' 카테고리의 다른 글
meta tag 크로링 (feat. python) (0) | 2022.12.16 |
---|---|
GPU memory 상태 확인 방법 (0) | 2022.09.25 |
jupyter notebook 한글 폰트 적용 방법 (0) | 2022.09.14 |
댓글