전체 글38

• 개발 참고 사이트 모음 (ML, DL, Program Language) 머신러닝 팁과 트릭 치트시트 https://devhints.io/vscode - 코드 cheatsheet Tools & Tips 2022. 12. 2.

• 

  사전학습 언어모델 추가학습 (feat. KoElectra, GCP) Intro. 자연어 처리 일을 하다보면 모델의 파인튜닝(아랫물) 성능을 올리기 위해 데이터 처리, 하이퍼파라미터 튜닝 등 대부분의 작업을 통해 이룰 수 있는 성능에는 한계가 있다. 성능을 1~2퍼 센트라도 더 올리기 위해서는 파인튜닝시 활용하는 사전학습 언어모델(윗물)에 Task의 도메인을 추가 학습하여 성능 향상을 기대해 볼 수 있지만, 왠만한 컴퓨팅 사양으로는 한계가 있다. 파인 튜닝 성능의 향상을 도모하기 위해 사전학습 언어모델에 추가학습을 함으로 써 윗물을 조금 더 맑게 해보고 싶었다. "윗물이 맑아야 아랫물이 맑다" - 한국어 임베딩 (이기창 저) 사전학습 언어모델을 추가학습을 하기 위해서는 GPU성능이 좋을 수록 좋은데 이를 위해서는 Google Cloud Platform(GCP)과 Tenso.. Machine Learning/DL - NLP 2022. 10. 3.

• 꼭 챙겨먹어야 할 영양제 모음 이번 글은 개인맞춤 영양의 시대가 온다 라는 책을 읽고 우리 몸에 꼭 필요해 보이는 영양제를 마인드맵으로 소개를 해보도록 하겠습니다. HTML 삽입 미리보기할 수 없는 소스 "이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다." 다이어그램 life style/health 2022. 10. 2.

• 남들보다 효율적으로 일하는 법 (feat. 너진똑) 다음은 너 진짜 똑똑하다 님의 유튜브 내용을 요약한 내용입니다~! 직접 시청하시고 요약내용은 퍼가시는걸 추천드립니다~😊 https://www.youtube.com/watch?v=758K-5ztV74 https://www.youtube.com/watch?v=758K-5ztV74 내용 요약~! “하기 싫은 일이라도 노예처럼 일을 하지 않는 사람은, 동정이나 공공구호를 받을 자격이 없는 한심한 기생충이다” -데이비드 크레버 (인류학자..) 공부/일을 잘 하려면? → 그래버가 말한 처럼 노예처럼 시간을 갈아넣음 a.k.a 짐승처럼 그래서 키르케고르가 한마디 던짐.. “쉼 없는 활동은 인간을 정신세계에서 추방하고, 본능적으로 늘 움직여야 하는 동물의 범주에 들게 한다” - 쇠렌 키르케고르, - 찰스 다윈(등등) .. life style/wisdom 2022. 9. 30.

• 

  GPU memory 상태 확인 방법 HTML 삽입 미리보기할 수 없는 소스 Tools & Tips/code_snippets 2022. 9. 25.

• 

  Confusion Matrix(혼돈 행렬), Precision(정밀도), Recall(재현률), F1-score and MCC(Matthews Correlation Coefficient) 다음은 User Guide for KOTE: Korean Online Comments Emotions Dataset 논문에서 가져온 성능 지표입니다. 해당 논문은 총 44가지의 감성에 대해 정의하고 입력문장의 감정을 멀티레이블 분류 문제로 다룬 아주 흥미로운 논문입니다. (해당 논문에 대해서도 리뷰하는 시간을 다른 글에서 다뤄보도록 하겠습니다.) 우리는 아래 지표에서 왜 KOTE 논문이 macro avg (0.56)을 해당 분류 문제의 F1 score로 사용하였는지, 그리고 MCC는 왜 지표에 포함 한건지에 대해 알아보는 시간을 갖도록 해보겠습니다. 그러므로 이 글에서는 F1 스코어, MCC, 그리고 이 지표들을 이해하기 위한 confusion matrix(혼동 행렬), precision(정밀도), re.. Machine Learning/DL - basics 2022. 9. 25.

• 

  Got me looking for attention (feat. Self-attention) Introduction A-T-T-E-N-T-I-ON Attention is what I want - 뉴진스 (링크) 음악 들으면서 읽어보세요~! ㅎㅎ Transformer - Attention is all you need 의 셀프 어텐션(self-attention) 메커니즘을 다루는 글 입니다. Attention -> NLP에서 매우 많이 쓰이는데 이제는 컴퓨터 비전분야에도 적용됨 Attention Mechanism (Dzmitry Bahdanau et al. 2014) (엄희상. "어텐션 메커니즘 기반 딥러닝 알고리즘을 이용한 연속적 혈압 추정 연구." 국내석사학위논문 광운대학교 대학원, 2020. 서울) Attention Mechanism의 핵심 원리는 모델이 학습될 때 관심 영역(region of.. Machine Learning/DL - NLP 2022. 9. 19.

• 

  외힙 플레이리스트 추천 "Playlist" 늦여름밤과 인센스 향. 찐하게 즐기는 꿀렁한 감성 바이브 I 외힙 팝송 플레이리스트 Playlist" 답답한 대중교통 말고 리듬 한번 타보시겠어요? I 외힙 알앤비 명곡 플레이리스트 참 무심하지.. 잠을 자야 출근을 하는데 잠을 다 깨워버리는 플레이리스트 뭐지.. 다 듣고 싶지만 참.는.다. 많은 분들이 구독해서 더 많은 플레이리스트들을 뽑아 주셨으면 좋겠다..ㅎㅎ Billi Records 빌리 레코즈 Billi Records 빌리 레코즈 영상 감독으로 일하며, 대관용 스튜디오를 운영하고 있습니다. 평소 제가 즐겨듣는 음악들을 모아 플레이리스트를 만들고 있습니다. 방문해주신 모든 분들 감사드립니다. www.youtube.com 청소하는 영상을 촬영하시는.. 그런데 오래 청소하시려고 일.. life style/Muzik 2022. 9. 14.

• 

  jupyter notebook 한글 폰트 적용 방법 # 파이썬 시각화 패키지 불러오기 import matplotlib import matplotlib.pyplot as plt # import matplotlib.font_manager as font_manager from matplotlib import font_manager, rc import platform print(f"platform = {platform.system()}") # OS platform 확인 font_fpath = './malgun.ttf' # 폰트 파일(.ttf) 경로 fontprop = font_manager.FontProperties(fname=font_fpath, size=12) # 폰트 경로 및 사이즈 font_name = font_manager.FontProperties(f.. Tools & Tips/code_snippets 2022. 9. 14.

• 구글 코랩(google colab) 환경인지 아닌지 확인하는 방법 다음은 자연어 모델 학습을 위한 기본 환경 설정이다. 해당 코드를 jupyter notebook 상단에 실행하면 COLAB / PC 환경을 확인, COLAB일 경우 구글드라이브 연동 및 라이브러리 체크와 설치, PC일 경우 라이브러리 체크 및 설치를 진행하며, GPU 가 있는 경우를 가정하여 torch 환경을 설치함 # 자연어 처리 환경 requirements # colab try: import google.colab IN_COLAB = True except: IN_COLAB = False # print(IN_COLAB) if IN_COLAB: # google drive setting from google.colab import drive drive.mount('/content/drive') import.. Tools & Tips/code_snippets 2022. 9. 14.

• 

  판다스(pandas) csv/xlsx 파일 불러오기 list/dict가 문자열로 변환되어 있는 경우 해결 방법 판다스 데이터프레임 컬럼에 리스트형태를 입력하고 저장한 후 다시 읽어오면, 해당 형식은 문자열이다 -> "[1, 2, 3, 4]" 이걸 다시 리스트화 시키는 방법에 대해서 작성하겠다. 우선 리스트가 들어있는 데이터 프레임을 생성해 보겠다. 여기서 열은 '회원 컬럼' 이고 총 3개의 다른 리스트가 들어있는 행이 생성된다. import pandas as pd from ast import literal_eval df = pd.DataFrame({'회원 컬럼':[['홍길동', '10', '남'], ['이정재', '20', '남'], ['하정우', '30', '남']]}) df.info() Dtype 은 object 로 나온다. 행 안에 있는 데이터의 타입을 보면 list 형태인 것을 확인할 수 있다. df['회.. Tools & Tips/Pandas 2022. 9. 12.

• 

  AI 전문가 로드맵 내 커리어에서 미지의 세계를 개척해나가는 기분으로 인해, 멘토링이 필요한것인지 의문을 느끼던 와중에, 박재호 강사님의 파이썬 학습 로드맵 라이브세션을 듣다가, 나에게 필요한건 로드멥이구나 라는 생각이 들었다. 개시하고 자 하는 로드맵은 독일의 한 AI 전문 기업(본사: Baden-Württemberg Karlsruhe)에서 제공 한 것이다. AI 전문가 로드맵에 따르면, 신입 직원을 AI 전문가로 만들기 위해 이 차트를 만들었지만 커뮤니티를 돕기 위해 공유하였다고 한다. (이정도면 믿고 따라야겠지..) 박재호 강사님에 의하면 본인이 스스로 연구논문을 리드해서 작성할 위치가 되지 않는다면 연구원 보다는 엔지니어의 길을 택하는게 앞으로의 전망에 좋을것이다 라고 하셨다. - 연구 논문 작성은 쉽다 어렵다를 떠.. Machine Learning 2022. 9. 12.