Tools & Tips9

• ChatGPT 이슈리포트 모음 ChatGPT가 전 세계에 막대한 영향을 미치고 있으며, 이 기술이 사회 다양한 부문에 끼칠 영향은 아직 불확실합니다. 여러 기관들이 관련 보고서를 발표하고 있으며, 이들 보고서는 ChatGPT의 현황, 저작권 문제, 활용 사례 및 전망, 문화예술 분야에 미칠 영향, 인공지능의 법적 및 윤리적 이슈, 그리고 산업 및 기술적 변화 등 다양한 주제를 다루고 있습니다. 이 자료들은 ChatGPT와 생성 AI의 사회적, 산업적 파급효과를 이해하는 데 중요한 자료가 됩니다. 인공지능 연구원의 관점에서 볼 때, ChatGPT와 같은 초거대 언어 모델들은 기술, 법, 윤리, 문화 등 다양한 영역에서 중요한 영향을 미치고 있습니다. 이러한 영향력은 AI가 사회적 규범과 상호작용하는 방식에서부터, AI가 사람들의 검색엔.. Tools & Tips/인공지능 2024. 1. 28.

• vscode종료 이후에도, 딥러닝 학습 계속해서 진행을 위한 screen 활용과 사용법 윈도우 로컬 pc에서 VS-Code를 활용해 SSH로 딥러닝 서버에 접속하는 경우, VS-Code를 종료하는 순간 모든 학습이 중단되는 사태를 경험해 보셨을것이다. 물론 딥러닝 학습시, optimizer등을 save해 주면 저장된 시점 부터 이어서 다시 학습할 수 있겠지만.. 저장된 시점이 한참 전이라면.. 시간을 날린것이나 다름 없기 때문에, 우리의 소중한 시간과, 컴퓨터의 전력 소모로 인한 이산화 탄소 배출을 줄이기 위해(hugging face의 모델 공유 이유..!) screen을 활용해 주자~!! install : $sudo apt-get install screen screen 생성 : $ screen -S \[screen 이름\] kill, delete screen: $ screen -X -S .. Tools & Tips 2023. 1. 11.

• args* 와 parameter의 차이 와 패킹/언패킹 패킹과 언패킹 : *을 사용해서 패킹된 것은 언패킹 그리고 vice versa (언패킹된것은 패킹) 매개변수와 전달인자의 차이 : 변수 자체는 매개변수이지만, 함수에 입력으도 사용되는 시점에는 전달인자이다. # https://youtu.be/k27DwgJ2KkA?t=14131 def my_func(*args): # args 는 튜플로 패킹되어 있다. # 입력된 a : 1,2,3,4,5는 언패킹된 존재이니 *로 패킹함 print(f'a 에는 {args}가 들어가있다. 타입은 {type(args)}라고 한다') for i in args: print(i) my_func(1,2,3,4,5) # args : arguments (서로간의 약속) # http://taewan.kim/tip/argument_parame.. Tools & Tips/python 2022. 12. 23.

• 

  meta tag 크로링 (feat. python) 다음과 같은 meta 테그의 특정 속성만 추출하고 싶은 경우가 있다 source_id = '25441767' # source_id = '1000623206' rq = requests.get(new_url + source_id, headers=rnd_header) souprq = BeautifulSoup(rq.content, 'html.parser') souprq.select('meta') poi = souprq.select_one('meta[property="og:title"]')['content'] address = souprq.select_one('meta[property="og:description"]')['content'] # '당신을 좋은 곳으로 안내 할 지도' == None print(poi).. Tools & Tips/code_snippets 2022. 12. 16.

• 개발 참고 사이트 모음 (ML, DL, Program Language) 머신러닝 팁과 트릭 치트시트 https://devhints.io/vscode - 코드 cheatsheet Tools & Tips 2022. 12. 2.

• 

  GPU memory 상태 확인 방법 HTML 삽입 미리보기할 수 없는 소스 Tools & Tips/code_snippets 2022. 9. 25.

• 

  jupyter notebook 한글 폰트 적용 방법 # 파이썬 시각화 패키지 불러오기 import matplotlib import matplotlib.pyplot as plt # import matplotlib.font_manager as font_manager from matplotlib import font_manager, rc import platform print(f"platform = {platform.system()}") # OS platform 확인 font_fpath = './malgun.ttf' # 폰트 파일(.ttf) 경로 fontprop = font_manager.FontProperties(fname=font_fpath, size=12) # 폰트 경로 및 사이즈 font_name = font_manager.FontProperties(f.. Tools & Tips/code_snippets 2022. 9. 14.

• 구글 코랩(google colab) 환경인지 아닌지 확인하는 방법 다음은 자연어 모델 학습을 위한 기본 환경 설정이다. 해당 코드를 jupyter notebook 상단에 실행하면 COLAB / PC 환경을 확인, COLAB일 경우 구글드라이브 연동 및 라이브러리 체크와 설치, PC일 경우 라이브러리 체크 및 설치를 진행하며, GPU 가 있는 경우를 가정하여 torch 환경을 설치함 # 자연어 처리 환경 requirements # colab try: import google.colab IN_COLAB = True except: IN_COLAB = False # print(IN_COLAB) if IN_COLAB: # google drive setting from google.colab import drive drive.mount('/content/drive') import.. Tools & Tips/code_snippets 2022. 9. 14.

• 

  판다스(pandas) csv/xlsx 파일 불러오기 list/dict가 문자열로 변환되어 있는 경우 해결 방법 판다스 데이터프레임 컬럼에 리스트형태를 입력하고 저장한 후 다시 읽어오면, 해당 형식은 문자열이다 -> "[1, 2, 3, 4]" 이걸 다시 리스트화 시키는 방법에 대해서 작성하겠다. 우선 리스트가 들어있는 데이터 프레임을 생성해 보겠다. 여기서 열은 '회원 컬럼' 이고 총 3개의 다른 리스트가 들어있는 행이 생성된다. import pandas as pd from ast import literal_eval df = pd.DataFrame({'회원 컬럼':[['홍길동', '10', '남'], ['이정재', '20', '남'], ['하정우', '30', '남']]}) df.info() Dtype 은 object 로 나온다. 행 안에 있는 데이터의 타입을 보면 list 형태인 것을 확인할 수 있다. df['회.. Tools & Tips/Pandas 2022. 9. 12.