전체 글38

• 

  Apple Vision Pro 요약 VR 헤드셋이 아닌 Spatial Computing 헤드셋으로 정의함 즉 공간 컴퓨팅을 할 수 있는 고급 디바이스 특징 비전 프로 (600~650g) / 메타 퀘스트 프로는 (722g) - 전면, 후면 디스플레이 - 열 식히는 Fan - 스피커 - 센서(카메라 등등) - 배터리는 선으로 탈부착 하며, 주머니에 넣고 사용 (배터리 발열 걱정 없음, 무게 분산) 2~4시간 사용 가능 - 배터리 연결 동안은 항상 켜짐 또는 절전 모드임 - 렌즈는 안경 도수에 맞게 커스터마이징 가능 사용법 손가락 집게모양으로 꼬집으면서 클릭함 디바이스가 적외선으로 눈을 추적하며 손가락 입력을 받음 즉, 키보드나 x(종료) 버튼 등을 누르려면 해당 버튼을 바라보고 손가락으로 꼬집어야 입력이 되는 방식 혼합현실 모드(패스스루)에서.. life style 2024. 2. 3.

• 

  뭐든 제대로 이해하는 방법 오늘은 학습과 인생에 관련된 몇 가지 흥미로운 주제들을 살펴보고자 합니다. 우리 모두가 더 나은 학습자가 되기 위해 노력하고 있으니까요! 빠르고 효율적인 학습 방법 - 파인만 학습법 우리 모두는 더 많은 것을 더 빨리 배우고 싶어 합니다. 그런데 근육을 키우기 위해 스테로이드를 사용하는 것처럼, 학습에도 '마법의 해결책'이 있을까요? 물론 학습에 스테로이드 같은 것은 없지만, 효과적인 방법이 있습니다. 바로 '파인만 학습법'이죠. 이 방법은 'Practice (연습), Active Recall (능동적 복습), Feedback (피드백), Interleave (교차학습)' 의 네 가지 요소를 기반으로 하며, 이를 통해 집중력과 이해도를 높일 수 있습니다. 새로운 개념을 배우는 것이 재미있어질 뿐만 아니라.. 자기계발 2024. 1. 28.

• 

  서른의 조급함 조급함이라는 감정..! 요즘같은 시대에 어떻게 조급해지지 않을수가 있을까? SNS에 너도나도 부자인 요즘, 조급함이라는 감정을 우리 모두에게 입력하는 시대는 우리 모두에게 잠재적인 구매욕, 소유욕을 내재화 시킨다..! 중소기업 2년후 경력직으로 대기업 2년차로 이직하여 대기업 3년차 사원인 요즘 나의 조급함은 하루 빨리 대리 달아보는것, 돈 많이 모아보는것, 나도 빨리 결혼해서 화목한 가정을 일궈보는 것 등등의 욕구가 있는데~ 이런 조급함의 끝은 뭐일까? 생각해보면, 궁극적으로 삶의 여유를 찾아 쉬고싶을때 쉬고, 일하고 싶을때 일하고 누구나 원하는 일상을 원해서이지 않을까? 하지만 이러한 것들이 또 너무 빨리 이루어지면, 인생이 재미없어질까? 라는 걱정도 잠시.. 나는 최대한 빨리 이루기 위해 내 인생 .. life style/의식의 흐름 2024. 1. 28.

• ChatGPT 이슈리포트 모음 ChatGPT가 전 세계에 막대한 영향을 미치고 있으며, 이 기술이 사회 다양한 부문에 끼칠 영향은 아직 불확실합니다. 여러 기관들이 관련 보고서를 발표하고 있으며, 이들 보고서는 ChatGPT의 현황, 저작권 문제, 활용 사례 및 전망, 문화예술 분야에 미칠 영향, 인공지능의 법적 및 윤리적 이슈, 그리고 산업 및 기술적 변화 등 다양한 주제를 다루고 있습니다. 이 자료들은 ChatGPT와 생성 AI의 사회적, 산업적 파급효과를 이해하는 데 중요한 자료가 됩니다. 인공지능 연구원의 관점에서 볼 때, ChatGPT와 같은 초거대 언어 모델들은 기술, 법, 윤리, 문화 등 다양한 영역에서 중요한 영향을 미치고 있습니다. 이러한 영향력은 AI가 사회적 규범과 상호작용하는 방식에서부터, AI가 사람들의 검색엔.. Tools & Tips/인공지능 2024. 1. 28.

• 

  "처음부터 대규모 언어 모델(LLM) 만들기" 안녕하세요, 여러분! 오늘은 제가 최근 발견한 흥미로운 자료를 공유하고자 합니다. 바로 "처음부터 대규모 언어 모델 만들기(Build a Large Language Model from Scratch)"라는 책인데요, 이 책은 LLM(Large Language Models)에 대한 깊이 있는 이해와 실제 구현 방법을 단계별로 안내해줍니다. GPT와 유사한 디코더 스타일의 모델을 구축하는 데 집중하는 책에 대한 이야기인데요, 이 책은 코딩, 사전 훈련, 미세 조정과정을 거쳐 모델을 구축하는 과정을 단계별로 설명합니다. 이 책의 접근 방식은 GPT와 같은 모델을 처음부터 끝까지 직접 구축하고자 하는 분들에게 매우 유용할 것입니다. 특히, 모델 구축 과정에서 발생하는 다양한 문제들을 실제로 해결해보면서, 이론과.. Machine Learning/DL - NLP 2024. 1. 28.

• 

  ChatGPT 창의성과 정확도를 높이는 3가지 방법으로 GPT를 커스터마이징 하세요! 나 : 프롬프트 잘 입력하기 위한 방법 알려줘 GPT → 프롬프트를 잘 [입력, 작성, 쓰기, ... ⬅️ GPT가 답할 후보군]... 위해서는 ~~~ Temperature (온도) GPT가 다음 단어를 말하는 데에는 여러가지 잠재적인 후보군이 있음 후보군 각각의 순위가 매겨져 있을텐데, 설정을 1에 가깝게 할 수록 발생할 수 있는 확률을 점점 더 비슷하게 가져가겠다 라고 설정하는것임 → 창의성을 더 올리고 싶다면 1에 가깝게가면 여러가지 우리가 상상하지 못한 단어들이 후보군으로 지정되어 답변하게 되는것임 그치만 너무 말도 안되는 이야기를 한다면 Temp를 낮게 가져가면 됨 0에 가깝게, 이건 대화해보면서 감을 잡으면 됨 Temperature는 온도가 높을 수록 (최대 1) 후보군 각각의 단어 모두에 대.. Machine Learning/DL - NLP 2024. 1. 27.

• 

  안 보는 강의만 쌓인 모두가 가질 공부법 = JIT Learning JIT : Just In Time 이라는 뜻입니다. 주로 생산시스템에 사용되는 용어로 고객의 주문이 들어오면 바로 생산되도록 하여 재고관리의 효율을 제고합니다. 기술 발전으로 인한 공부 부담 기술 발전의 속도가 빨라지면서, 많은 사람들이 끊임없이 새로운 기술을 배워야 한다는 압박감을 느끼고 있습니다. 인프런과 같은 학습 플랫폼들은 다양한 콘텐츠를 제공하지만, 그로 인해 선택의 폭이 넓어지고, 어떤 기술을 배워야 할지 결정하기 어렵게 만들 수 있습니다. FOMO (Fear of Missing Out)는 학습에 상당히 부정적인 영향을 미칠 수 있습니다. 이 현상은 끊임없이 새로운 기술과 정보에 대한 두려움 때문에 학습의 방향을 자주 바꾸게 만들고, 결과적으로 어떤 분야에서도 깊이 있는 지식을 쌓지 못하는 문.. 자기계발 2024. 1. 27.

• 

  거대한 허상, 그건 "삶의 목표" '목표없는 치열'과 '목표의식 없는 치열' 의 차이? '계획'은 그럴듯하지만 언제나 전날 밤을 새우게 되는 시험 공부에 대해, 어떤 목표 없는 치열의 사례를 소개합니다. 인생의 목표를 찾기 위해 헤매었지만, '인생의 목표는 불분명하며, 인생 그 자체가 가치 있는 것'이라고 강조합니다. '목표'라는 개념 대신 몰입과 즐거움을 위해 행동하는 내적 동기와 외적 동기를 구분하여 설명합니다. 목표 없는 치열은 행위 자체로부터 느껴지는 몰입과 즐거움을 중시하고, 외적 동기는 행위와 동떨어진 목표를 추구합니다. 따라서 목표의식 없는 치열과는 차이가 있으며, 이는 내적 동기를 중시하는 치열의 특징입니다. 먹방에서 목표가 중요한 이유는? '밥을 전념해서 먹자.'보다, '목표'가 있는 먹방이 더 치열하게 만든다고 해요. .. 자기계발 2024. 1. 27.

• 

  미루는 사람들의 뇌구조 및 극복하는 법 프로크라스티네이션을 극복하는 방법은? 프로크라스티네이션의 3가지 유형은 타면성(기울기), 산만함, 만성 지연이에요. 타면성은 작업을 시작하지 못하게 막아요. 산만함은 작업 중에 집중력을 흐트리게 해요. 만성 지연은 계속해서 진전을 방해하고 연기해요. 프로크라스티네이션은 접근-회피 갈등에 불과하다는 것을 이해했어요. 극복하기 위한 도구는 업무에 접근하고자 하는 욕구를 강화하여 회피하는 경향을 압도하거나, 기존의 업무에 접근하고자 하는 욕구를 부드럽게 이어지게 만들면서 회피하는 경향을 완화시키는 거예요. 이를 위한 도구로는 극도로 명확한 목표로 주목을 고정하는 '레이저 주의'가 있어요. 명확한 목표는 '마라톤을 뛰기', '디즈니랜드에서 아이들 데리고 가기', '은퇴 준비하기'와 같은 전반적인 결과를 목표로 .. 자기계발 2024. 1. 27.

• 

  PEFT 기법 (LoRA, IA3) PEFT (Parameter Effcient Fine-Tuning) LLM 모델 튜닝, 하나의 GPU로 가능할까? Parameter Efficient Fine-Tuning(PEFT)을 소개합니다! PEFT 기법 prompt tuning prefix tuning LoRA 적용 사례 : Stable diffusion, LLaMA, Alpaca MSFT에서 공개 구현 https://github.com/huggingface/peft https://github.com/NVIDIA/NeMo https://github.com/NVIDIA/NeMo/commit/cb2793c0c7bb352e1dfd8c349a96efc1dd260179 IA3 LoRA 보다 개선 개선된 점 : etc… 모델의 모든 파라미터를 튜닝하는 것이.. Machine Learning/DL - NLP 2023. 7. 7.

• 

  로컬 LLM 정리 (feat. KoAlpaca) 로컬 LLM을 사용하려는 이유? 토큰에 대해 걱정을 덜 하면서 모델에 추가적인 지식을 넣되 유출 가능성이 낮으면서도 내부망에 서빙이 가능할까~? 토큰에 대해 즉 사용량같은 것들에 대해 걱정을 좀 덜 하면서 모델에 우리 도메인에만 알고 있는 지식을 추가적으로 넣어주면서 유출이 낮은 내부망의 서빙이 가능할까 즉 외부로 데이터가 유출되지 않으면서 서비스 하는게 될까 라는 질문 토큰에 대해 걱정을 덜 하면서 GPT-4 기준 1k tokens에 0.04$ 모델에 추가적인 지식을 넣되 LM에 추가적인 지식을 넣어주는 Finetune LLM API도 Fine-tune을 지원 하지만 학습도 비용, Inference는 더 비싼 비용 (OpenAI) LLM Finetune도 Full Finetune 아닌 일부만 학습 AP.. Machine Learning/DL - NLP 2023. 6. 28.

• 

  구글 PaLM 2 정리 PaLM 2 소개 PaLM 2는 다양한 목표를 사용하여 학습된 Transformer 기반 모델 영어 및 다국어 언어, 추론 작업에 대한 광범위한 평가를 통해 PaLM 2는 다양한 모델 규모에 걸쳐 다운스트림 작업의 품질을 크게 개선하는 동시에 PaLM에 비해 더 빠르고 효율적인 추론을 수행한다는 것을 입증 GPT-4 와 경쟁력 있음, 전체적으로 GPT-4보다는 덜 똑똑한데 어떤면에서는 더 낫다고 함 PaLM 2는 향상된 다중 언어와 추론 능력, 그리고 코딩 능력을 갖춘 최첨단 언어 모델이다. 100개 이상의 언어를 학습하고, 과학논문과 수학적 표현을 이해하고, 다양한 프로그래밍 언어로 코드를 생성할 수 있다. PaLM 2는 더 빠르고, 효율적이며, 유능한 모델을 다양한 규모로 제작할 수 있다는 점에서 획.. Machine Learning/DL - NLP 2023. 6. 27.