진주의 개발괴발

강화학습 알고리즘의 GRPO, PPO

📌 GRPO, PPO는 강화학습의 무엇인가?✔️ GRPO(Group Relative Policy Optimization)와 PPO(Proximal Policy Optimization)는👉 강화학습(RL)에서 정책 최적화(Policy Optimization)를 위한 대표적인 알고리즘들입니다.강화학습의 큰 목표는 에이전트(agent)가 환경과 상호작용하며 정책(policy)을 학습해→ 주어진 상태에서 어떤 행동을 취해야 누적 보상(reward)이 최대가 될지를 배우는 것.정책 최적화 계열 알고리즘은 policy 기반으로 학습을 진행해,→ 직접 행동의 확률 분포를 모델링하고 이를 업데이트함으로써→ 환경에서의 성능을 지속적으로 개선합니다.PPO와 GRPO는 이 정책 최적화의 구체적인 방법론에 해당합니다.✅ ..

💁‍♀️ 기초 지식 & 공부 시간AI엔지니어를 목표로 하고 있기 때문에 가장 기본적인 자격증인 빅데이터 분석기사를 준비하게 되었다.나는 이미 ADsP를 취득하였기 때문에 기본지식은 어느 정도 있었다.물론 ADsP랑 겹치지 않는 부분이 훨씬 많았다.약 4주 정도 준비했고, 마지막 2주는 바짝 공부했다. 부트캠프와 병행했기 때문에 저녁 6시 이후부터 공부가 가능했다. 주말은 풀로 빅분기에 올인했지만 당연히 멍 때린 날도 있긴 했다ㅋㅋ 💯 시험 성적무난하게 합격하였다! 생각보다 기출 아닌 문제도 많다고 느꼈다.물론 내가 기출을 다 못 풀고 들어가서기도 하다.기출을 다 풀고 들어가면 큰 도움이 될 것 같다. 📝 공부 방법공부 시작 전에 다른 분들 합격후기를 쭉 살폈는데 다들 에듀아토즈 강의를 들으셨길래 고..

📒ComfyUIComfyUI 설치ComfyUI Github Installing위 페이지에서 각 운영체제에 맞게 다운로드ComfyUI-manager 설치ComfyUI-manager Github installation위 페이지에서 method2을 사용하여 다운로드FLUX 사용법1. 필요 파일 다운로드다운로드한 파일을 각각 아래의 경로에 복붙한다.https://huggingface.co/city96/FLUX.1-dev-gguf/tree/main-> FLUX 양자화 모델 다운로드 : 8bit 추천ComfyUI/_windows/_portable/ComfyUI/models/unethttps://huggingface.co/comfyanonymous/flux_text_encoders/tree/main-> clip_l..

고려대학교 지능정보 SW아카데미 4기를 무사히 수료하였습니다!벌써 5기를 모집하던데, 도움이 될 수도 있겠다는 생각에 서둘러 후기를 작성해 봅니다. 👨🏻‍🏫 수업 오전(09:00~13:00), 오후(14:00~18:00)데이터베이스 (SQL)크롤링파이썬 심화자연어 처리컴퓨터 비전음성 처리Javascript, React (Frontend)Pytorch, Tensorflow, Numpy, Pandas, Matplotlib논문 (전반적인 AI 흐름, 학습 방법)수업 전 나의 기술 stackFrontend - 부트캠프 6개월 수료- Javascript, React, FE 지식 있지만 1년 전에 수료해서 잊어버린 부분이 많았음- 한 달간 혼자 다시 공부 중이었음 python- 2년 전 친구와 가볍게 책 한 ..

본 논문은 human pose estimation에 대해 정리된 survey 논문입니다.이 글에서는 2D Person Pose Estimation 부분에만 중점을 두어 정리하였습니다.원문 링크2D single-person pose estimation이미지 자르기upper-body detectorAntonio S Micilotta, Eng-Jon Ong, and Richard Bowden. 2006. Real-time upper body detection and 3D pose estimation in monoscopic images. In ECCVfull-body detectorShaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. 2015. Faster r-cn..

__new__, __init__사용 class A: def __new__(self): print('new') def __init__(self, x): print('init') wa = A() #new print(wa) #none __new__에서 인스턴스를 생성해 반환하지 않고 있으므로 __init__이 실행되지 않았을 뿐더러 wa는 None이다. 오류 1. __init__에 인자 x를 주었을 때 class AA(metaclass=type): #metaclass 속성에 type 따로 넣는 것 def __new__(cls): #생성 관련 부분 print('new') return super().__new__(cls) def __init__(self, x): #초기값 주는 부분 print('init') a =..

Function encapsulation 캡슐화 Class 캡슐화를 해도 기본 접근 제한 없음 -> descriptor Class 기본 용어 attribute : class 내부 모든 것 method : 클래스 안의 함수 class variable : 클래스 내의 변수 instance variable : 인스턴스 내의 변수 instance or object : class가 생성한 구체적인 값 class 작성 class A: x = 1 def xx(self, t): print(self, t) Type과 Class의 관계 a = 1 #Literal a = int(1) #객체지향 기본 방식 int도 class이지만 c의 영향을 받아 대문자가 아닌 소문자로 작성되어 있다. 다른 type도 마찬가지이다. Clas..

우분투로 에어팟 연결해서 사용하다가 다시 또 페어링이 안되어서 고생했다. 다음에 또 안될 수도 있으니 혹시나 까먹을 걸 대비해 적어둔다. 1. 터미널에서 vi 편집기 켜기 sudo vi /etc/bluetooth/main.conf 2. vi편집기에서 블루투스 설정 바꾸기 ControllerMode = bredr 변경 후 저장하고 종료한다. 그리고 블루투스를 껐다가 다시 켠다. 에어팟 후면의 버튼을 2-3초 누르면 전면에 불빛이 깜빡거린다. 클릭하여 연결힌다. 이후에 다시 vi 편집기에서 바꾼 블루투스 설정에 #으로 주석처리를 해준다. 3. vi 편집기 명령어 vi 명령어 정리 블로그 🔗 insert 키 : 입력 esc 키 : 입력모드 종료 :w : 저장 :q : 종료

💨코드스테이츠 메인 프로젝트 회고 목차💫 1️⃣새로운 팀 2️⃣유저플로우 3️⃣디자인 4️⃣개인 코딩 5️⃣에러, 그리고 또 에러 6️⃣마지막으로... 프리 프로젝트를 마치고 눈코 뜰 새 없이 바로 메인 프로젝트를 하게 되었다. 메인 프로젝트는 더 잘하고 싶은 욕심과 조금 지친 마음을 이끌고 새 팀원들을 만나게 되었다. 🖐새로운 팀 새 팀을 만드는 데 정말 힘들었다ㅋㅋㅋㅋ 그때 우리는 냉장고 재료로 레시피를 알려주는 플젝 아이디어를 염두에 두고 있었다. 처음에 효은언니네 프리 때 백엔드 분들이랑 같이 하는 건 어떠냐고 해서 연락을 드렸었는데, 백엔드 분들은 우리의 확고한 냉장고 아이디어에 조금 생각해 보겠다고 하셨었다. 그리고 대망의 팀 결성 날이 찾아왔고, 우리는 열심히 좋은 백엔드 분들을 영입하고자 ..

💅 Styled-Components 이번에 styled-components를 처음 써보았는데 확실히 직접 사용해보니 배우는 게 많았다. 아직 미숙한 점이 많지만 css보다 깔끔한 것 같기도 하고... 근데 내가 아직 잘 못써서 그런지 styled가 앞부분에 너무 많이 생겨버린다... ㅎㅎ 다른 분은 아예 파일을 파서 import * as W from "./styled.js"; function Login() { return ( ) }; 이렇게 가져와서 사용하셨다. 훨씬 깔끔해지는 듯! 1. attrs() 공식문서🔗 export const Input = styled.input.attrs({ autoComplete: "off" })` border: none; overflow: hidden; `; 추가적인 at..