[부스트캠프 AI Tech 8기] 4주차 회고

 

 

 

 

 

 

 

 

 

 

 

1. 한 주 개요

 

 

벌써 4주차도 끝.. 매번 주차별로 회고를 작성할 때마다 벌써 라는 단어를 붙이게 될만큼 일주일이라는 시간이 정말 빠르게 지나간다

그럼 한 주 동안 정말 열심히 했는가 라고 생각해보면 그건 아니였기에.. 이번 주도 아쉬움이 컸다

저번 주에 비하면 공부할 내용이 비교적 적은..가? 라고 하기엔 봐야할 부분은 많은데 어디서 어디까지 봐야할지 명확하지가 않아 여러모로 헷갈리는 부분들이 많았다

 

최근에는 어떻게 방향성을 잡고 뚝심있게 공부해나갈지가 가장 중요하다고 느끼고 있다

 

 

 

 

 

---

 

 

 

 

 

 

 

2. 이번 주 주요 내용

 

 

 

 

 

이번 주는 CV 이론이 주요 내용이었다

CV부터 시작하여 일주일씩 부스트캠프의 CV, NLP, 추천 3개 트랙에 대하여 공부하는 시간을 가지게 된다

전반적인 내용에 대해 다 공부해보고 심화 트랙을 선택해서 깊게 공부하는 방식이다

 

그래서 이미지 증강이나 전반적인 처리, CNN과 객체 탐지, 세그멘테이션 등을 먼저 살펴보고 심화 과정을 선택하면 디퓨전이나 생성형쪽, SR 등 다양하고 깊은 태스크들 위주로 다룰거라 생각했으나.. ViT는 그래, 저번 주에 트랜스포머가 메인이였으니까 나올만 했는데 이번 주 내용은 진짜 오버뷰였다

 

 

CAM, Grad-CAM이나 이것저것 정말 많았는데.. 위클리에 나온 문제는 CNN 모델 구현 😇 

이 정도는 기본으로 알거라 생각하고 평균 수준을 높게 잡은 것 같다

트랜스포머와 ViT를 보고 있다가 통수를 맞은 느낌이지만 이번 기회에 다시 공부도 하면서 좋았다

어차피 추석에 혁펜하임님 CNN 강의 완주하려 했으니 오히려 좋아

 

 

페어리뷰는 NLP 공부하시는 분과 진행하였는데 피쳐맵 shape 관련 이슈로 런타임 에러가 발생해서 같이 해결해보는 시간을 가졌다

채널 수 설정하는 부분과 Global Average Pooling 부분이 제대로 처리되지 않아 마지막 Linear에서 행렬 연산할 경우 shape 불일치가 발생했던 것

그래도 CNN 모델 코드를 봤을 때 어느정도 이해가 되고 shape을 맞추는 부분이 익숙해져서 지금까지 공부한게 마냥 물거품은 아닌 것 같아 다행스럽고 페어리뷰한 분께 도움이 되어드릴 수 있어서 참 좋았다 

 

 

요새는 대부분 모델을 직접 만들기보단 가져다 쓰기 때문에 연구가 아니라 어플리케이션 개발쪽으로 가게 된다면 덜 봐도 되지 않을까 라는 시각이 있을 것 같은데 상황에 따라 많이 다르겠지만 상향 평준화되다보니 모델 구현은 이제 다 기본으로 깔고 가는 것 같다

모델을 구현할 줄 아는가 - 도 중요하지만 정확히는 각 모델마다 어떤 문제를 해결하기 위해 어떤 인사이트와 아이디어를 들고 왔는지, 이게 코드로 어떻게 구현되고 적용되는지, 또 다른 문제에서는 이런 방법들을 적용해볼 수 있을지 와 같은 부분을 내걸로 만드는게 중요하고 또 노력해야겠다

 

 

 

 

저번 주에 트랜스포머 부분을 많이 못봐서 이번 CV 내용 보다는 트랜스포머에 좀 더 집중해서 공부했다

트랜스포머에서 사용된 구조 및 여러 아이디어와 방법들이 ViT 뿐 아니라 인코더-디코더라는 구조, 다음주 NLP에서도 또 나올테니 이번 기회에 제대로 보고 넘어가는게 좋을 것 같아서 주말까지도 쭉 공부할 예정이다

 

 

트랜스포머에서 실질적으로 학습하는 파라미터가 Linear 레이어라니.. 생각보다 심플하면서도 이렇게 뛰어난 성능으로 딥러닝 역사를 바꾼 것이 정말 신기했다

강의랑 영상들 위주로 쭉 보느라 뭔가 정리할 만큼의 내용이 나오진 않아서 이번에는 블로그글을 따로 정리하진 못했다

이론은 워낙 잘 정리된 글이 많아서 따로 정리하진 않을 것 같고 트랜스포머의 구조와 각 구조들이 코드로 어떻게 구현될 수 있는지 정도만 간단하게 정리해볼 것 같다

 

Transformer, 도대체 그게 뭔데 - Transformer 편 (2)

 

글또분께서 작성하신 트랜스포머에 대한 글인데 시리즈로 잘 정리해주셔서 공부하면서 같이 참고하였다

언제쯤 저렇게 모델 구조와 동작 메커니즘에 대해 깊게 이해하고 글로 정리해볼 수 있을련지...

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

3. 피어세션 정리

 

 

 

 

 

이번 주부터는 새로운 분들과 팀을 구성하게 되었다

3주 정도 팀끼리 공부했던 경험이 쌓여서인지 맨 처음보다는 덜 어색했고 간단한 룰과 피어 세션에 어떤 활동을 할지 등을 빠르게 정리할 수 있었다

 

 

피어 세션에는 각자 공부하면서 궁금하거나 막혔던 부분들에 대해 공유하거나 근황 및 스몰 토크 조금 나누고 아래 코드 플러스에 정리된 알고리즘 유형 중 하나 정해서 각자 난이도에 맞게 푸는 시간을 가졌다

 

이번 주는 브루트포스. 저번 달에 부스트캠프 코테 준비하면서 백준도 풀고 그랬는데 몇 주 안봤다고 그새 다 까먹다니.. 코테 같은 공부는 정말 꾸준히 해주는게 필요한 것 같다

 

 

https://code.plus/course/51

코딩 테스트 준비 - 기초

 

 

 

 

 

 

 

팀원 분께서 감사하게도 참고하기에 좋은 유튜브 채널들도 공유해주셨다

봐야할 것들은 산더미처럼 쌓여만가서... 나에게 부족한 부분이 무엇이고 어디를 채워야할지, 선택과 집중이 필요한 시기이다

 

 

코드 없는 프로그래밍

코드없는 프로그래밍

 

신박AI

신박Ai

 

 

 

 

 

 

 

 

 

 

 

 

4. 회고

 

 

매번 회고 적을때마다 아쉬운 점만 많이 쓰게 된다

1~2주차까지는 집중도 좋았고 공부에도 시간을 많이 투자하다가 왜 3주차부터 주말에도 거의 공부를 안하고 평일에도 집중을 못했을까 생각을 해보니 정말 하루종일 공부만 해야한다는 강박감과 너무 높은 기준에 오히려 시작조차 하는게 꺼려졌던 것 같다

 

거기다 아침마다 다이어리에 글쓰고 책읽는 기본적인 루틴들도 등한시하면서 멘탈적인 관리가 잘 안되니 공부에도 제대로 집중을 못하게 되었다

역시 가장 기본을 잘 지켜야 자신만의 페이스대로 꾸준히 갈 수 있다

부스트캠프는 6개월이라는 적지 않은 기간 동안 달리는 마라톤이기 때문에 하루 이틀 9~10시간 반짝 빡세게 집중해서 공부하는 것보다 매일 7~8시간씩 꾸준히 쌓아가는 것이 더욱 중요하다

그리고 이것들을 오랫동안 유지하려면 글쓰기, 독서, 운동, 수면 및 식사와 같은 가장 기본적인 것들이 아래에서 받쳐줘야만 한다

 

이전에 편입 공부, 부트캠프 공부, 회사 생활을 하면서 배웠던 가치를 다시 잊고 지내왔으나 다시 잘 잡아보자

 

또한 내가 어디가 부족한지, 어디를 가기위해 어느 부분을 채워야할지, 공부의 방향성을 잘 잡는게 가장 중요함을 느꼈다

내가 CV로 간다고 하면 교육 내용과는 별개로 CV 관련된 개인 공부들을 꾸준히 병행해야한다

간단하게 말하자면 심화 트랙을 뭘로 갈 것인지에 따라 맞는 공부를 하는 것

생각 중인 트랙은 CV, 추천인데 추천쪽은 공부를 한번도 해본 적도 없고 선택했을 경우 어떤 회사나 직무로 일하게 될지에 대한 정보도 부족하기에 아직 선택을 하지는 못했다

 

그래서 현재로서는 나중에 어떤걸 선택하든 도움이 되는 방향으로 기준을 잡고 있다

강의는 과제를 기준으로 잡고 뭐가 나왔고 이게 뭔지 정도까지는 보는걸 최소치로 두었다

트랜스포머를 계속 잡고 보는 것도 자연어 뿐 아니라 CV와 다양한 태스크에서 활용할 수 있는 범용성 넓은 모델과 기술이기 때문이다

 

마침 곧 추석이 있으니.. 추천에 대한 강의도 하나 들어보면서 심화 트랙 선택에 대한 근거를 수집해보려 한다

주말에도 규칙적으로 생활하고 다음 주도 기본 루틴들 잘 지키면서 페이스 잘 유지해보자!