[부스트캠프 AI Tech 8기] 5주차 회고

 

 

 

 

 

 

 

 

 

 

 

1. 한 주 개요

 

 

 

이번 5주차에는 추석이 같이 껴있어서 시간으로 따지면 2주 정도가 지났다

5주차의 내용은 자연어 처리, NLP 기초 이론이였다

자연어 부분은 봐야지 생각만 하다 이번 교육을 통해 토크나이징, 임베딩 등에 대해 같이 볼 수 있게 되었다

 

4주차 CV 이론과 마찬가지로 기초를 잘 다지는 것에 초점이 맞춰져있었는데 광범위하게 이것저것 다 설명하는 4주차 보다는 봐야할 부분들을 잘 좁혀서 타겟팅 해준 부분이 좋았다

전 주차에는 봐야할 범위랑 내용은 많은데 오버뷰로 싹 봐버리니까 어디에 집중을 해야할지 모르겠다는 느낌이 컸다

 

10월 3일부터 9일까지 연휴 동안 교육도 같이 쉬면서 밀린 공부들을 싹다 해내는 멋진 모습의 나를 기대했지만.. 늘 그렇듯 계획만 거창하게 끝난다

혁펜하임님 CNN 강의, Legend13을 완강하긴 했지만 무슨 내용들이 있었는지 생각해보면 엄... 😇

 

내가 하고 싶은 분야나 일, 가고 싶은 회사도 명확히 없으며 모든게 흐릿하고 일단 공부만 해야하는 상황이다보니 4주차에도 계속 공부에 제대로 집중하지 못하고 시간 낭비가 많은 점이 너무 아쉬웠다

 

 

 

 

 

 

 

 

---

 

 

 

 

 

 

 

2. 이번 주 주요 내용

 

 

 

 

 

 

이번 NLP 이론 내용에는 자연어를 모델이 학습할 수 있게끔 토큰 만드는 방법, 워드 임베딩과 같은 전처리부터 RNN과 RNN 구조의 고질적인 문제와 한계, 이를 해결하기 위한 LSTM까지 주로 다루었다

 

예전에도 그랬지만 이상하게 RNN과 LSTM 같은 자연어, 시계열 처리쪽은 내용을 봐도 잘 와닿지 않고 머리에 정말 안들어오는데 이번에도... 공부한 시간 자체가 너무 적기도 하지만 시계열 처리에서 LSTM을 쓰거나 CNN과 결합해서 쓰는 등 자연어 외에도 종종 쓰이기에 복습으로 채워가야 할 부분이다

다른 분들을 보면 과제도 위클리 문제도 어렵지 않게 잘 풀어내시는데 나는 아직도 이전 내용들도 제대로 팔로업 하지 못한 채로 많은 부분이 비워진 백지를 제출하고 있다..

 

 

중간에 추석이 껴서 연휴 동안 자연어의 기초를 다루는 '밑바닥부터 시작하는 딥러닝2' 와 CNN 기본 강의인 혁펜하임님 Legend13 강의를 보면서 전체적인 기초를 다지는 것이 목표였으나.. 강의를 다 보는 것만해도 간당간당했다

강의도 정말 강의만 틀어놓고 다 보기만 했지, 실제 논문이랑 코드를 내가 직접 보고 리뷰하고 이해하면서 복습하는 부분은 하나도 없어서 복습도 꼭 해줘야한다

연휴에 밀린 약속, 일정들을 다녀오다보니 생각만큼 공부할 시간이 거의 나오지 않았고 집중도 제대로 되지 않았다

 

그래도 5주차 위클리 문제에서 토크나이징부터 워드 임베딩 같은 전반적인 자연어 전처리를 거쳐 RNN, LSTM 모델들의 게이트가 어떻게 구현되어 동작하는지 까지 - 전반적인 내용을 담고 있어서 주말까지 꼭 복습할 예정이다

 

 

 

트랜스포머에서도 워드 임베딩 과정을 거친다

다른 트랜스포머 강의에서 워드 임베딩은 행뽑기다, 각 단어에 해당하는 가중치들을 뽑는 것이다 - 라는 내용이 있는데 위클리 문제를 통해 이 부분을 알 수 있었다

 

워드 임베딩은 단어를 표현할 임의의 개수의 차원으로 근사하여 모델이 학습할 수 있는 형태로 전처리하는 과정인데 이건 리니어 레이어를 통해서도 가능하다

핵심은 차원 변환이니까 가중치의 shape만 잘 맞춰주면 리니어 레이어를 통해서도 나오게 된다

 

그러나 아래 파이토치의 임베딩 파라미터와 내용을 보면 좀 더 자세하게 나와있다

임베딩을 적용했을 때 어떤 식으로 각 단어마다 해당 인덱스에 해당하는 웨이트를 가져오는지 이해할 수 있다

 

https://wikidocs.net/64779

12-06 파이토치(PyTorch)의 nn.Embedding()

 

 

 

좀 더 자세하게 보기 위해 소스코드를 타고 타고 넘어가보면 

 

https://docs.pytorch.org/docs/stable/generated/torch.nn.Embedding.html

Embedding — PyTorch 2.8 documentation

 

https://github.com/pytorch/pytorch/blob/main/torch/_decomp/decompositions.py#L1226

pytorch/torch/_decomp/decompositions.py at main · pytorch/pytorch

 

 

def embedding(
    weight: Tensor,
    indices: Tensor,
    padding_idx: int = -1,
    scale_grad_by_freq: bool = False,
    sparse: bool = False,
) -> Tensor:
    assert weight.dim() == 2, "'weight' must be 2-D"
    # Nb. scale_grad_by_freq is not used in the forward
    if indices.ndim <= 1:
        # We need this one as weight[indices] calls item() in these cases
        out = weight.index_select(0, indices)
        if indices.ndim == 0:
            out = out.squeeze(0)
        return out
    else:
        return weight[indices]

 

out = weight.index_select(0, indices), weight[indices] 이런 식으로 인덱싱해서 가져오는 것을 확인할 수 있다

 

 

 

역시 강의나 책 하나를 다 보고서 내용들을 다 내것으로 만들지 못했다고 자책하는 것은 잘못되었다는걸 느꼈다

강의나 책을 한번 보고서 다 내 것으로 만들 머리나 실력이었다면 진작에 어디 크고 유명한 곳에서 일하고 있었겠지 😊

꾸준히 인풋을 넣어주고 이론만 다루지 않고 코드와 구현하는 부분을 보고 직접 해볼 때 어디선가 봤던 내용이 오버랩되면서 이해가 되는 경우가 있는데 이렇게 연결되는 경험이 많이 쌓이는 것이 진짜 공부가 아닐까 싶었다

그리고 과제와 문제들은 이런 소스 코드들을 잘 참고한다면 풀 수 있는 영역이 좀 더 넓어질 것 같은 느낌?

종종 이렇게 소스 코드까지도 파고들어보자

 

 

페어리뷰 때는 컴퓨터 비전쪽 일하다가 부캠에 들어오신, 나와 정말 비슷한 케이스이신 분을 만나서 여러모로 공감도 많이 하고 코드 리뷰 외에도 이런 저런 이야기를 나눌 수 있었다

CV하면 라벨링은... 정말 피해갈 수가 없다. CV 치고 라벨링 안해본 사람은 정말 한 명도 못 봤다

그리고 벌써 한 달이 지났는데도 나는 여전히 제자리인 것 같고 다른 분들은 너무나 잘 하시는걸 보면서 어떻게 공부해야 더 나아질까 하는 고민.. 집에서 공부하면 집중은 안되는데 그렇다고 매번 밖에 나가서 하기도 애매해서 어떻게 해야 집중해서 공부를 잘 할지.. 등등의 고민들도 있었다

 

그리고 지금은 팀원 또는 스터디 하는 분들만 이야기를 나누고 다양한 분들과의 이야기 나눌 기회가 닫혀 있어서 뭔가 가볍고 자유롭게 소통할 수 있는 그런 장치나 환경이 있었으면 좋지 않을까 하는 생각도 들었다

이전 주차별 피드백 문의에 줌 독서실 여부를 물어보긴 했으나 별 내용이 없는 걸 보면 자체적으로 만들고 승인만 받는 형태인가 싶기도 하다

디스코드로 독서실 만들어도 괜찮을 것 같은데 한번 고민해보고 빠르게 추진해보자

 

 

 

 

 

 

 

 

 

 

 

 

 

 

3. 피어세션 정리

 

 

 

 

저번 주처럼 각자 난이도에 맞는 알고리즘 풀기도 하고 캐글이나 데이콘에 대해서도 이야기를 나눴다

팀원분께서 캐글 플레이 그라운드 컴퍼티션에 참여하신다고 알려주셨는데 월간 데이콘처럼 입문자도 같이 공부할 수 있게끔 캐글은 플레이 그라운드에서 매달 작은 컴퍼티션을 열어주고 있어서 이것도 같이 해보면 좋을 것 같다

 

 

 

https://www.kaggle.com/competitions?hostSegmentIdFilter=8

Kaggle Competitions

 

 

 

 

그리고 같이 공유해주신 캐글 필사

이건 예전에 본 적 있었지만 너무 오래 걸릴 것 같아 시작할 엄두를 못냈었다

요것도 같이 해보면 정말 좋겠지만.. 지금 복습이랑 봐야할 내용들이 너무 많아서 일단 킵

 

 

https://kaggle-kr.tistory.com/32

[이유한님] 캐글 코리아 캐글 스터디 커널 커리큘럼

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

---

 

 

 

 

 

 

 

4. 회고

 

 

 

 

이번 주차 회고에는 잘했다는 점을 더 많이 적고 싶었지만 쉽지 않다. 정말 어렵다

집이라는 환경에서 어떻게든 집중력을 최대한 끌어올려서 더 많은 공부를 해야 하는 상황

그러나 특별히 하고 싶은 것이 없고 코드나 수식을 보고서 흥미나 재미를 느끼는 것도 아닌 지금의 상태로선 집중해서 공부한다는 것이 매우매우 어렵다

그래서 어떻게든 공부를 더 많이 하도록, 주마다 개인이 설정한 공부 시간을 달성하지 못하면 벌금을 내는 스터디에 들어가기도 했다

이름은 극한 스터디, 최소치와 극한으로 공부하는 시간을 설정하는데 정말 극한이다. 이름 참 잘 지었다

이번 주는 연휴가 있어서 다음 주부터 본격적으로 벌금을 걸고 달려볼 예정이다

 

 

지금까지의 내용들 또는 관련된 공부들을 흥미롭게 보면서 공부하시는 분들도 종종 보았다

어떻게 수식을 보고 코드 보는게, 논문 보는게 재밌고 흥미로울 수 있지..?

어떻게 자율 주행 하고 싶다, CV를 통해 어떤 도메인이나 분야로 가서 일해보고 싶다, 이렇게 가고 싶은 곳과 일하고 싶은 분야, 직무가 뚜렷할 수 있지??

수년을 생각하고 고민하고 이것저것 해봐도 여전히 애매하고 흐릿한 사람으로써는 저렇게 명확한 무언가로 가고 싶다는 열망이, 하다 못해 무언가 눈 앞에 놓여지면 일단 질러보는 성격들이 너무나도 부럽다

 

이전과는 시대가 너무나도 다르다

지금 NLP, LLM이 핫하고 채용과 티오도 많으니까 이쪽을 선택한다?

한 때는 CV도 전도유망한 트렌드였고 내년, 내후년에는 NLP나 LLM이 아닌 또 다른 무언가가 대세일 수도 있다

지난 주 강연해주신 연사님께서도 CV를 했지만 LLM을 선택했으면 좋았겠다 싶으면서도 CV가 아니였다면 지금 이 자리까지 올 수 있었을까 모르겠다 라고 이야기하시는 걸 보면 결국에는 내가 좋아하고 흥미와 관심이 가는 분야를 선택하는게 오래 가는 길이다... 싶지만 시대의 흐름을 절대 무시할 수는 없고 진짜 알 수가 없다 😇

 

결국은 미래에 대한 불안함과 비교로 인한 조급함에 짓눌려 무엇 하나 제대로 집중하지 못하는게 공부에 집중하지 못하는 가장 근본적인 원인이라 생각한다

당장 심화 트랙을 확정짓지 못해 공부까지 흔들리는 것도 그렇다

 

오래 지속할 수 있도록 첫 시작과 선택은 흥미와 관심이 가는 것부터.

근데 딱히 관심가고 하고 싶은 게 없다면 덜 싫어하는 것, 그나마 나은 것부터.

선택지 사이에 놓여져있다면 다른 것들 찍먹해보고 빠르게 판단 내리고 다음 스텝으로 넘어가기

지금 선택이 먼 미래의 운명을 선택한다는 것이 아님. 선택의 무게를 조금 더 가볍게

 

너무 복잡하게 생각하지 말고 과제를 기준 삼아 부족한 부분들 찾고 채우며 당장 눈 앞의 공부를 잘 해내는 것에만 집중해보자

다음 주면 벌써 추천 시스템 기초 수업이다

멘토님의 가이드로 추천 시스템과 CV 둘 중 고민이었는데 다음 주 수업을 듣고나면 결정을 내릴 수 있을 것 같다