[부스트캠프 AI Tech 8기] 8주차 회고

 

 

 

 

 

 

 

 

 

 

 

1. 한 주 개요

 

 

저번 주 예비군으로 일정이 밀려서 텍스트 감성 분류 대회에 본격적으로 참여한 건 저번 주말부터였다

강의 보고 과제... 는 대회에 집중하다보니 거의 못해서 아숩..

 

뭔가 시간 투자를 쭉 하긴 했지만 실질적인 성과나 결과는 미미한 것 같아 어떤 부분을 개선해야 더 집중하고 투자한 시간 대비 좋은 결과를 낼 수 있을지가 계속 고민이다

그래도 확실히 강의와 과제만으로 구성된 것보다 가이드라인 주고 이런 작은 대회나 토이 프로젝트 위주로 직접 해보는 부분이 많아야 덜 지루하고 시간도 더 들이게 되는 것 같다

 

학습을 24시간 빈틈없이 돌렸어야 했는데.. 전체적인 맥락을 잡는데 늦어져서 이것저것 더 많이 해보지 못한게 참 아쉬웠다

 

 

 

 

 

 

 

 

 

---

 

 

 

 

 

 

 

2. 이번 주 주요 내용

 

 

 

 

리뷰 감성 분류 대회

 

 

대회에서 사용하는 서버는 컨테이너로 참여자들에게 배포되었다

가상 환경으로 venv 사용하는데 참여하시는 분들 중 uv를 추천하셔서 이번 기회에 한번 사용해보았다

uv의 디테일한 부분까지 써보진 못했고 uv로 프로젝트에 쓸 가상환경 만들고 자동 셋업하는 쉘 스크립트 정도만, 기초적인 부분만 써본 정도..?

 

확실히 venv나 콘다에서 pip install -r requirements.txt로 필요한 디피션시들 설치할 때 걸리는 시간이 uv는 덜 걸리는게 체감이 되었다

중간에 서버도 터져서 uv 이용해 쉘 스크립트랑 requirements.txt 2개만으로 딸깍 셋업할 수 있게끔 글로 정리해보았다

도중에 환경 종속성 꼬여서 싹 밀고 새로 셋팅하는데 유용하게 사용했다

 

그리고 학습 돌리다보면 허깅페이스 모델 다운받고 필요한 것들도 설치하고 캐싱하느라 용량이 금방 다차곤 했는데 서버 용량이 다 차면 다운되고 모든 리소스가 날라갈 수도 있기에 매번 용량 확인하는 명령어 찾아보는 것도 번거로워서 참고용으로 메모 하나 정리해두고 참고했다

 

 

 

https://bh-kaizen.tistory.com/59

uv로 프로젝트 환경 셋팅하기

 

 

https://bh-kaizen.tistory.com/60

리눅스 디렉토리 내 용량 확인

 

 

허용된 모델 5개에 대해 하나씩 학습시키고 성능 체크해보면서 베이스라인에서 모델 하나를 정하고서 파라미터나 이것저것 바꿔가면서 테스트를 진행해보았다

 

또한 불균형한 데이터셋이기에 이를 해결하고자 주로 사용되는 방법들을 적용해보았다

• 기본 손실 함수 크로스 엔트로피에 클래스 가중치 적용해보기
• Focal Loss로 손실 함수 변경
• 텍스트 데이터 증강

슬프게도... 위의 방법들로 유의미한 성능 향상을 이끌어내지는 못했다

대부분의 요소들과 성능 향상 간의 인과관계를 명확히 파악할 수가 없다

케이스들 리스트업하고 하나씩 학습시켜서 제출, 리더보드 성적을 확인해보는 것 외에는 마땅한 방식을 찾지 못한 것도 아쉬운 점 중 하나이다

 

그래서 데이터쪽에서 분석하고 파고들어서 핸들링하는 부분이 성능 개선에 영향을 줄 수 있는 큰 부분이라 생각했지만 텍스트를 다뤄보는건 처음이기에 텍스트 데이터 분석은 어떻게 해야하나... 베이스라인에 있는 EDA랑 전처리만 해도 상세하게 잘 다루고 있어서 오히려 베이스라인 보면서 다루는 방법을 배워갔었다

 

 

 

조언받은 여러 아이디어들을 통해 아래와 같은 주제들로 공부할겸 쭉 진행해보았다

모델이 잘 맞추지 못하는 데이터들을 찾아서 집중적으로 분석하는 Hard Example Mining은 이번에 처음 들었고 플젝이든 실무든 어디서나 유용해보이는 아이디어였다

 

데이터 증강도 단순하게 비율이 낮은 라벨의 데이터만 늘리는 것이 아니라 모델이 못맞추는 데이터들 위주로 증강하여 약점을 보완하는 것

그렇게 몇몆 조건을 걸고 (문장의 길이, 예측 확률 등등) 필터링하여 대략 16000건의 하드 케이스를 Back-Translation을 이용해 증강하였으나 양이 너무 적은 탓인지 유의미한 향상은 없었다

27만개 중 10%만 해도 27,000개. 적어도 10% 이상으로 증강시키고 베이스라인과 비교했어야 했다

 

그리고 원본과 증강된 데이터의 품질도 더 세세하게 고려하지 못한 부분도 해보았으면 좋았을 점이다

온라인 영화 리뷰에는 구어체, 비문 등이 대부분이기 때문에 문법이 틀리거나 표준어에서 많이 벗어나 있는 경우가 정말 많다

따라서 번역을 통해 생성되는 문장들은 정갈한 형태일 가능성이 높으므로 너무 많아지면 데이터에 편향을 주고 성능을 떨어뜨릴 가능성이 높아지게 된다

그래서 텍스트 생성 모델을 통해 원본 데이터를 넣고 구어체의 느낌을 살려서 유사한 의미의 문장으로 생성하여 증강시키고 싶었으나 이 부분까지는 해보지 못했다

 

 

 

번역 또는 생성을 이용한 데이터 증강에는 시간이 꽤 많이 걸린다..

이걸 좀 더 일찍 알았다면 더 다양한 케이스들로 데이터셋을 구성하여 테스트해볼 수 있지 않았을까 싶었고 다음에도 대회나 프로젝트를 진행하게 된다면 초반에 이 부분을 빠르게 셋업하는데 신경쓸 것 같다

 

 

https://bh-kaizen.tistory.com/61

텍스트 분류 - Hard Example Mining

 

 

 

위의 Hard Example Mining 에 이어지는 텍스트의 피쳐 벡터 추출해서 살펴보기

인코더와 분류기, 헤드를 결합하여 사용하는 모델 구조인데 인코더 부분만 텍스트 문장을 넣어서 문장의 정보를 함축해서 담고있는 피쳐 벡터를 시각화 해보았다

 

 

이 내용들을 좀 더 일찍, 초반부에서 했다면 좀 더 체계적인 대회 진행이 되었을 것이다

텍스트 뿐 아니라 이미지에서도 피쳐 추출이 가능하니까 나중에 살짝 수정해서 사용해봐야겠다

 

 

 

 

https://bh-kaizen.tistory.com/62

텍스트 feature vector 살펴보기

 

 

 

그 외에도 Wandb Sweep를 자는 동안 돌리면서 최대한 GPU를 활용하려 했고,  모델 교차 검증 돌려서 폴드마다 테스트셋에 대한 예측값, 확률 뽑아서 모델 하나로 앙상블 해보거나 여러 모델들 모아서 앙상블 해보고...

사실 앙상블이 지금까지 가장 높은 성능을 보여줘서 점수에 매몰되어 '성능 올리려면 뭐하지 - 모르겠다 일단 앙상블' 이렇게 흘러간 느낌도 있었다

 

 

 

 

마스터 클래스

금요일 저녁, 이번 주차에 강의를 맡으셨던 강천성 마스터님과의 강연에서도 좋은 내용들이 있어서 같이 정리해보았다

 

• 실제 현업에서는 앙상블은 거의 사용되기 힘듬. 면접에서 이러한 부분들을 물어볼 수 있으니 고려하고 대비해야
  • 못쓰는 거 정말 공감... 실시간성이 요구되는 경우가 많은데 언제 앙상블을 돌릴 수 있을까..
• 엄청 큰 데이터 처리할 때는 판다스 대신 Polars 써보기. 현업에서는 레이턴시, 연산 처리 속도 등이 매우 중요하기에 병목 현상으로 발생하는 이슈들을 어떻게 핸들링했는지도 직접 경험해보거나 알아두면 좋음

https://techblog.woowahan.com/18632/

Polars로 데이터 처리를 더 빠르고 가볍게 with 실무 적용기 | 우아한형제들 기술블로그

 

• 프로젝트할 때 검증환경 잘 구축하는 것이 정말 중요하다. 대회를 한다면 최우선적으로 해야할 것이 검증 환경 구축
  • 실험을 쌓아놓고 알아서 돌아가게끔 실험 자동화 환경 셋팅하는 것도 정말 중요
  • 실험 스케줄러를 만들어보라 - json 등의 파일에 config 넣어서 셋팅해두면 while로 무한루프 학습 돌리고 계속 성능 출력해서 저장하게끔
  • 이런 자동화, 실험 관리 등을 계속 시도하면서 최적화 하는 방법, 경험을 얻기

 

 

 

 

 

 

 

 

 

 

3. 피어세션 정리

 

 

 

 

피어세션 때 내가 서기 느낌으로 회의록을 작성하고 있다

이번 주는 분류 대회가 메인이였기에 다들 어떤 기법들 적용해서 성능이 얼마나 나오고 효과가 있었는지 등을 주로 공유하였다

 

 

언더 샘플링을 했더니 성능이 오히려 떨어지기도 했고 데이터셋 중 LLM으로 만들어진 인조 데이터들을 제거하고 돌려봤으나 그렇게 유의미하지 않았다, K-Fold로 앙상블 해보거나 스태킹 등이 주로 성능이 잘나왔다 등등 각자 진행한 내용들을 공유하면서 참고할 수 있어 유용했다

py 형태의 모듈화로 깔끔하게 정리한 팀원도 있었는데 하루이틀 통으로 쓰더라도 저렇게 정리해보면서 공부할걸.. 이라는 생각이 들었다

 

 

그리고 서버는 접속을 종료하면 아마 모델을 계속 돌릴 수 없어서 컴퓨터나 노트북을 통해 접속 상태를 유지하면서 자는 동안 학습을 돌렸는데 터미널 속 터미널, Screen을 사용하면 VPN과 PC가 꺼져있어도 터미널을 종료해도 세션 유지 되어 모델 학습을 계속 돌릴 수 있다고 한다! 정말 꿀팁이다

 

 

https://bio-info.tistory.com/42

[리눅스] screen(스크린) 사용법, screenrc

 

 

 

공통된 의견으로는 성능을 올리는데는 앙상블이 깡패라는 것 😇

0.0001의 차이로도 등수가 갈리는 대회 특성상 앙상블이 기본인 것은 어쩔 수 없는 부분이다

내가 좀 더 많은 내용들을 적용해보고 유의미한 성과를 공유해서 도움을 줄 수 있었으면 좋았을텐데.. 팀원들에게 좋은 인사이트를 공유할 수 있게끔 더 많이 시도해보고 노력해야겠다

 

 

 

 

 

 

 

 

 

 

 

 

 

 

---

 

 

 

 

 

 

 

4. 회고

 

 

 

 

그래도 나름 주간 회고인데 그동안 너무 두리뭉실하게 대충 써온 것 같아서 성윤님 쓰시는 양식을 가져와봤다

목표는 이번 한 주에 세운 Try, 액션 아이템이 다음 주 회고에 잘 지켜졌는지 이어서 적는 것이다

 

 

https://zzsza.github.io/diary/2023/06/05/how-to-retrospect/

KPT 회고하는 법, 회고에 대한 생각(2024 내용 추가)

 

 

Keep.

이번 주 잘한 점, 유지하고 싶은 것

• 생각보다 대회에 많은 시간을 투자하였다
• 진행한 내용들 블로그글 4개 작성 (2개는 직접 써본 내용들, 2개는 간단한 셋팅 및 명령어)
• AI 적극 활용하여 다양한 방법들? 이것저것 빠르게 시도해봄
• AI 무지성으로 쓰기보단 이 부분은 왜 이럴까 의문을 가지고서 티키타카하기
• 저녁 운동 꾸준히 다녀왔다

 

Insight.

이번 주 동안 느끼고 깨달은 점

• AI를 적극적으로 활용하는 것은 중요하지만 중간중간 브레이크 걸고 검증하면서 비판적으로 받아들여야한다
• 뭔가를 해보려 할 때 이론 보고 예제 보고 탄탄히 넘어가면 좋겠지만 일단 AI 도움 받아서 머리 박은다음 거꾸로 타고가는 것도 괜찮았다
• 블로그 글쓰기를 메모장으로 쓰는 것도 나쁘지 않다. 나중에 한번 쓱 정리하면 글 하나 나온다
• 내가 참고할 내용이든, 공부 관련된 간단한 메모든 일단 블로그글에 다 적어두기. 노션에 백날 정리해도 죽어도 다시 안본다.
  다른 사람들에게 보여주기 이전에 블로그는 내가 활용하는 도구이다
• 아무리 피곤해도 일단 헬스장 가면 운동할 힘이 생긴다

 

Problem.

아쉽고 개선하고 싶은 것

• 시간을 투자했다고는 하지만 집중도가 많이 아쉬웠다
• 대회를 진행하는데 체계가 잘 안잡히고 주먹구구식
• 자료 조사를 더 많이 했어야했는데..! 비슷한 대회에서는 어떤 방법을 썼는지, 앙상블이 가장 효과가 좋다면 그냥 모델들 모아서 앙상블 하는 것이 아니라 다른 앙상블 기법이 있는지 등등 리서치를 거의 하지 않았다
• 비슷한 맥락으로 너무 AI의 정보에만 시선이 사로잡혀있었다
• 중간에 대회 점수에만 매몰되었다. 점수를 올리는 것보단 어떤 문제를 해결하기 위해 어떤 방법들을 적용해서 좋았고 안좋았는지의 경험을 쌓는 것이 더 중요했다
• 너무 얇게만 봤다. 어떤 방법을 적용했다면 적어도 그게 어떤 방법인지 이해하려고 공부를 더 많이 했어야 했다
• 결과 보고 자려고 늦게까지 안자기도 하면서 수면 패턴이 밀렸다
• 학습 돌아가는 동안 공부 안하고 딴 짓하다가 늦게 자기도...
• py 모듈화 하지 못한 것
• 책을 못 읽었네..

 

Emotion.

이번 주 감정 점수와 이유

• 7점
• 결과물이 아쉽지만 그래도 이번 기회를 통해 조금이나마 공부하고 배워가는 것이 있었다

 

Try.

다음에 시도하고 싶은 구체적인 액션

• 집중도 높이기 위해 뽀모도르 타이머 사용 / 핸드폰은 거실에 두기
• 어떤 내용이든 그냥 넘기지 말고 질문 딱 하나만 던져보기
  ex) 코드에서 왜 인덱싱을 이렇게 했을까? 이 파라미터 안쓰면 어떤 차이가 있을까?
• 자기전 루틴 잘 지켜서 12시 전에는 잠들기
• 오늘 하루 내가 달성하거나 배운 점들 간단하게라도 좋으니 다이어리에 쭉 적어보기