[나는리뷰어다] 혼자 만들면서 공부하는 파이썬

 

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다."

 

 

 

 

      책 소개

 

 

 

 

 

 

혼자 만들면서 공부하는 파이썬

QR 코드, 이미지 콜라주 등 일상과 가까운 생활형 프로젝트부터 부동산, 경제지표, 시가총액 같은 실용적인 데이터를 다루는 프로젝트, LLM, 멀티모달 AI와 TTS 등 최신 기술까지! 폭넓은 주제를 통해 흥미롭게 따라 해 보세요. ● 주식 & 경제 데이터 분석 - 시가총액, 기준금리, 주요 경제지표 데이터 분석 및 시각화하기 ● 부동산 실거래가 분석 - 지역별 단위면적당 아파트 매매 실거래가 평균 지도로 만들기 ● 멀티모달 AI &

저자

문현일

출판

한빛미디어

출판일

2025.02.14

 

 

25년 2월에 출간된 책으로, 파이썬 기초를 배운 다음 어떻게 활용하면 좋을지, 더 깊이 공부하고 싶은 사람들을 위한 책이다.

파이썬을 활용해 시도해볼 수 있는 다양한 토이 프로젝트들을 제시하고 있으며 따라가보면서 다양한 분야와 라이브러리에 대한 공부를 할 수 있도록 되어 있다

• 주식 & 경제 데이터 분석 – 시가총액, 기준금리, 주요 경제지표 데이터 분석 및 시각화하기
• 부동산 실거래가 분석 – 지역별 단위면적당 아파트 매매 실거래가 평균 지도로 만들기
• 멀티모달 AI & 챗봇 개발 – 생성형 AI와 챗봇을 활용한 실시간 영자 신문 스크레이핑
• 웹 자동화 & 크롤링 – 연관 키워드 분석을 통한 연령별, 성별 쇼핑 트렌드 분석
• 게임 & GUI 개발 – 슬라이딩 퍼즐, 영어 받아쓰기 앱으로 직접 만들어 보는 인터랙티브 프로젝트

 

 

아래의 결과물들을 하나씩 만들어볼 수 있다

 

 

 

---

      목차

 

Chapter01. 폴더 크기 측정 프로그램

- 파이썬 개발 환경 설정, 폴더 크기 측정 프로그램, 데이터 시각화하기

Chapter02. 월별 카드 지출 내역 분석

- 월별 명세서 취합, 카드 지출 내역 분석, 1분기 지출 차트 만들기

Chapter03. 이미지 콜라주
- 이미지 불러오기, 가공하기, 콜라주 만들기

Chapter04. QR코드로 연락처 공유
- QR 코드 기초 다지기, 연락처를 QR 코드로 만들기, QR 코드에 이미지 삽입하기

Chapter05. 이미지 속 텍스트 번역하기
- 웹 작동 원리, 이미지 속 문자 인식, DeepL 번역 기능 추가하기

Chapter06. 쇼핑 트렌드 보고서
- 웹상의 동작 자동화하기, 쇼핑 트렌드 정보 수집, 보고서 작성

Chapter07. 시가총액 분석
- 종목별 시가총액 데이터 수집, 페이지 이동 자동화, 시가총액 데이터 시각화

Chapter08. 연관 키워드 경쟁 강도 분석
- 네이버 쇼핑 연관 키워드 검색, 경쟁 강도 분석, 연관 키워드 분석 앱 만들기

Chapter09. 주요 경제지표 그래프

- 기준 금리 데이터 불러오기, 다양한 경제지표 데이터 수집, 주요 경제지표 그래프 그리기

 

Chapter10. 정기예금 금리 현황표

- 정기예금 데이터 수집, 주요 금리지표 시각화, 정기예금 금리 현황표 작성

 

Chapter11. 아파트 매매 실거래가 지도

- 단위 면적당 평균 실거래가 분석 및 시각화

 

Chapter12. 미쉘린 가이드 지도

- 맛집 탐색 자동화, 좌표 수집, 지도 그리기

 

Chapter13. 생성형 AI 기사 번역 앱

- LLM 맛보기, 챗봇 만들기, 기사 번역 웹 앱 만들기

 

Chapter14. 영어 받아쓰기 앱

- 멀티모달 AI 챗봇 만들기, 텍스트->음성으로 변환, 영어 받아쓰기 앱 만들기

 

Chapter15. 슬라이딩 퍼즐 만들기

- 퍼즐 보드 만들기, 슬라이딩 퍼즐 구현, 게임 그래픽 구현

 

 

 

 

 

 

---

 

      내용

 

15개의 미니 프로젝트 중 AI와 관련된 챕터들을 먼저 직접 따라가보았다

관련된 코드와 소스들은 아래 깃헙을 참고하면 된다

https://github.com/himoon/gopython

GitHub - himoon/gopython

 

 

 

Chapter05. 이미지 속 텍스트 번역하기

 

 

1. 웹의 작동 원리

• 웹 브라우저 : 크롬, 엣지, 사파리
• 웹 브라우저에는 웹사이트 개발 및 디버깅을 돕기 위한 개발자 도구라는 도구 모음이 내장되어 있음
  • 브라우저와 서버의 쌍방향 통신 기록 열람
  • 검사 모드를 사용해 웹 문서의 HTML 요소 분석 가능
• 가상환경 설정 및 필요한 패키지들 설치하기
  • 책에서는 venv 쓰지만 conda 사용
  • python 3.12
  • 필요 패키지 (numpy, torch, easyocr)
    • easyocr은 pytorch 기반으로 제작됨
    • numpy 1.26.4
    • torch 2.2.2
    • easyocr 1.7.2
    • pillow 10.4.0
    • deepl
    • streamlit

pip install -U "numpy<=1.26.4" "torch<=2.5.1" "torchvision<=0.20.1" "easyocr<=1.7.2" "pillow<=10.4.0" deepl streamlit

 

 

 

웹의 작동 원리 이해하기

 

HTTP 요청과 응답

• 웹 브라우저에 페이지를 불러오려면 웹 서버에서 제공하는 데이터인 리소스가 필요
• 사용자가 URL을 입력하면 웹 브라우저가 웹 서버에 리소스를 요청, HTTP라는 특정 규칙에 따라 요청 메세지를 작성해야함
  1. 웹 브라우저가 서버에 HTTP 요청 메세지를 전달
     ➡️  웹 브라우저 — HTTP 요청 메세지 전송 —> 웹 서버
  2. 웹 서버는 브라우저가 보낸 HTTP 요청 메세지를 분석.서버가 작성한 응답 메세지를 HTTP 응답 메세지라 한다.
     ➡️  웹 브라우저 <— HTTP 응답 메세지 전송 — 웹 서버
  3. 요청 메세지 규칙, 요청 권한, 요청 리소스가 웹 서버에 존재하는지 등을 확인 후 해당 결과에 따라 적절한 응답 메세지를 웹 브라우저에 전달
  4. 웹 브라우저는 HTTP 응답 메세지를 분석하여 그 결과에 따라 화면에 리소스를 출력. 이렇게 서버에서 받은 데이터가 웹 브라우저에 출력되는 과정을 렌더링이라 함

streamlit 웹 앱

• 웹 앱 : 웹 브라우저를 통해 접근하고 사용할 수 있는 프로그램. URL만 있다면 바로 접근 가능
• streamlit : 파이썬만으로 웹 앱을 만들 수 있도록 해주는 패키지

 

개발자 도구에서 HTTP 메세지 분석

• 개발자 도구를 통해 웹 브라우저가 웹 서버와 주고받은 HTTP 메세지를 기록하고 분석할 수 있음
  1. 크롬 웹 브라우저에서 네이버 접속 후 F12로 개발자 도구 실행
  2. 웹 브라우저와 서버가 주고받은 HTTP 메시지를 확인하기 위해 네트워크 탭 클릭 후 Ctrl+R로 새로고침
  3. Name 목록에서 웹사이트 주소, www.naver.com항목을 클릭하면 오른쪽 HTTP 메시지를 확인할 수 있는 탭이 열림.
  4. Headers에서 Reponse Headers 에서 웹 서버가 보낸 HTTP 응답 메세지, Request Headers에서 웹 브라우저가 보낸 HTTP 요청 메세지를 확인 가능
  5. Response에서 웹 서버가 웹 브라우저에 전달한 실제 리소스 확인 가능

 

 

2. 이미지 속 문자 인식하기

• easyocr 패키지로 이미지에 포함된 문자를 인식하고, 그 결과를 pillow 패키지로 시각화
• 이러한 인식 프로그램을 streamlit 패키지와 결합하여 웹 앱으로 구현

 

문자 인식 프로그램 만들기

• easyocr에서 Reader 클래스
  • easyocr의 핵심 클래스로 문자 인식에 사용할 언어를 리스트 타입으로 Reader 객체로 전달한다음, 함수 readtext()를 사용하면 이미지 속 문자를 감지할 수 있다
  • readtext() 는 이미지 파일을 입력받고, 이미지 속 문자의 좌표와 인식한 문자, 인식률을 튜플 타입으로 반환한다
  • 함수 readtext() 는 문자열 타입의 이미지 경로, bytes 타입의 이미지 데이터를 입력값으로 받는다
  • 반환값의 인식률은 1에 가까울수록 정확하다
    • result :
      [([[85, 288], [1088, 288], [1088, 457], [85, 457]], 'Being a vegetarian', 0.9823604886339942),
      ([[77, 417], [1159, 417], [1159, 574], [77, 574]], 'is a big missed steak', 0.4830981879580033)]
      
    • [85, 288], [1088, 288], [1088, 457], [85, 457]] : 좌표
    • 'Being a vegetarian' : 문자
    • 0.9823604886339942 : 인식률
    • 간단 예시 실행시 걸리는 시간은 6.5초.
• 바운딩 박스 추가
  • pillow의 polygon() 이용
  • 튜플 형태의 좌표를 입력으로 받음

 

문자 인식 웹 앱 만들기

• streamlit 사용
• 웹 앱에 이미지 파일을 업로드하면, 함수 read_text_and_draw_line() 을 사용해 이미지 속 문자를 인식하고 바운딩 박스를 그린 결과를 출력

 

 

3. DeepL 번역 기능 추가하기

위에서 만들어온 코드에 DeepL API를 추가하여 번역 기능을 추가할 수 있다

DeepL 사이트에 회원 가입후 무료 플랜으로 API를 사용하려면 카드 등록이 필요하다

번역 기능 추가후 결과물은 아래와 같다

 

내용을 쭉 따라가다보면 이렇게 위와 같은 간단한 이미지 인식 웹 페이지를 만들 수 있다

물론 단순 타이핑만으로는 라이브러리와 코드 사용법을 온전히 내것으로 만들기는 힘들지만.. 사용했던 것들을 바탕으로 조금씩 커스텀해보면서 익숙해지는 시간도 필요하다

 

챕터별 마지막에 있는 미니 프로젝트는 그동안 사용해왔던 코드와 기능들을 잘 응용해서 새로운 기능을 추가하거나 변형하는 연습 문제이다

 

 

---

 

Chapter13. 생성형 AI 기사 번역 앱

 

1. ollama 익히기

• ollama는 오픈소스 AI 모델을 편하게 관리할 수 있는 도구로, 다양한 오픈소스 LLM 을 지원한다
• 간편한 설치, 쉬운 사용법과 CLI 기반의 실행 방식이 특징
• ollama 사이트에서 다운받고 설치하기

https://ollama.com/download

Download Ollama on macOS

 

 

다운받고 파일 실행시켜 설치한뒤 터미널에서 ollama를 실행시 위와 같은 이미지처럼 정상적으로 실행된다

 

터미널창에서 gemma2 모델을 사용하기

 

 

젬마 모델 불러오기

 

 

간단한 문장 번역

 

 

ollama의 함수를 통해 문답 가능

import ollama

resp1 = ollama.chat(
    model="gemma2:9b",
    messages=[{'role':'user', 'content':'내 이름은 김춘식이여!!'}]
)

print(resp1['message'])

 

 

다만 이렇게 사용할 경우 이전의 대화 내역들이 이어지지 않으므로 LLM과 주고받은 대화를 모두 기록하고, 대화할 때마다 그 기록을 함께 전달하면 이전 대화를 이어나갈 수 있다 ⇒ 문맥 형성

import ollama

msgs = [{'role':'user', 'content':'내 이름은 김춘식이여!!'}]
resp1 = ollama.chat(model="gemma2:9b", messages=msgs)
msgs.append(resp1['message'])

msgs.append({'role':'user', 'content':'내 이름이 뭐라고 했지???'})
resp2 = ollama.chat(model="gemma2:9b", messages=msgs)
msgs.append(resp2['message'])

print(msgs)

---
[{'role': 'user', 'content': '내 이름은 김춘식이여!!'}, 
Message(role='assistant', content='안녕하세요, 김춘식님! 😊 
\n\n만나서 반가워요. 무엇을 도와드릴까요? 😄', images=None, tool_calls=None), 
{'role': 'user', 'content': '내 이름이 뭐라고 했지???'}, 
Message(role='assistant', content='김춘식이라고 말씀하셨어요! 😄 기억했니? 
\n\n\n\n\n무슨 이야기를 하고 싶으신가요, 김춘식님? 🤔', images=None, tool_calls=None)]

 

이렇게 대화 내역을 축적하여 문맥을 쭉 이을 수 있다. 다만 LLM마다 한 번에 처리할 수 있는 대화 개록의 길이에는 제한이 있다

 

 

 

2. 챗봇 만들기

streamlit으로 구현한 웹 앱에 구글 gemma2, 메타의 llama3.1을 동시에 사용하여, 사용자가 한 번 메세지를 입력하면 두 LLM으로부터 응답을 받아 비교할 수 있게 만들어볼 것이다

 

 

LLM을 활용한 챗봇 웹 앱 만들기

• streamlit 패키지의 채팅 위젯
  • 해당 패키지에서는 챗봇 구현을 지원하는 여러 명령어들을 지원한다
  • 그 중 아래의 두 함수는 챗봇 구현에 거의 필수적으로 사용된다
    • st.chat_message() : 앱에 채팅 메시지 컨테이너를 삽입한다
    • st.chat_input() : 사용자가 채팅 메세지를 입력할 수 있는 위젯을 표시한다

import streamlit as st
with st.chat_message('user'):
		st.write('Hello')
prompt = st.chat_input('Say something')

 

 

위의 간단한 streamlit 코드를 실행하면 아래의 간단한 웹 페이지가 나온다

 

 

streamlit 에서는 생성형 AI를 위한 채팅 위젯을 제공한다. 사용할 함수는 세 가지이다

1. init_session_state() : streamlit 세션을 초기화
2. chat_message_user() : LLM 모델에 전달한 사용자 메세지를 웹 앱의 화면에 출력
3. chat_message_llm() : LLM 모델의 응답을 웹 앱의 화면에 출력

 

 

 

 

여러 개의 LLM을 동시에 사용하기

 

오픈소스 LLM, 구글의 gemma2와 메타의 llama3.1을 사용

 

 

 

3. 가사 번역 웹 어플리케이션 만들기

• HTML 문서에서 텍스트 추출하는 방법을 학습한다
• 그리고 LLM을 활용하여 외국어 기사를 번역하는 웹 앱을 만드는 방법을 다룬다
• trafilatura 패키지는 웹 크롤링 및 스크레이핑에 사용되며, 특히 HTML 문서에서 텍스트를 효율적으로 추출한다. 중간의 분석 과정을 생략할 수 있기 때문에 원하는 데이터를 더 쉽게 추출할 수 있다

 

텍스트 추출하기

 

trafilatura 패키지로 웹사이트에서 텍스트 추출

• featch_url() : 주어진 URL에 접속하여 HTML을 수집
• extract() : 주어진 HTML에서 텍스트를 추출
• extract_metadata() : 주어진 HTML에서 제목, 작성자, 이미지 등 메타 데이터를 추출

import json
import trafilatura

url = "https://www.koreaherald.com/view.php?ud=20240725050618"
html: str = trafilatura.fetch_url(url) # HTML 수집
extracted: str = trafilatura.extract(html, output_format="json", with_metadata=True,)
parsed = json.loads(extracted)
print(parsed)
---
{'title': 'Seventeen announces world tour at fan meeting', 
'author': 'Kim Jae-heun', 'hostname': 'koreaherald.com', 
'date': '2024-07-25', 'fingerprint': '36598b35bd9b2394', 
'id': None, 'license': None, 'comments': '', 
'raw_text': 'K-pop sensation Seventeen of Pledis Entertainment concluded its eighth fan meeting with a surprise announcement of a world tour later this year. 
Seventeen held two editions of "2024 SVT 8th Fan Meeting (Seventeen in Carat Land)" at Gocheok Sky Dome in Seoul on Tuesday and Wednesday. 
The event left unforgettable memories for both the fans in attendance and those from 118 countries and regions watching live. 
...
'language': None, 
'image': 'https://wimg.heraldcorp.com/content/default/2024/07/25/20240725050564_0.jpg', 
'pagetype': 'article', 'filedate': '2025-03-19', 'source': 'https://www.koreaherald.com/article/3441040', 
'source-hostname': 'The Korea Herald', 
'excerpt': 'K-pop sensation Seventeen of Pledis Entertainment concluded its eighth fan meeting with a surprise announcement of a world tour later this year. 
Seventeen held two editions of "2024 SVT 8th Fan Meeting (Seventeen in Carat Land)" at Gocheok Sky Dome in Seoul on Tuesday and Wednesday. 
The event left unforgettable memories for both the fans in attendance and those from 118 countries and regions watching live. By the end on Wednesday, Seventeen released a teaser video announcing its world', 
'categories': '', 'tags': ''}

 

 

 

가사 번역 기능 추가

• 프롬프트 입력 위젯에 영문 기사 링크를 전달하면 이를 번역하여 원문과 함께 번역된 텍스트를 출력하는 챗봇
• 이를 위해 구현해야할 기능들 몇가지가 존재한다
  1. 프롬프트에 입력된 URL에 접속해 기사의 본문을 추출
  2. 추출한 텍스트를 생성형 AI를 사용해 번역
  3. 웹 앱의 레이아웃을 구축하고 기사의 원문과 번역할 텍스트를 출력
• 시스템 프롬프트 설정
  • 시스템 프롬프트는 AI 모델이 지켜야할 지침이나 맥락을 설정하는 역할
  • AI가 사용자의 메세지나 작업 요청을 어떻게 처리할 지에 대한 가이드를 제공한다
    • 역할 설정 : “당신은 숙련된 번역가입니다. 주어진 텍스트를 한국어로 번역하는 것이 당신의 임무입니다”
    • 어조 설정 : “친절하고 명확하게 답변해 주세요”
    • 규칙 설정 : “마크다운 서식을 유지해 주세요”

 

여기서 사용할 시스템 프롬프트

당신은 많은 언어에 대한 전문 지식을 갖춘 매우 숙련된 번역가입니다. 내가 제공하는 텍스트의 언어를 식별한 다음, 원문의 의미, 어조, 뉘앙스를 유지하면서 한국어로 정확하게 번역하는 것이 당신의 임무입니다. 번역된 버전에서는 문법, 철자, 구두점, 줄바꿈, 마크다운 서식을 정확하게 유지해 주세요.

 

 

ollama 에서 시스템 프롬프트를 설정하기 위해서는 ‘role’ 키의 값에 ‘system’을 지정하여 메시지를 보내면 된다

import ollama

msgs = [
	{'role':'system', 'content':'입력된 텍스트를 한국어로 번역해주세요'},
	{'role':'user', 'content':'Hello, World!'},
	]

resp = ollama.chat(model='gemma2:9b', messages=msgs)
print(resp['message']['content]

 

 

 

결과물

 

The use_column_width parameter has been deprecated and will be removed in a future release. Please utilize the use_container_width parameter instead.

사용한 파라미터 중 바뀐 부분이 있는 것 같다

 

 

 

 

 

---

지금까지 책, 혼자 만들면서 공부하는 파이썬의 책 소개와 공부한 내용 일부를 가져와서 정리해보았다

코드를 따라쳐보면서 여러 라이브러리들을 사용하고 공부해볼 수 있었고 미니 프로젝트를 통해 단순 코드 따라치기가 아닌 활용법까지 익힐 수 있었다

 

파이썬 기초책을 공부한 뒤 어떤 공부를, 책을 봐야할지 잘 모르겠다면 해당 책을 추천한다