[Python] 인공지능 스피커 만들기

개요

 

• 프로젝트명: 인공지능 스피커 만들기
• 제작 기간: 2022.09.19 ~ 2022.09.22
• 목표: 음성인식 기술(STT, TTS) 구현, 웹 스크래핑 익히기
• 개발 환경
  • OS: MacOS M1
  • IDE: VSCode

만든 계기

 

유튜브를 보다가 나도코딩님의 인공지능 스피커 만들기 【파이썬】 영상을 봤는데 인트로 20초 보고 바로 나도 만들어 보고 싶다는 생각이 들었다. 음성인식 성능이 굉장히 잘 나와서 안 따라 해 볼 수가 없었음!
그리고 지난 달에 지원했었던 <2022 한국어 AI 경진대회> 사전과제로 wav 파일을 다뤄 볼 일이 있었는데 당시 음성 데이터는 처음 다뤄보는 거라 너무 어렵게 느껴졌었다. 그때 아쉬움이 좀 남아서 이번에 영상을 따라 하면서 간단하게 인공지능 스피커를 만들어보면 좀 더 쉽게 이해할 수 있을 것 같아 도전했다.

사용 기술

 

TTS(Text To Speech)

• gTTS
• playsound
• PyObjC

STT(Speech To Text)

• SpeechRecognition
• PyAudio

웹 스크래핑

• beautifulsoup4

디렉토리 구조

 

📦AI_Speaker
 ┣ 📂myenv
 ┃ ┣ 📂bin
 ┃ ┣ 📂include
 ┃ ┣ 📂lib
 ┣ 📂scrape
 ┃ ┣ 📂__pycache__
 ┃ ┣ 📜naver_exchange_rate.py
 ┃ ┗ 📜naver_weather.py
 ┣ 📂TTS_STT
 ┃ ┣ 📜sample.txt
 ┃ ┣ 📜sample_fr.txt
 ┃ ┣ 📜speech_to_text.py
 ┃ ┗ 📜text_to_speech.py
 ┣ 📜reqirements.txt
 ┗ 📜speaker.py

참고

 

인공지능 스피커 만들기 【파이썬】

파이썬 가상환경 사용 방법 | venv

파이썬 코딩 무료 강의 (활용편3) - 웹 크롤링/웹 스크래핑

34.2 클래스 속성 사용하기

제작 과정

 

TTS 실습

 

TTS 실습은 아주 스무스하게 진행됐다.
짧은 문장 뿐만 아니라 3줄 이상의 긴 문장들도 음성으로 잘 재생됐다.

from gtts import gTTS
from playsound import playsound

# 한국어 짧은 문장 테스트
text = '저는 기계입니다. 하지만 괜찮아 보이죠?'
file_name = 'sample.mp3'
tts_ko = gTTS(text=text, lang='ko') # gTTS(text=, lang=) -> text: gTTS할 텍스트, lang: 언어 (한글 = 'ko')
tts_ko.save(file_name) 
playsound(file_name) # .mp3 파일 재생


# 한국어 긴 문장 테스트 (파일 불러와서 처리하기)
# sample.txt -> 한국어 문장이 들어있는 텍스트 파일
with open('TTS_STT/sample.txt', 'r', encoding='utf8') as f: # 파일을 한글로 읽어올 거니까 encoding='utf8'
    text = f.read()

file_name = 'sample.mp3'
tts_ko = gTTS(text=text, lang='ko') 
tts_ko.save(file_name) 
playsound(file_name) 

• gTTS()에서는 언어를 입력할 때 'lang'으로 작성

 

❗️에러 

 

실습할 때는 text_to_speech.py 파일 자체를 따로 폴더에 넣지 않아서 문제가 없었는데
다 만들고 난 후에 실습했던 파일들을 TTS_STT 폴더로 이동하면서 sample.txt 파일의 경로를 다시 설정해줘야 했다.

 

sample.txt 파일이랑 text_to_speech.py 파일을 같은 폴더에 있어서

그냥 '/'만 추가해서 with open('/sample.txt',이라고 했더니 경로를 찾을 수 없다고 에러가 났다.

 

찾아보니 그냥 폴더 이름을 써주면 해결되는 간단한 에러였음. with open('TTS_STT/sample.txt',라고 해주면 해결!

 

전에도 이 에러를 자주 만났었는데 프로젝트를 오랜만에 해서 그런지 기억이 잘 안 났다...

이제 방법을 알았으니까 앞으로는 안 까먹을 것이다!

STT 실습

 

모든 과정이 다 스무스하게 잘 진행돼서 기뻐하던 중, 드디어 고난이 시작됐다.

STT를 구현하기 위해 필요한 모듈인 PyAudio를 설치하는 과정에서 에러가 났다.

 

❗️에러 

 

찾아보니 파이썬 자체를 재설치해보라는 이야기가 많았는데 잘못 건드렸다가는 되돌릴 수 없을 것 같아서 다른 방법을 찾아보던 중

나도코딩님 영상 댓글에 나랑 같은 에러가 나셨다는 분을 발견했다.

 

그분도 결국 brew install python3로 파이썬 자체를 재설치하신 다음에 venv 가상환경도 다시 세팅하셔서 해결하셨다고 했다...

 

나는 python이 anaconda에 설치되어 있어서 삭제하지는 못했고 그냥 brew install python3로 파이썬을 설치한 다음에 가상환경을 다시 세팅하고 나니 PyAudio가 제대로 설치됐다!

 

생각보다 간단하게 해결돼서 다행이었다.

 

 

에러를 해결하고 드디어 마이크로 음성인식을 직접 시도했다!

import speech_recognition as sr

# 마이크로부터 음성 듣기
r = sr.Recognizer()

with sr.Microphone() as source:
    print('듣고 있어요') # 이 문장이 뜨고 나면 그때부터 말하면 됨 
    audio = r.listen(source) # 마이크로부터 음성 듣기

# 예외처리
try:
    # 구글 API로 인식 (하루 50회 까지로 제한)

    # 영어 문장 테스트
    text = r.recognize_google(audio, language='en-US')
    print(text)

except sr.UnknownValueError:
    print('인식 실패') # 음성 인식에 실패한 경우

except sr.RequestError as e:
    print('요청 실패 : {0}'.format(e)) # 요청 실패한 이유 같이 출력 -> API key 오류, 네트워크 단절 등

• sr.Recognizer()에서는 언어를 입력할 때 'language'로 작성

 

먼저 영어로 해봤다.

빨간색 화살표 부분이 내가 말한 내용이 텍스트로 변환돼서 출력된 부분!

 

한국어도 굉장히 잘 인식한다.

 

하지만 사투리는 이상하게 인식했다. (내 발음이 안 좋았던 것일 수도...)

 

궁금해서 프랑스어로도 해봤는데 인식이 잘 돼서 또 놀랐다!
여성형, 남성형도 발음으로 구분해서 텍스트로 잘 나온다. 역시 구글 👍
이걸로 내 불어 발음을 인정받은 것 같아서 좀 더 기뻤다 

인공지능 스피커 구현

 

위에서 실습한 TTS, STT를 가지고 이제 대망의 인공지능 스피커를 구현했다.

감격스러운 첫 대화..!

 

작동 플로우는

1) TTS를 이용해서 인공지능이 '무엇을 도와드릴까요?'를 말한다.
2) 사람이 말을 하면 STT로 말한 내용을 텍스트로 보여준다.
3) 사람이 말한 내용 중에 answer()함수에서 정의해둔 단어가 들어가면 인공지능이 그에 맞는 대답을 다시 TTS로 말해주는 형식.

 

이때는 나도코딩님의 영상에 나온 대로 인공지능이 답할 내용을 직접 str으로 미리 지정해뒀다.

만들다 보니 인공지능이 대답할 내용을 이렇게 직접 지정해두는 게 아니라 API나 크롤링을 사용해서 진짜 인공지능 스피커처럼 실시간 정보를 답하게 하고 싶었다.

 

그래서 날씨와 환율에 대한 답을 네이버 스크래핑을 통해 가져오는 코드를 추가했다!

네이버 날씨, 환율 정보 웹 스크래핑

 

처음엔 스크래핑한 결과를 함수 형태로 받아와서 answer()함수 내 answer_text에 넣었는데

이렇게 하니 answer_text에 TTS가 적용되지 못했다.

 

인공지능이 답하는 게 텍스트로는 출력되지만 소리 내서 읽는 것에 에러가 났다.

 

그래서 class의 속성으로 받아오도록 수정했다.

 

# 네이버 환율 스크래핑
import requests
from bs4 import BeautifulSoup

# 원달러 환율 정보 가져오기
class Exchange:
    def __init__(self, url=None, res=None, soup=None):
        self.url = "https://search.naver.com/search.naver?where=nexearch&sm=top_hty&fbm=1&ie=utf8&query=%ED%99%98%EC%9C%A8"
        self.res = requests.get(self.url)
        self.soup = BeautifulSoup(self.res.text, "lxml")
        # 현재 원달러 환율
        self.curr_exchange = self.soup.find("span", attrs={"class":"recite _recite result"}).get_text()
        # 등락률
        self.ex_rate = self.soup.find("td", attrs={"class":"flu_pct"}).get_text()

 

# 네이버 서울 날씨 스크래핑
import requests
from bs4 import BeautifulSoup

# 오늘의 서울 날씨 정보 가져오기
class Weather:
    def __init__(self, url=None, res=None, soup=None):
        self.url = "https://search.naver.com/search.naver?where=nexearch&sm=top_hty&fbm=1&ie=utf8&query=%EC%84%9C%EC%9A%B8+%EB%82%A0%EC%94%A8"
        self.res = requests.get(self.url)
        self.soup = BeautifulSoup(self.res.text, "lxml")
        # 현재 온도
        self.curr_temp = self.soup.find("div", attrs={"class":"temperature_text"}).get_text().replace("현재 온도", "현재 서울의 온도는 ").strip() # 공백 제거
        # 날씨 상태
        self.weather_con = self.soup.find("span", attrs={"class":"weather before_slash"}).get_text() 
        # 어제보다
        self.yester_temp = self.soup.find("p", attrs={"class":"summary"}).get_text().split('아요')[0] # 출력 시 뒤에 '습니다.' 붙이기
        # 최저기온
        self.min_temp = self.soup.find("span", attrs={"class":"lowest"}).get_text().replace("최저기온", "최저기온은 ")
        # 최고기온
        self.max_temp = self.soup.find("span", attrs={"class":"highest"}).get_text().replace("최고기온", "최고기온은 ")

 

❗️에러 

 

이 글을 작성하면서 다시 실행시켜보니 위 코드의 yester_temp가 에러가 났다.

• 수정하기 전 코드
  • self.yester_temp = self.soup.find("span", attrs={"class":"temperature down"}).get_text()

분명 그저께 실행했을 때는 잘 작동했는데 갑자기 왜 에러가 나는지 살펴보니 "temperature down" 때문이었다.

 

 

내가 처음에 코드를 짤 때는 물결 표시된 저 부분이 "temperature down"이라고 되어 있었는데 오늘은 어제보다 기온이 올라서 "temperature up"으로 바뀐 것.

 

수정 전 코드는 '어제보다' 뒤의 온도만 가져왔었는데 온도가 높아지고 낮아지는 것에 따라 계속 바뀌니까
아예 그 위의 <p class="summary"> 부분을 다 받아와서 '어제보다 00° 높/낮'까지만 받아오도록 수정했다.

• 수정한 코드
  • self.yester_temp = self.soup.find("p", attrs={"class":"summary"}).get_text().split('아요')[0]

 

 

 

# 스크래핑 클래스 불러오기
import scrape.naver_exchange_rate as nex
import scrape.naver_weather as nwh

# (날씨)
# 인스턴스 선언
wh = nwh.Weather()
# 속성 받기
wh.curr_temp # 현재 서울의 온도
wh.weather_con # 날씨 상태 (ex. 맑음, 흐림, ...)


# (환율)
# 인스턴스 선언
ex = nex.Exchange() 
# 속성 받기
ex.curr_exchange # 현재 원달러 환율
ex.ex_rate # 등락률

결과 시연

 

• 9월 20일

 

• 9월 22일

 

웹 스크래핑으로 실시간 날씨, 환율 정보를 받아서 매번 다르게 잘 대답한다.

9월 22일 대화에서 마지막에 "이제 종료하다"는 사실 "이제 종료하자"라고 말한 거였는데 '자'를 '다'라고 잘못 인식된 모습도 보인다.

에러 모음집

 

1) [bs4 에러] ImportError: cannot import name 'BeautifulSoup'

• 파일명이 'bs4.py'로 되어 있어서 모듈을 불러오지 못함
• -> 파일명을 수정하면 해결
  • 파이썬 bs4 에러 ImportError: cannot import name

 

2) [bs4 lxml 에러] bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml.

• 에러 문: bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library?
• lxml을 설치하면 해결
• -> pip install lxml
  • [파이썬 에러] bs4.FeatureNotFound

 

3) [git 에러] ! [rejected] main -> main (fetch first)

• 원격 저장소와 현재 작업 중인 로컬 저장소가 동기화되지 않아서 발생
• 동기화되지 않은 상태에서 다시 push 하면 데이터가 소실될 수 있다고 경고
• 동기화를 위해 pull 한 후 push 하면 해결
• -> git pull --rebase origin main
  • [git] 에러 | ! [rejected] main -> main (fetch first)

느낀 점 및 향후 개선 방안

 

• 느낀 점

간단하게 따라 해보는 미니 토이 프로젝트였지만 코드를 짜서 무언가를 만들어 보는 게 정말 오랜만이라 만들면서 너무 기뻤다.

구글 API를 이용해서 인공지능 스피커를 정말 간단하게 만들 수 있다는 것에 놀랐고, 생각보다 음성을 굉장히 잘 인식해서 한번 더 놀랐다. (갓 구글!)

 

• 향후 개선 방안

다음에는 구글 API가 아니라 네이버 번역 API를 사용해서 다시 한번 만들어 볼 것이다.

그리고 API를 사용하지 않고 TTS와 STT를 직접 구현하는 것에도 도전할 것이다.