엔지니어 대한민국

이번시간에는 TTS로 생성된 음성파일을 아바타 애니메이션과 통합하는 방법에 대해서 알려드리겠습니다.

지난 시간에 음성파일 재생을 지원하기 위해 Mac에 mpg123 라이브러리를 설치했는데요 안하신 분이 계시면 꼭 설치를 해주시기 바랍니다.

brew install mpg123

그리고 일전에 배웠던 아바타 애니메이션 코드에 아래 함수를 추가해주세요.

def play_voiceover(file_path):
    os.system(f"mpg123 {file_path} &")

def animate_avatar_with_voice(images, voiceover_path):
    play_voiceover(voiceover_path)
    animate_avatar(images)

윈도우 사용자들은 위의 play_voiceover()함수에서 음성파일 실행하는 명령어를 start로 바꿔주세요.

os.system(f'start {file_path}')

그리고 코드 맨 끝에서 animate_avatar_with_voice()함수를 호출해줍니다.

animate_avatar_with_voice(opencv_images, 'avatar_voiceover.mp3')

완성된 코드는 다음과 같습니다.

import os
import cv2
import dlib
import numpy as np
from PIL import Image

def get_files_with_extensions(directory, extensions):
    # get multiple files
    files = os.listdir(directory)
    if len(extensions) > 0:
        return [f for f in files if os.path.splitext(f)[1].lower() in extensions]
    else:
        return files

# dlib 얼굴 검출기 로드
detector = dlib.get_frontal_face_detector()

# 이미지에서 얼굴을 추출하는 함수
def extract_face(image_path):
    image = cv2.imread(image_path)
    faces = detector(image)
    if  len(faces) > 0:
        face = faces[0]   # 발견된 첫 번째 얼굴 추출
        x, y, w, h = face.left(), face.top(), face.width(), face.height()
        face_image = image[y:y+h, x:x+w]
        return cv2.cvtColor(face_image, cv2.COLOR_BGR2RGB)
    else :
        return  None

# 여러 얼굴을 추출하여 반환
def extract_faces_from_arr(image_paths):
    faces = []
    for path in image_paths:
        face = extract_face(path)
        if face is not None :
            faces.append(face)
    return faces

# 얼굴과 비디오 프레임을 합성 아바타로 통합하는 함수
def extract_faces_from_folder(frame_dir):
    # 프레임에서 얼굴 추출하여 배열에 저장
    frame_faces = []
    for frame_file in get_files_with_extensions(frame_dir, ['.jpg', '.png']):
        frame_path = os.path.join(frame_dir, frame_file)
        frame_image = extract_face(frame_path)   # extract_face 함수 재사용
        if frame_image is not None :
            frame_faces.append(frame_image)
    return frame_faces
    
def merge_faces(image_faces, frame_faces):
    return image_faces + frame_faces

def animate_avatar(images):
    cv2.namedWindow('Avatar Animation', cv2.WINDOW_NORMAL)
    for i in range(30):  # Number of animation cycles
        for image in images:
            cv2.imshow('Avatar Animation', image)
            if cv2.waitKey(1) & 0xFF == ord('q'):
                break
    cv2.destroyAllWindows()

def play_voiceover(file_path):
    os.system(f"mpg123 {file_path} &")

def animate_avatar_with_voice(images, voiceover_path):
    play_voiceover(voiceover_path)
    animate_avatar(images)

# 얼굴을 추출할 이미지 경로
image_paths = ['image1.png', 'image2.png', 'image3.png']
image_faces = extract_faces_from_arr(image_paths)

# 동영상 추출 프레임 이미지 폴더 경로
folder_path = 'frames'
frame_faces = extract_faces_from_folder(folder_path)

all_faces = merge_faces(image_faces, frame_faces)

# Convert the PIL images to OpenCV format for animation
opencv_images = [cv2.cvtColor(np.array(img), cv2.COLOR_RGB2BGR) for img in all_faces]

# Animate the avatar
animate_avatar_with_voice(opencv_images, 'avatar_voiceover.mp3')

실행을 해보기 전에 애니메이션 할때 사용했던 이미지파일들과 만들어 두었던 TTS음성파일을 같은 폴더에 저장합니다. 음성파일 복사해오는 대신 TTS음성파일 만드는 코드를 여기에 갖다 붙여서 사용해도 좋구요.

python voiceover.py

실행해보시면 얼굴들이 미친듯이 돌아가면서 음성파일이 실행됩니다. 전혀 AI 아바타같지는 않은데…이걸로 뭘하라는 건지 잘 모르겠네요..글쓴이는 뭔가 그럴싸한 아이디어를 주었다고 생각하는거 같은데 사실 이건 그 사람이 실제 개발하고 있는 코드는 밥그릇째 내줄수 없다 뭐 그런 느낌이에요. 여기에서 뭔가 스스로 발전시키라는 의도인것 같은데 암튼 좀더 리서치를 해보고 좋은 글을 찾아서 다시 공유하도록 하겠습니다.

References

• Creating an AI Avatar – Medium

안녕하세요. 이번시간에는 지난시간까지 만들었던 아바타에 음성기능을 추가하기 위해서 텍스트를 음성으로 변환하는 라이브러리들을 배워볼거에요.

Text to Speech

pyttsx3

아바타에 텍스트 음성 변환(TTS) 기능을 추가하려면 pyttsx3, gTTS, 또는 pydub과 같은 Python 라이브러리를 사용할 수 있는데요. 본 강의에서는 오프라인에서도 잘 작동하고 다양한 TTS 엔진을 지원하는 pyttsx3를 사용하여 음성기능을 추가하는 방법을 진행하도록 하겠습니다.

필요한 라이브러리를 추가로 설치해주세요.

pip install pyttsx3

tts_by_pyttsx3.py라는 파일을 하나 생성하세요. 그리고 pyttsx3라이브러리를 포함합니다.

import pyttsx3

그리고 TTS엔진을 초기화 시킵니다.

# Initialize the text-to-speech engine
engine = pyttsx3.init()

다음으로는 텍스트를 음성으로 변환해주는 함수, text_to_speech()를 선언해주세요. 인자로는 변환할 텍스트와 음성파일 저장위치 입니다. 엔진의 setProperty()함수를 통해서 속도나 볼륨등을 조절한 뒤, 엔진의 say()함수를 호출해서 프로그램이 실행되면 텍스트를 음성으로 변환하여 재생하도록 합니다. 엔진에 텍스트와 음성파일의 저장위치도 전달하여 파일을 저장합니다. 함수의 맨 끝에 runAndWait()함수를 호출하여 음성재생이 끝날때까지 프로그램의 종료를 지연시킵니다.

# Function to convert text to speech
def text_to_speech(text, save_path=None):
    engine.say(text)
    
    # Optionally save the speech to a file
    if save_path:
        engine.save_to_file(text, save_path)
    
    engine.runAndWait()

임의의 문자열을 변수에 저장하고, text_to_speech()함수에 인자로 전달하여 호출합니다. 이때, 저장할 파일명도 함께 전달합니다. 참고로 속도나 볼륨, 다른 목소리 사용하기등 pyttsx3에 대한 추가옵션을 여기에서 확인하세요.

# Example text for the avatar to speak
text = "Hello! I am your AI avatar. Nice to meet you!"

# Convert the text to speech and save it to a file
text_to_speech(text, save_path='avatar_voiceover.mp3')

완성된 코드는 아래와 같습니다.

import pyttsx3

# Initialize the text-to-speech engine
engine = pyttsx3.init()

# Function to convert text to speech
def text_to_speech(text, save_path=None):
    engine.say(text)
    
    # Optionally save the speech to a file
    if save_path:
        engine.save_to_file(text, save_path)
    
    engine.runAndWait()

# Example text for the avatar to speak
text = "Hello! I am your AI avatar. Nice to meet you!"

# Convert the text to speech and save it to a file
text_to_speech(text, save_path='avatar_voiceover.mp3')

실행해볼게요.

python text_to_speech.py

해당 텍스트를 프로그램 실행하니까 바로 음성으로 제공되고, 해당 음성이 같은 폴더에 avatar_voiceover.mp3로 저장도 됩니다. Mac에서 mp3결과물을 실행해보려면 mpg123같은 음성재생라이브러리가 필요합니다.

brew install mpg123

어떤 이유에서 인지 pyttsx3로 생성한 mp3파일은 mpg123으로 재생이 안되고 에러가 나는데 이건 pyttsx3패키지 문제인것 같습니다.

$ mpg123 output_pyttsx3.mp3
High Performance MPEG 1.0/2.0/2.5 Audio Player for Layers 1, 2 and 3
	version 1.32.10; written and copyright by Michael Hipp and others
	free software (LGPL) without any warranty but with best wishes


Terminal control enabled, press 'h' for listing of keys and functions.

Playing MPEG stream 1 of 1: output_pyttsx3.mp3 ...

MPEG 1.0 L II cbr379 44100 stereo
[src/libmpg123/getbits.h:getbits():46] error: Tried to read 16 bits with -13 available.
[src/libmpg123/layer2.c:INT123_do_layer2():365] error: missing bits in layer II step two
[src/libmpg123/getbits.h:getbits():46] error: Tried to read 16 bits with -13 available.
[src/libmpg123/getbits.h:getbits():46] error: Tried to read 16 bits with -29 available.
[src/libmpg123/getbits.h:getbits():46] error: Tried to read 16 bits with -45 available.
[src/libmpg123/layer2.c:INT123_do_layer2():365] error: missing bits in layer II step two
Note: Illegal Audio-MPEG-Header 0x00f00210 at offset 6636.
Note: Trying to resync...
Note: Skipped 466 bytes in input.

Warning: Big change from first (MPEG version, layer, rate). Frankenstein stream?
> 02+65  00:00.20+00:06.79 --- 100=100   0 kb/s 1237 B acc 1656 clip p+0.000
MPEG 2.5 L II cbr95 11025 j-s
Note: Illegal Audio-MPEG-Header 0x2bd520d3 at offset 8339.
Note: Trying to resync...
Note: Skipped 658 bytes in input.

Warning: Big change from first (MPEG version, layer, rate). Frankenstein stream?
> 03+76  00:00.14+00:03.65 --- 100=100  80 kb/s  481 B acc 1179 clip p+0.000
MPEG 2.5 L III cbr80 12000 mono
Note: Illegal Audio-MPEG-Header 0xe027de53 at offset 9478.
Note: Trying to resync...
Note: Skipped 1024 bytes in input.
[src/libmpg123/parse.c:wetwork():1389] error: Giving up resync after 1024 bytes - your stream is not nice... (maybe increasing resync limit could help).
main: [src/mpg123.c:play_frame():866] error: ...in decoding next frame: Failed to find valid MPEG data within limit on resync. (code 28)

This was a Frankenstein track.
[0:00] Decoding of output_pyttsx3.mp3 finished.

gtts

이번에는 gtts를 이용해서 TTS를 구현해 보도록 하겠습니다.

gtts를 설치해주세요.

pip install gtts

그리고 tts_by_gtts.py를 생성해서 아래 코드를 저장해주세요.

from gtts import gTTS

tts = gTTS("Hello, world!", lang="en")
tts.save("output_gtts.mp3")

실행해 보시면 output_gtts.mp3가 생성되어 있을거에요.

python tts_by_gtts.py

gtts로 만든 파일은 mpg123를 이용해서 재생할 수 있습니다.

mpg123 output_gtts.mp3

그런데 얘는 다양한 목소리 지원이나 속도, 볼륨조절등의 옵션은 없어요. 그럼 다음시간에 마지막으로 애니메이션과 음성을 병합하는 코드 함께 해볼게요.

References

• Creating an AI Avatar – Medium

이번시간에는 지난시간에 만든 아바타를 가지고 움직이게 만들어 볼거에요. 지난 시간에 만든 코드에 덧붙여서 만들거에요. 반드시 지난 시간 코드를 알고 계셔야합니다.

코드의 맨 마지막에 아래 코드를 추가합니다. 아래 코드는 기존에 이미지와 동영상프레임 이미지들에서 획득한 얼굴이미지들을 하나씩 돌면서 RGB형식으로 만들어진 이미지를 BGR로 변환합니다.

opencv_images = [cv2.cvtColor(np.array(img), cv2.COLOR_RGB2BGR) for img in faces]

그리고 아바타에 움직을 추가할 함수, animate_avatar()를 선언합니다. 인자로는 얼굴 이미지들을 넘겨받고, 이미지들을 빠르게 돌려서 움직이는 것 처럼 보이게 만듭니다.

def animate_avatar(images):
    cv2.namedWindow('Avatar Animation', cv2.WINDOW_NORMAL)
    for i in range(30):  # Number of animation cycles
        for image in images:
            cv2.imshow('Avatar Animation', image)
            if cv2.waitKey(1) & 0xFF == ord('q'):
                break
    cv2.destroyAllWindows()

# Animate the avatar
animate_avatar(opencv_images)

아래는 완성된 코드입니다.

import os
import cv2
import dlib
import numpy as np
from PIL import Image

def get_files_with_extensions(directory, extensions):
    # get multiple files
    files = os.listdir(directory)
    if len(extensions) > 0:
        return [f for f in files if os.path.splitext(f)[1].lower() in extensions]
    else:
        return files

# dlib 얼굴 검출기 로드
detector = dlib.get_frontal_face_detector()

# 이미지에서 얼굴을 추출하는 함수
def extract_face(image_path):
    image = cv2.imread(image_path)
    faces = detector(image)
    if  len(faces) > 0:
        face = faces[0]   # 발견된 첫 번째 얼굴 추출
        x, y, w, h = face.left(), face.top(), face.width(), face.height()
        face_image = image[y:y+h, x:x+w]
        return cv2.cvtColor(face_image, cv2.COLOR_BGR2RGB)
    else :
        return  None

# 여러 얼굴을 추출하여 반환
def extract_faces_from_arr(image_paths):
    faces = []
    for path in image_paths:
        face = extract_face(path)
        if face is not None :
            faces.append(face)
    return faces

# 얼굴과 비디오 프레임을 합성 아바타로 통합하는 함수
def extract_faces_from_folder(frame_dir):
    # 프레임에서 얼굴 추출하여 배열에 저장
    frame_faces = []
    for frame_file in get_files_with_extensions(frame_dir, ['.jpg', '.png']):
        frame_path = os.path.join(frame_dir, frame_file)
        frame_image = extract_face(frame_path)   # extract_face 함수 재사용
        if frame_image is not None :
            frame_faces.append(frame_image)
    return frame_faces
    
def merge_faces(image_faces, frame_faces):
    return image_faces + frame_faces

def animate_avatar(images):
    cv2.namedWindow('Avatar Animation', cv2.WINDOW_NORMAL)
    for i in range(30):  # Number of animation cycles
        for image in images:
            cv2.imshow('Avatar Animation', image)
            if cv2.waitKey(1) & 0xFF == ord('q'):
                break
    cv2.destroyAllWindows()

# 얼굴을 추출할 이미지 경로
image_paths = ['image1.png', 'image2.png', 'image3.png']
image_faces = extract_faces_from_arr(image_paths)

# 동영상 추출 프레임 이미지 폴더 경로
folder_path = 'frames'
frame_faces = extract_faces_from_folder(folder_path)

all_faces = merge_faces(image_faces, frame_faces)

# Convert the PIL images to OpenCV format for animation
opencv_images = [cv2.cvtColor(np.array(img), cv2.COLOR_RGB2BGR) for img in all_faces]

# Animate the avatar
animate_avatar(opencv_images)

실행을 해보도록 하겠습니다. 본 파일을 실행전에 얼굴에 사용할 이미지 3개와 동영상에서 캡쳐한 프레임이미지들이 frames에 들어있는지 확인한 뒤 실행합니다.

python animate_avatar.py

실행을 하면 팝업이 하나 뜨는데 그 안에서 지금까지 생성한 얼굴들이 빠르게 돌아갑니다. 중간에 멈추고 싶을때는 Ctrl+C를 누르면 종료합니다.

아직까지는 그닥 아바타 같아보이지가 않아서, 상용화가 가능하도록 다듬는 부분에 있어서는 아무래도 따로 리서치를 해서 추가로 블로깅을 해야할것 같습니다. 생각보다 실망스러운데 일단 다음시간에 하는 더빙까지 붙여 보도록 하겠습니다.

References

• Creating an AI Avatar – Medium

유투브 동영상 올리면 썸네일 어떤거 할거냐고 고르라고 동영상에서 이미지들 몇개 캡쳐해서 주르륵 보여주잖아요. 이번시간에는 동영상에서 키프레임을 추출하는 코드를 작성해보도록 하겠습니다. 이렇게 추출한 이미지들을 아바타로 활용하면 아무래도 여기저기서 따로 찍은 사진들을 조합해서 만드는 것보다 자연스럽고 일관된 모습의 아바타를 만들수 있기때문에 동영상에서 아바타에 사용할 이미지를 추출하는것을 추천드립니다.

동영상파일을 읽어오는데 필요한 라이브러리는 moviepy입니다. 필요한 라이브러리를 설치해주세요.

pip install moviepy pillow

extract_keyframes.py이라는 파일을 하나 생성해주세요. 그리고 해당라이브러리와 출력파일을 저장하기 위해 필요한 os도 코드에 포함시켜주세요.

import os 
from moviepy import VideoFileClip
from PIL import Image

이제 키프레임을 추출할 동영상을 변수에 담습니다

video_path = 'video2.mp4'

그리고 동영상에서 이미지를 많이 추출해달라고 요청하는 경우에 대비해서 추출한 이미지파일들을 frames라는 폴더안에 생성하도록 할게요.

output_frame_dir = 'frames'

이제 동영상에서 키프레임을 추출하는 함수를 만들어 보도록 하겠습니다. 이 함수는 동영상경로와 저장할 폴더위치, 그리고 추출하고자하는 프레임갯수를 인자로 넘겨받고 동영상을 읽어서 해당위치에 필요한 갯수만큼의 키프레임 캡쳐하여 지정한 폴더에 이미지로 저장해줄겁니다.

def extract_frames( video_path, output_dir, num_frames=10 ): 

일단 VideoFileClip()함수에 인자로 받은 동영상경로를 넘겨주어 비디오 클립 Object를 받아옵니다. 해당 동영상의 길이가 얼마나 되는지를 봐서 생성하고 싶은 키프레임으로 나누어 주면 어느정도 간격으로 프레임을 추출해야 동영상 전반에 걸쳐 고르게 추출할수 있는지가 나오겠죠.

    clip = VideoFileClip(video_path) 
    duration = clip.duration 
    interval = duration / num_frames 

이미지를 저장할 경로가 존재하지 않으면 에러가 나니까 폴더가 없으면 만들어 줍니다.

    if  not os.path.exists(output_dir): 
        os.makedirs(output_dir) 

동영상에서 이미지를 가져오는 방법은 클립 object의 get_frame()함수에게 어느시간대의 프레임을 가져오라고 하면 얘가 배열을 반환합니다. 그러면 Image.fromarray()함수로 배열을 이미지로 변환해서 지정된 폴더에 저장을 합니다.

    for i in range(num_frames): 
        frame_time = i * interval 
        frame = clip.get_frame(frame_time) 
        frame_image = Image.fromarray(frame) 
        frame_image.save( f" {output_dir} /frame_ {i} .jpg" ) 

완성된 코드는 다음과 같습니다.

import os
from moviepy import VideoFileClip
from PIL import Image

# 비디오에서 프레임을 추출하는 함수
def extract_frames(video_path, output_dir, num_frames=10):
    clip = VideoFileClip(video_path)
    duration = clip.duration
    interval = duration / num_frames
   
    if  not os.path.exists(output_dir):
        os.makedirs(output_dir)

    for i in range(num_frames):
        frame_time = i * interval
        frame = clip.get_frame(frame_time)
        frame_image = Image.fromarray(frame)
        frame_image.save(f"{output_dir}/frame_{i}.jpg")

# 프레임 추출 함수 호출
video_path = 'video1.mp4'
output_frame_dir = 'frames'
extract_frames(video_path, output_frame_dir)

그러면 파일을 실행해보도록 하겠습니다. 실행하기 전에 동영상파일을 하나 가져다가 같은 폴더에 저장합니다.

그리고 스크립트를 실행하면

python extract_keyframes.py

다음과 같이 frames라는 폴더 안에 10개의 키프레임이 이미지로 저장이 됩니다.

References

• Creating an AI Avatar – Medium