Show GN: 입으로낸 소리를 Sound effect로 만들어주는 오픈소스 프로젝트 (New UX for sound generation)

안녕하세요 모델을 하나 만들고 오픈소스로 오픈했는데 공유해봅니다.

영상이나 게임을 만들기위해서 특정 사운드가 필요했던 적이 있으신가요?

머릿속에는 정확히 어떤 소리인지 들어있지만, 그걸 어떻게 표현하고 찾아야할지 방법이 없으셨을겁니다.

그런 이유로 게임 스튜디오들의 사운드 관련 미팅을 들어가보면 대화보다 이런 소리가 더 많이 들립니다.

“퓨퓨- 보다는 피유↘︎피유↘︎ 면 좋겠는데”

그래서 만들었습니다!

제가 만든 모델은 입으로 원하는 소리를 따라서 내고 그걸 텍스트와 함께 모델에 input으로 넣으면 그 sound effect를 생성해주는 모델입니다.(꽤 많은 시간과 데이터를 사용)

repo: https://github.com/thxxx/VTS
demo: https://spicy-pufferfish-699.notion.site/VTS-347cf95761f480f19dc0eb790…

(demo 링크에 들어가셔서 들어보시면 이게 무슨 뜻인지 훨씬 더 감이 오실거에요ㅎㅎ)