VRChat 마이너 갤러리 저장소

제 목
일반 인공지능 활용 보이스체인지 1차 학습 종료 2번째.과정
글쓴이
ㅇㅇ
추천
11
댓글
0
원본 글 주소
https://gall.dcinside.com/vr/1885327
  • 2022-05-18 10:08:21
  • 220.70
							

1편 : https://gall.dcinside.com/mgallery/board/view/?id=vr&no=1875946&s_type=search_subject_memo&s_keyword=%EA%B0%9C%EC%A7%80%EB%9E%84%EC%A4%91&page=1




지난 시간까지의 과정은


내 목소리를 전부 녹음하고, 이를 인공지능에게 계~속 학습시키는 작업까지 이루어졌다.


구글에서 제공해주는 하루 연산량은 한계가 있다.

이를 대체하는 방법으로 구글 부계정을 파서 거기에 파일을 옮겨서 이어서 학습시키는 방법인데


학습된 파일은 생각보다 용량이 거대하다., 생각보다 귀찮은 작업이라 그냥 하루에 정해진 양만 학습시키는 방법을 이용한다.



그리고 결국 새벽 내에 학습이 이루어져서



a04829aa0f07b45f8a34155958c12a3a5c436999568b6ab20219db

나도 전문가가 아니기에 졷도 모르지만, 설명에 의하면 G/MEL의 tensor 부분이 음성과의 싱크율인지 뭔지인 것 같고

18~19에 가까우면 합격점이라고 했다. 낮으면 낮을수록 좋다고. 나같은 경우 지금까지 학습하면서 보통 21대가 나오다가 

슬슬 19대가 나오는 것이다.


24000이라고 쓰여진 것은 학습량이다. 한 사이클에 1000씩 오르는데, 0부터 지금까지 3일정도 걸린듯하다.


24000까지 왔으니까 학습을 종료시켜도 되는지에 대해선, 물론 아니다.

제작자 왈 : 학습은 계속 시키는 편이 좋다.




트레이닝이 어느정로 일단락 됬다면 인터페이스로 이동한다.


a04829aa0f07b45f8a34155958c12a3a5c436999568b68b1011dd0

와... 피지컬 지린다.... (딸깍 딸깍)


프로그래머 빙의해서 인터페이스 파일에서 시키는걸 다 처해준뒤 



7fe98076b59c28a8699fe8b115ef046ec7cc614a

몇회차 학습파일을 이용할것인지 적어주면 되는데


난 실제로는 25000회까지 학습을 했지만 G/mel tensor값이 24000회차가 좀더 낮았으므로 24000을 이용하기로 한다.



a14a20ad2f1ab44396f1c6bb11f11a393b710effb5f36a4f


이번에 테스트하는 것은 실시간 변환이 아닌 비리얼타임 보이스체인지기 때문에, 기존 음성을 활용한다.


음성을 넣어주면 되는데, 기본적으로 학습시킬때 쓰던 1~100번 음성 파일을 먼저 들어본다.


참고로 학습에 썼던 음성파일은 퀄리티가 나쁘지 않게 나온다. 당연히 학습한 발음 그대로니까...



나쁘지 않은 퀄리티다 싶어서, 추가적으로 새로 아무말이나 녹음해서 넣어본 결과, 학습에 이용한 음성보다는 떨어지지만,

시중의 보이스체인저보다는 낫다는 판단이 섰다.



혹시 한국어도 ....? 


a14a20ad2f1ab44396f1c6bb11f11a393b710ef8b5f46a40

바로 한국어로 녹음을 씹조져주고 테스트를 진행해보았다.


소프트웨어도 일본것, 학습자료 역시 일본어로 진행되었기 때문에 발음이 학습되지 않은 한국어를 얼마나 대응할 수 있을지 궁금했다.


결과는 보플에서 직접 확인하시길.





결론만 놓고보자면 아직까지는 만족인데 개인적인 욕심이랄가, 

앞으로 일주일 정도 더 학습을 시켜서 내 목소리가 아니면 살아갈 수 없는 소프트웨어로 해버리고 싶다는 생각이다.


애초에 브챗에서 써먹으려고 이 귀찮은 작업을 하고 있는거라, 실시간 변환이 메인이다.

실시간 리얼타임 체인지는 아직 테스트를 안해봤지만, 이 것 역시 정리가 되면 다음 글에서 보겠음



ps. 보플로 결과를 올릴 것인데, 비교를 위해서 제 찐따목소리 원본이 그대로 들어가있으니 주의바람



댓글이 없습니다.
번호 분류 제목 글쓴이 날짜 추천
1974462 일반 브갤 총강 유일하게 재밌는 부분 떳다(액기스 99%) 6 에셀드 2022-06-17 15
1974451 번개교류회 종강총회 유기된거 상황 설명함 11 퍼지협회 2022-06-17 14
1974426 일반 아이 혼 란해 6 ㅇㅇ 2022-06-17 16
1974417 일반 지금 종강총회 즈그들 좆목라인으로 채운거임?? 17 Sain 2022-06-17 14
1973077 일반 념글에 세상이 미운 친구들이 많네 9 세할디아 2022-06-17 13
1972979 일반 브챗 좆뉴비새끼들은 잘들어라 11 ㅇㅇ 110.13 2022-06-17 18
1972634 일반 기적의 랜덤매칭 3 Aphrodite 2022-06-17 12
1972605 일반 렌샤벨 패션보지년 개좇같으면 개추 1 ㅇㅇ 202.14 2022-06-17 10
1972604 일반 렌샤벨❤+카와이모모 ㅇㅇ 223.62 2022-06-17 11
1972570 일반 설교소녀❤영광굴비 6 ㅇㅇ 223.39 2022-06-17 10
1972567 일반 칠일❤신사 5 ㅇㅇ 223.39 2022-06-17 10
1972565 일반 모찌강강❤루아별 9 ㅇㅇ 223.39 2022-06-17 10
1971774 일반 [사진] 인물사진 발구락으로 찍어도 기본은 하는법 13 노구 2022-06-16 12
1970918 일반 전 주딱 신상 턴 세느x 벌금 500만원 땅땅땅 15 ㅇㅇ 2022-06-16 16
1970451 일반 [틀짤] 횐님들 항상 행복하세요 9 사렌 2022-06-16 14
1970356 일반 너도 세상이 밉냐..? 13 까치... 2022-06-16 10
1970083 일반 그냥 세상이 밉다 32 VR챗 2022-06-16 17
1970024 강좌 손가락을 맞대면 표정이 나오게 해보자 13 koper 2022-06-16 11
1969930 일반 브붕이 현실 정모 짤 18 카푸치노 2022-06-16 16
1969783 일반 n년차 보딱의 VRCHAT 탐구 만화 6 15 레몬우유 2022-06-16 12
1968855 일반 화본역 다녀옴 10 ㅇㅇ 121.160 2022-06-15 13
1968639 일반 과몰입이랑 제로투 춤 7 ㅇㅇ 46.165 2022-06-15 15
1968546 일반 실화 바탕 부랄챗 입문기 3 ㅇㅇ 58.238 2022-06-15 11
1968347 일반 미나호시 기엽다고 말해주셈 8 사렌 2022-06-15 15
1968074 사진/영상 조개 번개 후기 13MB 14 Haselehrer 2022-06-15 14
1967904 일반 조개캐러옴 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 21 묵차충 2022-06-15 13
1967903 일반 브수면 후기 15 ㅇㅇ 222.118 2022-06-15 12
1967837 일반 전주딱 다시 돌아오면 좋겠다 8 ㅇㅇ 175.223 2022-06-15 13
1967791 일반 걍 주딱은 애미가 뒤진 새끼임 6 ㅇㅇ 211.251 2022-06-15 15
1967657 일반 인생 망했음 27 임신공격 2022-06-15 14
1967340 일반 나만친구없어ㅠ 안놀아줘ㅠ입에 달고사는애들은 14 칠일 2022-06-15 11
1967256 일반 자만추는 자지만지고싶으면추천아님? 12 ㅇㅇ 118.221 2022-06-15 10
1967244 일반 추천씨빻그만처눌루샘 4 칠일 2022-06-15 10
1967215 일반 브챗에서 ㅇ할수있는 원대한 목표가생겼음 10 칠일 2022-06-15 10
1966493 강좌 VRC갤러리 제대로 사용하는법.araboja 8 ㅇㅇ 14.50 2022-06-15 12
1965835 정보 부스 리뷰 사이트 업데이트 한김에 홍보차 왔음 6 까뮤 2022-06-14 18
1965787 일반 뉴비 랜매후기 14 ㅇㅇ 106.250 2022-06-14 16
1965180 일반 VRChat 3 ㅇㅇ 121.143 2022-06-14 20
1964406 일반 얘 뭐임 7 ㅇㅇ 106.102 2022-06-14 10
1964163 일반 n년차 보딱의 VRCHAT 탐구 만화 5 10 레몬우유 2022-06-14 10
념글 삭제글 갤러리 랭킹