AI Agent 만드는법 , 일레븐랩스, CHTGPT 활용

음성을 크론(클론)해서 노래를 만드는 앱은 현재 기술적으로 충분히 구현 가능하며, 일부 상용화된 서비스도 있습니다. 이러한 앱은 사용자의 음성을 학습하여 AI가 사용자의 음성으로 노래를 생성하거나 편집할 수 있습니다. 다음과 같은 기능을 포함한 앱 개발을 고려할 수 있습니다:

주요 기능

1. 음성 학습 및 클로닝
   • 사용자의 음성을 녹음하고, AI가 음성을 학습해 가상의 음성 모델을 생성합니다.
2. 노래 생성
   • 미리 제공된 멜로디나 사용자가 업로드한 음악 파일에 맞춰 클론된 음성으로 노래를 생성합니다.
3. 가사 입력 및 편집
   • 사용자가 원하는 가사를 입력하면 AI가 자동으로 노래에 맞게 음성을 생성합니다.
4. 음성 스타일 조정
   • 음성의 감정, 톤, 속도 등을 조정하여 다양한 스타일의 노래를 만들 수 있습니다.
5. 배경 음악 및 효과 추가
   • 사용자 정의로 배경 음악과 음향 효과를 추가할 수 있는 기능 제공.
6. 공유 및 다운로드
   • 완성된 노래를 다양한 포맷으로 다운로드하거나 SNS에 공유.

추천 기술

• 음성 클로닝 기술: OpenAI의 Whisper 또는https://elevenlabs.io/.
• 음악 생성 AI: OpenAI Jukebox, Riffusion 등의 오픈소스 AI 음악 생성 도구.
• 앱 프레임워크: Flutter, React Native 등을 사용하여 다중 플랫폼 지원.

참고할 만한 앱

1. Voicemod: 사용자의 음성을 변조 및 클로닝.
2. Synthesia: AI 기반 음성 생성 및 클로닝.
3. AI Cover Song Tools: 다른 음성으로 노래 커버를 생성하는 앱.

직접 앱을 개발하거나, 이러한 기능을 제공하는 플랫폼을 이용해볼 수도 있습니다. 

 

음성모델 사용하기 : 일레브냅스 사용밥법

https://elevenlabs.io/

이 사이트에 가입한다.

 

Conversational AI 아이콘을 클릭한다.

 

 

AI Agent 메뉴로 들어 옵니다

 

 

" Start from blank " menu를 클릭하면

 

Agent Language : Korean 을 선택한다.
First message  : 스타벅스에 오신 것을 환영합니다. 주문을 어떻게 도와드릴까요 ?
System prompt :
당신은 스타벅스의 친절하고 효율적인 가상 비서입니다.
당신의 역할은 고객이 음성 대화를 통해 주문할 수 있도록 돕는 것입니다. 메뉴와 가격에 대한 포괄적인 지식을 보유하고 있습니다.

메뉴 항목:
-콜드 브루 커피– 5000원
-브루드 커피– 5000원
-에스프레소– 5000원
-스타벅스 리프레셔-5500원
-아이스 아메리카노-4500원


수행 업무:
1. 고객 맞이: 따뜻하게 환영하며, 무엇을 도와드릴 수 있는지 묻습니다.
2. 주문 접수: 고객이 선택한 스타벅스커피의 종류와 수량을 주의 깊게 듣고 확인합니다.
3. 주문 확인: 주문 내용을 고객에게 다시 한번 확인합니다.
4. 총 가격 계산: 주문한 항목을 기준으로 총 가격을 계산합니다.
5. 배달 정보 수집: 고객의 배달 주소를 물어보고 배달 시간을 추정합니다.
6. 배달 시간 안내: 조리 시간은 10분이며, 배달 시간은 고객 위치에 따라 달라진다고 안내합니다.
7. 주문 요약 제공: 고객에게 주문 내역, 총 가격, 예상 배달 시간을 알려줍니다.
8. 대화 마무리: 고객에게 감사 인사를 전하고, 주문이 준비 중임을 알립니다.

가이드라인:
- 대화 내내 친근하고 전문적인 어조를 유지하세요.
- 고객의 필요에 맞춰 인내심을 갖고 경청하세요.
- 정보가 명확하지 않을 경우, 고객에게 다시 한번 요청하거나 반복해서 물어보세요.
- 결제 정보를 수집하지 마세요. 결제는 배달 시 이루어진다고 고객에게 안내하세요.
- 주문 및 관리 외의 주제에 대해 논의하지 마세요.

 

 

Voice에서 AI Agent(인공지능 비서)의 음성을 한국인 목소리인 Anna Kim 목소리를 선택한다.

나마지항목은 그냥둔다.

 

 

 

Analysis 메뉴에서 Evaluton Criteria 에 Add criteria를 클릭

 

menu_explanation

Evaluate if the assistant properly explained menu options when asked.
Success criteria:
-Mentioned available menu items
-Provided prices when relevant
Return "unknown" if menu items were not discussed

 

customer_satisfaction

Analyze the conversation for signs of customer satisfaction.

Success criteria:

-Customer's questions were answered clearly

-No repeated requests for clarification

-No signs of frustration or confusion

-Positive or neutral customer responses 
Return "failure" if there are clear signs of dissatisfaction.

 

order_completion

Evaluate if the conversation resulted in a successful order completion. Success criteria:

-Customer selected at least one pierogi variety

-Quantity was confirmed

-Delivery address was provided

-Total price was communicated

-Delivery time estimate was given

Return "success" only if ALL criteria are met.

 

 

 

 

ordered_items

 

List all menu varieties and quantities ordered in the format: "item: quantity".

Should be one of:

-completed_order

-abandoned_order

-menu_inquiry

general_inquiry If no order was placed, return "none"

 

 

 

 

 

order_type

 

extract the type or order from the conversation.

Should be one of:

- delivery

- pickup

- Inquiry_only

 

interaction_type

 

Categorize the conversation. Should be one of:

- completed_order

- abandoned_order

- menu_inquiry

- general_inquiry

 

save 한후 Test AI Agent 버튼늘 클릭한다.

 

여기서 방금 인공지능비서와 대화를 나는것이 모두 기록되어 있다.

 

 

Google's Agent Whitepaper: https://www.kaggle.com/whitepaper-agents

 

 

 

 

프롬프트 메뉴 옵션을 요청 받았을 때 어시스턴트가 적절하게 설명했는지 평가합니다.

성공 기준:

관련 메뉴 항목 언급

관련 시 가격 제공 메뉴 항목이 논의되지 않은 경우 "알 수 없음" 반환

 

 

스타벅스 가상 비서로서, 음성 대화를 통해 고객의 주문을 돕는 역할을 합니다. 메뉴와 가격에 대한 모든 정보를 제공해 드립니다.

 

스타벅스 커피주문 에이전트 프롬프트]

당신은 스타벅스의 친절하고 효율적인 가상 비서입니다.
당신의 역할은 고객이 음성 대화를 통해 주문할 수 있도록 돕는 것입니다. 메뉴와 가격에 대한 포괄적인 지식을 보유하고 있습니다.

메뉴 항목:
-콜드 브루 커피– 5000원
-브루드 커피– 5000원
-에스프레소– 5000원

-스타벅스 리프레셔-5500원

-아이스 아메리카노-4500원

수행 업무:
1. 고객 맞이: 따뜻하게 환영하며, 무엇을 도와드릴 수 있는지 묻습니다.
2. 주문 접수: 고객이 선택한 스타벅스커피의 종류와 수량을 주의 깊게 듣고 확인합니다.
3. 주문 확인: 주문 내용을 고객에게 다시 한번 확인합니다.
4. 총 가격 계산: 주문한 항목을 기준으로 총 가격을 계산합니다.
5. 배달 정보 수집: 고객의 배달 주소를 물어보고 배달 시간을 추정합니다.
6. 배달 시간 안내: 조리 시간은 10분이며, 배달 시간은 고객 위치에 따라 달라진다고 안내합니다.
7. 주문 요약 제공: 고객에게 주문 내역, 총 가격, 예상 배달 시간을 알려줍니다.
8. 대화 마무리: 고객에게 감사 인사를 전하고, 주문이 준비 중임을 알립니다.

가이드라인:
- 대화 내내 친근하고 전문적인 어조를 유지하세요.
- 고객의 필요에 맞춰 인내심을 갖고 경청하세요.
- 정보가 명확하지 않을 경우, 고객에게 다시 한번 요청하거나 반복해서 물어보세요.
- 결제 정보를 수집하지 마세요. 결제는 배달 시 이루어진다고 고객에게 안내하세요.
- 주문 및 관리 외의 주제에 대해 논의하지 마세요.

 

 

 

https://play.ai/

 

https://play.ht/

 

 

https://unite.ai/ko/playht-review/