Android集成科大讯飞SDK语音听写及语音合成功能实现

时间:2023-03-09 08:07:38
Android集成科大讯飞SDK语音听写及语音合成功能实现
前言
  现在软件设计越来越人性化、智能化。一些常见的输入都慢慢向语音听写方向发展,一些常见的消息提示都向语音播报发展。所以语音合成和语音听写是手机软件开发必不可少的功能。目前国内这方面做的比较好的应该是科大讯飞。很多搜索引擎,语音助手都有用到。本人也是第一次用初步研究了一下,和大家一起分享学习。
声明
  欢迎转载,但请保留文章原始出处:) 
    总有刁民想害朕&:http://www.cnblogs.com/wangshuaiandroid
正文
  一、注册开放者账号、创建应用、下载SDK 

    讯飞开放平台

  二、集成SDK

    2.1  将开发工具包中libs目录下的Msc.jar和armeabi复制到Android工程的libs目录(如果工程无libs目录,请自行创建)

    2.2  添加用户权限

<!--连接网络权限,用于执行云端语音能力 -->
<uses-permission android:name="android.permission.INTERNET"/>
<!--获取手机录音机使用权限,听写、识别、语义理解需要用到此权限 -->
<uses-permission android:name="android.permission.RECORD_AUDIO"/>
<!--读取网络信息状态 -->
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE"/>
<!--获取当前wifi状态 -->
<uses-permission android:name="android.permission.ACCESS_WIFI_STATE"/>
<!--允许程序改变网络连接状态 -->
<uses-permission android:name="android.permission.CHANGE_NETWORK_STATE"/>
<!--读取手机信息权限 -->
<uses-permission android:name="android.permission.READ_PHONE_STATE"/>
<!--读取联系*限,上传联系人需要用到此权限 -->
<uses-permission android:name="android.permission.READ_CONTACTS"/>

    2.3   初始化

       初始化即创建语音配置对象,只有初始化后才可以使用MSC的各项服务。建议将初始化放在程序入口处(如Application、Activity的onCreate方法),初始化代码如下:

// 将“12345678”替换成您申请的APPID,申请地址:http://open.voicecloud.cn
SpeechUtility.createUtility(context, SpeechConstant.APPID +"=12345678");

注意:  此接口在非主进程调用会返回null对象,如需在非主进程使用语音功能,请使用参数:SpeechConstant.APPID +"=12345678," + SpeechConstant.FORCE_LOGIN +"=true"。

    2.4   语音听写

      听写主要指将连续语音快速识别为文字的过程,科大讯飞语音听写能识别通用常见的语句、词汇,而且不限制说法。语音听写的调用方法如下:

      
//1.创建SpeechRecognizer对象,第二个参数:本地听写时传InitListener
SpeechRecognizer mIat= SpeechRecognizer.createRecognizer(context, null);
//2.设置听写参数,详见《科大讯飞MSC API手册(Android)》SpeechConstant类
mIat.setParameter(SpeechConstant.DOMAIN, "iat");
mIat.setParameter(SpeechConstant.LANGUAGE, "zh_cn");
mIat.setParameter(SpeechConstant.ACCENT, "mandarin ");
//3.开始听写 mIat.startListening(mRecoListener);
//听写监听器
private RecognizerListener mRecoListener = new RecognizerListener(){
//听写结果回调接口(返回Json格式结果,用户可参见附录12.1);
//一般情况下会通过onResults接口多次返回结果,完整的识别内容是多次结果的累加;
//关于解析Json的代码可参见MscDemo中JsonParser类;
//isLast等于true时会话结束。
public void onResult(RecognizerResult results, boolean isLast) {
Log.d("Result:",results.getResultString ());}
//会话发生错误回调接口
public void onError(SpeechError error) {
error.getPlainDescription(true) //获取错误码描述}
//开始录音
public void onBeginOfSpeech() {}
//音量值0~30
public void onVolumeChanged(int volume){}
//结束录音
public void onEndOfSpeech() {}
//扩展用接口
public void onEvent(int eventType, int arg1, int arg2, Bundle obj) {}
};

    2.5 语音交互动画

     为了便于快速开发,SDK还提供了一套默认的语音交互动画以及调用接口,如需使用请将SDK资源包assets路径下的资源文件拷贝至Android工程asstes目录下,然后通过以下代码使用交互动画:

//1.创建SpeechRecognizer对象,第二个参数:本地听写时传InitListener
RecognizerDialog iatDialog = new RecognizerDialog(this,mInitListener);
//2.设置听写参数,同上节
//3.设置回调接口
iatDialog.setListener(recognizerDialogListener);
//4.开始听写
iatDialog.show();  

  三、语音合成

与语音听写相反,合成是将文字信息转化为可听的声音信息,让机器像人一样开口说话。合成的调用方法如下:

//1.创建SpeechSynthesizer对象, 第二个参数:本地合成时传InitListener
SpeechSynthesizer mTts= SpeechSynthesizer.createSynthesizer(context, null);
//2.合成参数设置,详见《科大讯飞MSC API手册(Android)》SpeechSynthesizer 类
mTts.setParameter(SpeechConstant.VOICE_NAME, "xiaoyan");//设置发音人
mTts.setParameter(SpeechConstant.SPEED, "50");//设置语速
mTts.setParameter(SpeechConstant.VOLUME, "80");//设置音量,范围0~100
mTts.setParameter(SpeechConstant.ENGINE_TYPE, SpeechConstant.TYPE_CLOUD); //设置云端
//设置合成音频保存位置(可自定义保存位置),保存在“./sdcard/iflytek.pcm”
//保存在SD卡需要在AndroidManifest.xml添加写SD卡权限
//如果不需要保存合成音频,注释该行代码
mTts.setParameter(SpeechConstant.TTS_AUDIO_PATH, "./sdcard/iflytek.pcm");
//3.开始合成
mTts.startSpeaking("科大讯飞,让世界聆听我们的声音", mSynListener);
//合成监听器
private SynthesizerListener mSynListener = new SynthesizerListener(){
//会话结束回调接口,没有错误时,error为null
public void onCompleted(SpeechError error) {}
//缓冲进度回调
//percent为缓冲进度0~100,beginPos为缓冲音频在文本中开始位置,endPos表示缓冲音频在文本中结束位置,info为附加信息。
public void onBufferProgress(int percent, int beginPos, int endPos, String info) {}
//开始播放
public void onSpeakBegin() {}
//暂停播放
public void onSpeakPaused() {}
//播放进度回调
//percent为播放进度0~100,beginPos为播放音频在文本中开始位置,endPos表示播放音频在文本中结束位置.
public void onSpeakProgress(int percent, int beginPos, int endPos) {}
//恢复播放回调接口
public void onSpeakResumed() {}
//会话事件回调接口
public void onEvent(int arg0, int arg1, int arg2, Bundle arg3) {} };

  四、代码整理

    上面只是按照官方文档把主要方法介绍一下。下面我自己整理了这两个功能。贴出源码供大家学习:

import java.util.HashMap;
import java.util.LinkedHashMap; import org.json.JSONException;
import org.json.JSONObject; import com.iflytek.cloud.ErrorCode;
import com.iflytek.cloud.InitListener;
import com.iflytek.cloud.RecognizerListener;
import com.iflytek.cloud.RecognizerResult;
import com.iflytek.cloud.SpeechConstant;
import com.iflytek.cloud.SpeechError;
import com.iflytek.cloud.SpeechRecognizer;
import com.iflytek.cloud.SpeechSynthesizer;
import com.iflytek.cloud.SpeechUtility;
import com.iflytek.cloud.SynthesizerListener;
import com.iflytek.cloud.ui.RecognizerDialog;
import com.iflytek.cloud.ui.RecognizerDialogListener;
import com.iflytek.isvdemo.R;
import android.annotation.SuppressLint;
import android.app.Activity;
import android.os.Bundle;
import android.util.Log;
import android.view.View;
import android.view.View.OnClickListener;
import android.widget.Button;
import android.widget.EditText;
import android.widget.Toast; @SuppressLint("ShowToast")
public class YuTestActivity extends Activity implements OnClickListener {
private static String TAG = YuTestActivity.class.getSimpleName();
// 用HashMap存储听写结果
private HashMap<String, String> mIatResults = new LinkedHashMap<String, String>();
private EditText et_content;
private Button bt_speech;
private SpeechSynthesizer mTts;// 语音合成
private SpeechRecognizer mIat;// 语音听写
private Button bt_write;
private RecognizerDialog iatDialog;//听写动画
// 0 小燕 青年女声 中英文(普通话) xiaoyan
// 1 默认 小宇 青年男声 中英文(普通话) xiaoyu
// 2 凯瑟琳 青年女声 英文 catherine
// 3 亨利 青年男声 英文 henry
// 4 玛丽 青年女声 英文 vimary
// 5 小研 青年女声 中英文(普通话) vixy
// 6 小琪 青年女声 中英文(普通话) vixq xiaoqi
// 7 小峰 青年男声 中英文(普通话) vixf
// 8 小梅 青年女声 中英文(粤语) vixm xiaomei
// 9 小莉 青年女声 中英文(*普通话) vixl xiaolin
// 10 小蓉 青年女声 汉语(四川话) vixr xiaorong
// 11 小芸 青年女声 汉语(东北话) vixyun xiaoqian
// 12 小坤 青年男声 汉语(河南话) vixk xiaokun
// 13 小强 青年男声 汉语(湖南话) vixqa xiaoqiang
// 14 小莹 青年女声 汉语(陕西话) vixying
// 15 小新 童年男声 汉语(普通话) vixx xiaoxin
// 16 楠楠 童年女声 汉语(普通话) vinn nannan
// 17 老孙 老年男声 汉语(普通话)
private String[] voiceName = { "xiaoyan", "xiaoyu", "catherine", "henry",
"vimary", "vixy", "xiaoqi", "vixf", "xiaomei", "xiaolin",
"xiaorong", "xiaoqian", "xiaokun", "xiaoqiang", "vixying",
"xiaoxin", "nannan", "vils" }; @Override
protected void onCreate(Bundle savedInstanceState) {
// TODO Auto-generated method stub
super.onCreate(savedInstanceState);
setContentView(R.layout.yuyin);
et_content = (EditText) findViewById(R.id.et_content);
bt_speech = (Button) findViewById(R.id.bt_speech);
bt_write = (Button) findViewById(R.id.bt_write);
bt_speech.setOnClickListener(this);
bt_write.setOnClickListener(this);
// 初始化即创建语音配置对象,只有初始化后才可以使用MSC的各项服务
SpeechUtility.createUtility(this, SpeechConstant.APPID + "=56f25de3");
// 语音合成 1.创建SpeechSynthesizer对象, 第二个参数:本地合成时传InitListener
mTts = SpeechSynthesizer.createSynthesizer(YuTestActivity.this,
mTtsInitListener);
// 语音听写1.创建SpeechRecognizer对象,第二个参数:本地听写时传InitListener
mIat = SpeechRecognizer.createRecognizer(this, mTtsInitListener);
// 1.创建SpeechRecognizer对象,第二个参数:本地听写时传InitListener
iatDialog = new RecognizerDialog(this,
mTtsInitListener); } /**
* 初始化语音合成相关数据
*
* @Description:
*/
public void starSpeech() {
String content = et_content.getText().toString().trim(); // 2.合成参数设置,详见《科大讯飞MSC API手册(Android)》SpeechSynthesizer 类
mTts.setParameter(SpeechConstant.VOICE_NAME, voiceName[5]);// 设置发音人
mTts.setParameter(SpeechConstant.SPEED, "50");// 设置语速
mTts.setParameter(SpeechConstant.VOLUME, "80");// 设置音量,范围0~100
mTts.setParameter(SpeechConstant.ENGINE_TYPE, SpeechConstant.TYPE_CLOUD); // 设置云端
// 设置合成音频保存位置(可自定义保存位置),保存在“./sdcard/iflytek.pcm”
// 保存在SD卡需要在AndroidManifest.xml添加写SD卡权限
// 如果不需要保存合成音频,注释该行代码
mTts.setParameter(SpeechConstant.TTS_AUDIO_PATH, "./sdcard/iflytek.pcm");
// 3.开始合成
mTts.startSpeaking(content, mSynListener);
// 合成监听器
// } /**
* 初始化参数开始听写
*
* @Description:
*/
private void starWrite() {
// 2.设置听写参数,详见《科大讯飞MSC API手册(Android)》SpeechConstant类
// 语音识别应用领域(:iat,search,video,poi,music)
mIat.setParameter(SpeechConstant.DOMAIN, "iat");
// 接收语言中文
mIat.setParameter(SpeechConstant.LANGUAGE, "zh_cn");
// 接受的语言是普通话
mIat.setParameter(SpeechConstant.ACCENT, "mandarin ");
// 设置听写引擎(云端)
mIat.setParameter(SpeechConstant.ENGINE_TYPE, SpeechConstant.TYPE_CLOUD);
iatDialog.setListener(mRecognizerDialogListener);
iatDialog.show();
Toast.makeText(getApplication(), "请开始说话…", Toast.LENGTH_SHORT).show();
// 3.开始听写
//mIat.startListening(mRecoListener);
// 听写监听器 } /**
* 语音听写监听
*/
private RecognizerListener mRecoListener = new RecognizerListener() {
// 听写结果回调接口(返回Json格式结果,用户可参见附录12.1);
// 一般情况下会通过onResults接口多次返回结果,完整的识别内容是多次结果的累加;
// 关于解析Json的代码可参见MscDemo中JsonParser类;
// isLast等于true时会话结束。
public void onResult(RecognizerResult results, boolean isLast) {
Log.d(TAG, results.getResultString());
printResult(results);
} // 会话发生错误回调接口
public void onError(SpeechError error) {
// 错误码:10118(您没有说话),可能是录音机权限被禁,需要提示用户打开应用的录音权限。
if(error.getErrorCode()==10118){
Toast.makeText(getApplicationContext(), "你好像没有说话哦",
Toast.LENGTH_SHORT).show();
}
Toast.makeText(getApplicationContext(), error.getPlainDescription(true),
Toast.LENGTH_SHORT).show(); }// 获取错误码描述} // 开始录音
public void onBeginOfSpeech() {
Log.d(TAG, "开始说话");
Toast.makeText(getApplicationContext(), "开始说话",
Toast.LENGTH_SHORT).show();
} // 结束录音
public void onEndOfSpeech() {
Log.d(TAG, "说话结束");
Toast.makeText(getApplicationContext(), "说话结束",
Toast.LENGTH_SHORT).show();
} // 扩展用接口
public void onEvent(int eventType, int arg1, int arg2, Bundle obj) {
} //音量
@Override
public void onVolumeChanged(int volume, byte[] data) {
// TODO Auto-generated method stub
Log.d(TAG, "当前说话音量大小"+volume); } }; /**
* 听写UI监听器
*/
private RecognizerDialogListener mRecognizerDialogListener = new RecognizerDialogListener() {
public void onResult(RecognizerResult results, boolean isLast) {
printResult(results);
} /**
* 识别回调错误.
*/
public void onError(SpeechError error) {
Toast.makeText(getApplication(), error.getPlainDescription(true), Toast.LENGTH_SHORT).show();
} };
/**
* 语音合成监听
*/
private SynthesizerListener mSynListener = new SynthesizerListener() {
// 会话结束回调接口,没有错误时,error为null
public void onCompleted(SpeechError error) {
if (error != null) {
Log.d("mySynthesiezer complete code:", error.getErrorCode()
+ "");
} else {
Log.d("mySynthesiezer complete code:", "0");
}
} // 缓冲进度回调
// percent为缓冲进度0~100,beginPos为缓冲音频在文本中开始位置,endPos表示缓冲音频在文本中结束位置,info为附加信息。
public void onBufferProgress(int percent, int beginPos, int endPos,
String info) {
} // 开始播放
public void onSpeakBegin() {
} // 暂停播放
public void onSpeakPaused() {
} // 播放进度回调
// percent为播放进度0~100,beginPos为播放音频在文本中开始位置,endPos表示播放音频在文本中结束位置.
public void onSpeakProgress(int percent, int beginPos, int endPos) {
} // 恢复播放回调接口
public void onSpeakResumed() {
} // 会话事件回调接口
public void onEvent(int arg0, int arg1, int arg2, Bundle arg3) {
}
}; /**
* 初始化语音合成监听。
*/
private InitListener mTtsInitListener = new InitListener() {
@SuppressLint("ShowToast")
@Override
public void onInit(int code) {
Log.d(TAG, "InitListener init() code = " + code);
if (code != ErrorCode.SUCCESS) {
// showTip("初始化失败,错误码:" + code);
Toast.makeText(getApplicationContext(), "初始化失败,错误码:" + code,
Toast.LENGTH_SHORT).show();
} else {
// 初始化成功,之后可以调用startSpeaking方法
// 注:有的开发者在onCreate方法中创建完合成对象之后马上就调用startSpeaking进行合成,
// 正确的做法是将onCreate中的startSpeaking调用移至这里
}
}
}; @Override
public void onClick(View v) {
// TODO Auto-generated method stub
switch (v.getId()) {
case R.id.bt_speech:
starSpeech();
break;
case R.id.bt_write:
et_content.setText(null);
mIatResults.clear();
starWrite();
break;
default:
break;
} } private void printResult(RecognizerResult results) {
String text = JsonParser.parseIatResult(results.getResultString()); String sn = null;
// 读取json结果中的sn字段
try {
JSONObject resultJson = new JSONObject(results.getResultString());
sn = resultJson.optString("sn");
} catch (JSONException e) {
e.printStackTrace();
} mIatResults.put(sn, text); StringBuffer resultBuffer = new StringBuffer();
for (String key : mIatResults.keySet()) {
resultBuffer.append(mIatResults.get(key));
} et_content.setText(resultBuffer.toString());
et_content.setSelection(et_content.length());
} }

xml文件就一个EditText和两个button就不贴了还有一个JsonParser类sdk文档中sample中有

结束

  讯飞语音还有很多好玩的功能,比如人脸识别、声纹识别、语音唤醒等大家看看文档都很好实现的