av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁(yè)技術(shù)文章
文章詳情頁(yè)

如何在IOS上使用ReplayKit與RTC

瀏覽:2日期:2022-09-16 18:00:55

在日益繁多的直播場(chǎng)景中,如果你也是某位游戲主播的粉絲的話,有一種直播方式是你一定不陌生的,那就是我們今天要聊的屏幕分享。

直播場(chǎng)景下的屏幕分享,不僅要將當(dāng)前顯示器所展示的畫面分享給遠(yuǎn)端,也要將聲音傳輸出去,包括應(yīng)用的聲音,以及主播的聲音。鑒于這兩點(diǎn)需求,我們可以簡(jiǎn)單分析出,進(jìn)行一次屏幕分享的直播所需要的媒體流如下:

一條顯示器畫面的視頻流 一條應(yīng)用聲音的音頻流 一條主播聲音的音頻流

ReplayKit 是蘋果提供的用于 iOS 系統(tǒng)進(jìn)行屏幕錄制的框架。

首先我們來看看蘋果提供的用于屏幕錄制的 ReplayKit 的數(shù)據(jù)回調(diào)接口:

override func processSampleBuffer(_ sampleBuffer: CMSampleBuffer, with sampleBufferType: RPSampleBufferType) {DispatchQueue.main.async { switch sampleBufferType { case .video:AgoraUploader.sendVideoBuffer(sampleBuffer) case .audioApp:AgoraUploader.sendAudioAppBuffer(sampleBuffer) case .audioMic:AgoraUploader.sendAudioMicBuffer(sampleBuffer) @unknown default:break }} }

從枚舉 sampleBufferType 上,我們不難看出,剛好能符合我們上述對(duì)媒體流的需求。

視頻格式

guard let videoFrame = CMSampleBufferGetImageBuffer(sampleBuffer) else { return}let type = CVPixelBufferGetPixelFormatType(videoFrame)

type = kCVPixelFormatType_420YpCbCr8BiPlanarFullRange

通過 CVPixelBufferGetPixelFormatType,我們可以獲取到每幀的視頻格式為 yuv420

幀率

通過打印接口的回調(diào)次數(shù),可以知道每秒能夠獲取的視頻幀為30次,也就是幀率為 30。

格式與幀率都能符合 Agora RTC 所能接收的范圍,所以通過 Agora RTC 的 pushExternalVideoFrame 就可以將視頻分享到遠(yuǎn)端了。

agoraKit.pushExternalVideoFrame(frame)插入一個(gè)小知識(shí)

顯示器所顯示的幀來自于一個(gè)幀緩存區(qū),一般常見的為雙緩存或三緩存。當(dāng)屏幕顯示完一幀后,發(fā)出一個(gè)垂直同步信號(hào)(V-Sync),告訴幀緩存區(qū)切換到下一幀的緩存上,然后顯示器開始讀取新的一幀數(shù)據(jù)做顯示。

這個(gè)幀緩存區(qū)是系統(tǒng)級(jí)別的,一般的開發(fā)者是無法讀取跟寫入的。但是如果是蘋果自身提供的錄制框架 ReplayKit 能夠直接讀取到已經(jīng)渲染好且將用于顯示器的幀,且這一過程不會(huì)影響渲染流程而造成掉幀,那就能減少一次用于提供給 ReplayKit 回調(diào)數(shù)據(jù)的渲染過程。

音頻

ReplayKit 能提供的音頻有兩種,分為麥克風(fēng)錄制進(jìn)來的音頻流,與當(dāng)前響應(yīng)的應(yīng)用播放的音頻流。(下文將前者稱為 AudioMic,后者為 AudioApp)

可以通過下面的兩行代碼,來獲取音頻格式

CMAudioFormatDescriptionRef format = CMSampleBufferGetFormatDescription(sampleBuffer);const AudioStreamBasicDescription *description = CMAudioFormatDescriptionGetStreamBasicDescription(format);AudioApp

AudioApp 會(huì)在不同的機(jī)型下有不一樣的聲道數(shù)。例如在 iPad 或 iPhone7 以下機(jī)型中,不具備雙聲道播放的設(shè)備,這時(shí)候 AudioApp 的數(shù)據(jù)就是單聲道,反之則是雙聲道。

采樣率在部分試過的機(jī)型里,都是 44100,但不排除在未測(cè)試過的機(jī)型會(huì)是其他的采樣率。

AudioMic

AudioMic 在測(cè)試過的機(jī)型里,采樣率為 32000,聲道數(shù)為單聲道。

音頻前處理

如果我們將 AudioApp 與 AudioMic 作為兩條音頻流去發(fā)送,那么流量肯定是大于一條音頻流的。我們?yōu)榱斯?jié)省一條音頻流的流量,就需要將這兩條音頻流做混音(融合)。

但是通過上述,我們不難看出,兩條音頻流的格式是不一樣的,而且不能保證隨著機(jī)型的不同,是不是會(huì)出現(xiàn)其他的格式。在測(cè)試的過程中還發(fā)現(xiàn) OS 版本的不同,每次回調(diào)給到的音頻數(shù)據(jù)長(zhǎng)度也會(huì)出現(xiàn)變化。那么我們?cè)趯?duì)兩條音頻流做混音前,就需要進(jìn)行格式統(tǒng)一,來應(yīng)對(duì) ReplayKit 給出的各種格式。所以我們采取了以下幾個(gè)重要的步驟:

if (channels == 1) { int16_t* intData = (int16_t*)dataPointer; int16_t newBuffer[totalSamples * 2];for (int i = 0; i < totalSamples; i++) {newBuffer[2 * i] = intData[i];newBuffer[2 * i + 1] = intData[i]; } totalSamples *= 2; memcpy(dataPointer, newBuffer, sizeof(int16_t) * totalSamples); totalBytes *= 2; channels = 2;}

無論是 AudioMic 還是 AudioApp,只要進(jìn)來的流為單聲道,我們都將它轉(zhuǎn)化為雙聲道;

if (sampleRate != resampleRate) { int inDataSamplesPer10ms = sampleRate / 100; int outDataSamplesPer10ms = (int)resampleRate / 100; int16_t* intData = (int16_t*)dataPointer; switch (type) {case AudioTypeApp: totalSamples = resampleApp(intData, dataPointerSize, totalSamples, inDataSamplesPer10ms, outDataSamplesPer10ms, channels, sampleRate, (int)resampleRate); break;case AudioTypeMic: totalSamples = resampleMic(intData, dataPointerSize, totalSamples, inDataSamplesPer10ms, outDataSamplesPer10ms, channels, sampleRate, (int)resampleRate); break; } totalBytes = totalSamples * sizeof(int16_t);}

無論是 AudioMic 還是 AudioApp,只要進(jìn)來的流采樣率不為 48000,我們將它們重采樣為 48000;

memcpy(appAudio + appAudioIndex, dataPointer, totalBytes);appAudioIndex += totalSamples;

memcpy(micAudio + micAudioIndex, dataPointer, totalBytes);micAudioIndex += totalSamples;

通過第一步與第二步,我們保證了兩條音頻流都為同樣的音頻格式。但是由于 ReplayKit 是一次回調(diào)給到一種數(shù)據(jù)的,所以在混音前我們還得用兩個(gè)緩存區(qū)來存儲(chǔ)這兩條流數(shù)據(jù);

int64_t mixIndex = appAudioIndex > micAudioIndex ? micAudioIndex : appAudioIndex;int16_t pushBuffer[appAudioIndex];memcpy(pushBuffer, appAudio, appAudioIndex * sizeof(int16_t));for (int i = 0; i < mixIndex; i ++) { pushBuffer[i] = (appAudio[i] + micAudio[i]) / 2;}

ReplayKit 有選項(xiàng)是否開啟麥克風(fēng)錄制,所以在關(guān)閉麥克風(fēng)錄制的時(shí)候,我們就只有一條 AudioApp 音頻流。所以我們以這條流為主,去讀取 AudioMic 緩存區(qū)的數(shù)據(jù)長(zhǎng)度,然后對(duì)比兩個(gè)緩存區(qū)的數(shù)據(jù)長(zhǎng)度,以最小的數(shù)據(jù)長(zhǎng)度為我們的混音長(zhǎng)度。將混音長(zhǎng)度的兩個(gè)緩存區(qū)里的數(shù)據(jù)做融合,得到混音后的數(shù)據(jù),寫入一個(gè)新的混音緩存區(qū)(或者直接寫入 AudioApp 緩存區(qū));

[AgoraAudioProcessing pushAudioFrame:(*unsigned* *char* *)pushBuffer withFrameSize:appAudioIndex * *sizeof*(int16_t)];

最后我們?cè)賹⑦@段混音后的數(shù)據(jù)拷貝進(jìn) Agora RTC 的 C++ 錄制回調(diào)接口里,這時(shí)候就可以把麥克風(fēng)錄制的聲音與應(yīng)用播放的聲音傳輸?shù)竭h(yuǎn)端了。

通過對(duì)音視頻流的處理,結(jié)合 Agora RTC SDK,我們就完成了一個(gè)屏幕分享直播場(chǎng)景的實(shí)現(xiàn)了。

以上就是如何在IOS上使用ReplayKit與RTC的詳細(xì)內(nèi)容,更多關(guān)于IOS上使用ReplayKit與RTC的資料請(qǐng)關(guān)注好吧啦網(wǎng)其它相關(guān)文章!

標(biāo)簽: IOS
相關(guān)文章:
主站蜘蛛池模板: 五月婷婷婷| 精品1区 | 国产精品欧美一区二区三区 | 91黄在线观看 | 亚洲二区在线 | 亚洲香蕉在线视频 | 欧美精品网站 | 一级aaaaaa毛片免费同男同女 | 99国内精品久久久久久久 | 亚洲一区二区在线视频 | 正在播放国产精品 | 亚洲精品在线观看视频 | 爱爱无遮挡 | 日韩一级 | 青青草网站在线观看 | 欧美最猛性xxxxx亚洲精品 | 国产精品久久久久久久久久久久久久 | 国产99久久久国产精品 | 国产一区不卡在线观看 | 亚洲一区二区三区在线 | 亚洲专区在线 | 美女拍拍拍网站 | 亚洲午夜视频在线观看 | 99国产精品99久久久久久 | 成人综合视频在线 | 99热热热| 中文字幕二区三区 | av黄色在线观看 | 99久久婷婷国产综合精品首页 | 国产高清精品一区二区三区 | 超碰男人天堂 | 亚洲三区在线 | 亚洲欧洲成人av每日更新 | 在线中文字幕日韩 | 91精品久久久久久久久中文字幕 | av小说在线 | 亚洲一二三区免费 | 久久久入口| 中文字幕免费中文 | 欧洲一级视频 | 久久精品久久久 |