直播APP的直播实现流程

阅读: 评论:0

直播APP的直播实现流程
直播平台搭建所涉及的事项非常的广泛,不仅需要直播源码、直播系统开发、后台服务器、专门的运维人员等,还需要技术团队切实的把控。下面,小编就给大家确切的说下直播平台搭建需要用到哪些步骤。
1、采集
音频采集:音频数据既能与图像结合组合成视频数据,也能以纯音频的方式采集播放,后者在很多成熟的应用场景如在线电台和语音电台等起着非常重要的作用。音频的采集过程主要通过设备将环境中的模拟信号采集成 PCM 编码的原始数据,然后编码压缩成 MP3 等格式的数据分发出去。常见的音频压缩格式有:MP3,AAC,HE-AAC,Opus,FLAC,Vorbis (Ogg),Speex 和 AMR等。
音频采集和编码主要面临的挑战在于:延时敏感、卡顿敏感、噪声消除(Denoise)、回声消除(AEC)、静音检测(VAD)和各种混音算法等。
图像采集:图像采集图像采集的图片结果组合成一组连续播放的动画,即构成视频中可肉
眼观看的内容。图像的采集过程主要由摄像头等设备拍摄成 YUV 编码的原始数据,然后经过编码压缩成 H.264 等格式的数据分发出去。常见的视频封装格式有:MP4、3GP、AVI、MKV、WMV、MPG、VOB、FLV、SWF、MOV、RMVB 和 WebM 等。
图像由于其直观感受最强并且体积也比较大,构成了一个视频内容的主要部分。图像采集和编码面临的主要挑战在于:设备兼容性差、延时敏感、卡顿敏感以及各种对图像的处理操作如美颜和水印等。
2、前处理
在这个环节主要是主播开播前的一些处理,包括调整美颜萌颜、连麦等效果。现在美颜功能几乎是直播的标配,哪怕是非商用的企业直播平台,也建议添加美颜功能,毕竟没有人希望自己在镜头前一脸憔悴不上镜。但美颜有一个需要难点是,要平衡美颜效果和功耗之间的关系,美颜效果越好,程序功耗越大,设备就会越发发热,从而有可能影响到视频的采集。所以前处理非常重要。
3、推流
需要直播的内容在采集、压缩处理好之后,还要上传到服务器,通过CDN进行分发,用户提取想要看的压缩包,服务器进行解压才能向用户播放,这就是推流。推流有回源、直推、转推等多种形式,各有优点。其中要按照实际情况具体部署。流媒体服务器有RTMR和HLS两种。其中RTMP, Real Time Messaging Protocol(实时消息传输协议)的首字母缩写。该协议基于TCP,是一个协议族,包括RTMP基本协议及RTMPT/RTMPS/RTMPE等多种变种。RTMP是一种设计用来进行实时数据通信的网络协议,主要用来在Flash/AIR平台和支持RTMP协议的流媒体/交互服务器之间进行音视频和数据通信。RTMP 基于 flash 无法在 iOS 的浏览器里播放,但是实时性比 HLS 要好。HLS,HTTP Live Streaming(HTTP直播流技术),Apple的动态码率自适应技术。主要用于PC和Apple终端的音视频服务。包括一个m3u(8)的索引文件,TS媒体分片文件和key加密串文件。
4、编码
如果把整个流媒体比喻成一个物流系统,那么编解码就是其中配货和装货的过程,这个过程非常重要,它的速度和压缩比对物流系统的意义非常大,影响物流系统的整体速度和成本。同样,对流媒体传输来说,编码也非常重要,它的编码性能、编码速度和编码压缩比
会直接影响整个流媒体传输的用户体验和传输成本。简单来说原始视频数据存储空间大,一个 1080P 的 7 s 视频需要 817 MB;原始视频数据传输占用带宽大,10 Mbps 的带宽传输上述 7 s 视频需要 11 分钟。而经过编码压缩之后,视频大小只有 708 k ,10 Mbps 的带宽仅仅需要 500 ms ,可以满足实时传输的需求,所以从视频采集传感器采集来的原始视频势必要经过视频编码。而编码的核心思想是去除冗余信息,包括空间冗余:图像相邻像素之间有较强的相关性;时间冗余:视频序列的相邻图像之间内容相似;编码冗余:不同像素值出现的概率不同;视觉冗余:人的视觉系统对某些细节不敏感;知识冗余:规律性的结构可由先验知识和背景知识得到。通过去除这些冗余,可以提高直播的质量。
5、转码
视频转码(Video Transcoding)是指将已经压缩编码的视频码流转换成另一个视频码流,以适应不同的网络带宽、不同的终端处理能力和不同的用户需求。转码本质上是一个先解码,再编码的过程,因此转换前后的码流可能遵循相同的视频编码标准,也可能不遵循相同的视频编码标准,比如将用户推流码率较高(比如720P)实时转化成较低清晰度(比如360P)的流以适应播放端的需求。在视频转码时,基本上都会选择直播云计算服务商,目前国内一线的云服务商都提供实时转码技术。
6、截图、录制、水印
为了更好的对直播行业进行监管,于是国家明确提出了,所有直播都必须打有水印并回放留存15天以上。这就要用到水印、截图和录制等功能,水印从某种意义上就是直播的身份证当内容违规时就可以根据水印追究责任人;截图和录制则是为了保留证据。不过这些功能相对来说比较简单,目前基本上直播云计算服务商都能提供。
看着这些内容可能相对浅显一些,不过直播平台搭建可不是一件很容易的事,如果没有技术还是建议专业的团队合作共同开发。

本文发布于:2023-05-11 23:16:19,感谢您对本站的认可!

本文链接:https://patent.en369.cn/patent/2/95694.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:直播   视频   采集   编码   图像   用户   进行   内容
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2022 Comsenz Inc.Powered by © 369专利查询检索平台 豫ICP备2021025688号-20 网站地图