一、现象 通话中语音断断续续，视频卡顿或丢失画面，造成这些现象的一个重要原因是数据包在传输过程中出现丢失，在后端处理中，可以通过一些算法对缺失的数据进行预估，减轻一些影响，例如视频可以用I帧、P帧预估一些丢失的P帧，语音可以添加舒适噪音数据，但效果较好的办法还是降低丢包率。 二、原因 丢包的原因是媒体数据传输为了保证实时性，使用了UDP作为传输层的RTP协议，UDP只提供尽量送达的服务，数据传输过程经过网络中众多的交换机、路由器等设备有很多情况会导致数据包丢失。 三、处理办法 1、NACK 丢包首选想到的解决办法就是让发送端重发，那就需要接收端告诉发送端丢了那些包。NACK也就是no ack，接收端发送NACK给发送端，告诉丢了那些包，发送端重发。voice使用NackTracker类存丢包的sequence_number信息，而vodie使用NackModule类。 voice的NACK算法： 当收到一个包时，与上次收到的包比较序列号IsNewerSequenceNumber，如果序列号大，那上次收到包到本次收到的包之间缺失的包，可以看做包延时或丢失，定义一个常量nack_threshold_packets_，规定本次收到包之前的临近的nack_threshold_packets_个包是延时，其余的包认为丢失，并更新NackList，对丢失的包SendNACK给发送端。 vodie的NACK算法： 与voice的原理差不多，视频的数据量大，I帧最重要的特点，算法需要尽量重传关键数据，定义常量kMaxPacketAge，规定本次收到包的临近的kMaxPacketAge个包有机会重传，定义kMaxNackPackets，规定当nack_list_超过kMaxNackPackets时，清楚nack_list_中的某些非关键帧，再将恢复帧也去除，在GetNackBatch函数内根据规定判断是包丢失还是包延时。 缺点及改进： 当网络拥塞严重时，延时包会增多，延时时长也会增加，算法可能会将很多延时包当做丢包，进而发NACK，这样会进一步增加网络拥塞，可以根据网络延时情况、网络丢包情况控制发NACK包的量（做个分段函数之类的），网络情况在计算jitterbuffer大小时有相关计算，可以引用。 2、FEC 丢包另一个解决办法是增加冗余，...

一、数字化音频原理 声音其实是一种能量波，因此也有频率和振幅的特征，频率对应于时间轴线，振幅对应于电平轴线。通常人耳可以听到的频率在20Hz到20KHz的声波称为为可听声，低于20Hz的成为次声，高于20KHz的为超声，多媒体技术中只研究可听声部分。 可听声中，话音信号的频段在80Hz到3400Hz之间，音乐信号的频段在20Hz-20kHz之间，语音（话音）和音乐是多媒体技术重点处理的对象。 由于模拟声音在时间上是连续的，麦克风采集的声音信号还需要经过数字化处理后才能由计算机处理。通常我们采用PCM编码（脉冲代码调制编码），即通过采样、量化、编码三个步骤将连续变化的模拟信号转换为数字编码。 1、采样 采样，就是每隔一段时间间隔读一次声音的幅度。单位时间内采样的次数称为采样频率。显然采样频率越高，所得到的离散幅值的数据点就越逼近于连续的模拟音频信号曲线，同时采样的数据量也越大。 为了保证数字化的音频能够准确(可逆)地还原成模拟音频进行输出，采样定理要求：采样频率必须大于等于模拟信号频谱中的最高频率的2倍。 常用的音频采样率有：8kHz、11.025kHz、22.05kHz、16kHz、37.8kHz、44.1kHz、48kHz。 例如:话音信号频率在0.3～3.4kHz范围内，用8kHz的抽样频率（fs），就可获得能取代原来连续话音信号的抽样信号，而一般CD采集采样频率为44.1kHz。 2、量化 量化，就是把采样得到的声音信号幅度转换成数字值，用于表示信号强度。 量化精度：用多少个二进位来表示每一个采样值，也称为量化位数。声音信号的量化位数一般是 4,6,8,12或16 bits 。 由采样频率和量化精度可以知道，相对自然界的信号，音频编码最多只能做到无限接近，在计算机应用中，能够达到最高保真水平的就是PCM编码，通常PCM约定俗成了无损编码。 3、编码 一个采样率为44.1kHz，量化精度为16bit，双声道的PCM编码输出，它的数据速率则为 44.1K×16×2 =1411.2 Kbps，存储一秒钟需要176.4KB的空间，1分钟则约为10.34M，因此，为了降低传输或存储的费用，就必须对数字音频信号进行编码压缩。 到目前为止，音频信号经压缩后的数码率降低到32至256kbit/s，语音可以低至8kbit/s以下。 对数字音频信息的...

方案一: H5 + websocket_rtsp_proxy 实现视频流直播 Streamedian 提供了一种“html5_rtsp_player + websock_rtsp_proxy”的技术方案，可以通过html5的video标签直接播放RTSP的视频流。 整个架构如下图所示，分为服务器端和浏览器端两部分：  方案二：RTSP转RTMP到RTMP服务器，转http-flv，播放端用flv.js播放 flv.js在获取到FLV格式的音视频数据后将 FLV 文件流转码复用成 ISO BMFF（MP4 碎片）片段，再通过Media Source Extensions API 传递给原生HTML5 Video标签进行播放。 flv.js 是使用 ECMAScript 6 编写的，然后通过 Babel Compiler 编译成 ECMAScript 5，使用 Browserify 打包。 flv.js 从服务器获取FLV再解封装后转给Video标签的原因如下： 兼容目前的直播方案：目前大多数直播方案的音视频服务都是采用FLV容器格式传输音视频数据。 flv格式简单，相比于MP4格式转封装简单、性能上也占优势，解析起来更快更方便。 方案三：RTSP转RTMP到RTMP服务器，转hls，播放端用video.js播放 Video.js是一款web视频播放器，支持html5和flash两种播放方式。更有自定义皮肤，插件，组件，语言还有丰富的选项配置。 方案四：VLC或者SmartPlayer第三方插件播放 VLC不再多说，几乎做流媒体的开发者都知道，SmartPlayer是大牛直播SDK (Github) 的播放插件，延迟和功能体验更好。 插件形式的优点是无需二次转换，直接通过ActiveX控件的形式播放，延迟非常低，缺点是只支持IE浏览器。  方案五：RTSP转WebRTC...

RTMP是Real Time Messaging Protocl（实时传输消息协议）的缩写，它是有Adobe 公司为了Flash播放器和服务器之间进行音频、视频等实时传输而开发的协议；作为一套标准的未加密的实时传输协议，RTMP的默认的传输端口是1935，如果在连接中，未指定传输端口，flash客户端会自动尝试连接其他端口，按照顺序，一次连接1935、443、80等，该协议是建立在TCP或者轮询HTTP协议的基础上的。 RTMPT协议是RTMP协议的变种，此协议的传输是建立在HTTP协议的基础上的，默认端口是80. RTMPS协议是经过SSL加密的RMTP协议，增强了数据通信的安全性。 RTMPE 协议也是一个加密版的RTMP协议，不过与RTMPS不同，它采用的不是SSL加密方式，其加密速度快于SSL，且不需要进行认证管理。 RTMPTE协议是一个经过加密通道连接的RTMPE协议，默认端口号是80.

方案一: H5 + websocket_rtsp_proxy 实现视频流直播 Streamedian 提供了一种“html5_rtsp_player + websock_rtsp_proxy”的技术方案，可以通过html5的video标签直接播放RTSP的视频流。 方案二：RTSP转RTMP到RTMP服务器，转http-flv，播放端用flv.js播放 flv.js在获取到FLV格式的音视频数据后将 FLV 文件流转码复用成 ISO BMFF（MP4 碎片）片段，再通过Media Source Extensions API 传递给原生HTML5 Video标签进行播放。 flv.js 是使用 ECMAScript 6 编写的，然后通过 Babel Compiler 编译成 ECMAScript 5，使用 Browserify 打包。 flv.js 从服务器获取FLV再解封装后转给Video标签的原因如下： 兼容目前的直播方案：目前大多数直播方案的音视频服务都是采用FLV容器格式传输音视频数据。 flv格式简单，相比于MP4格式转封装简单、性能上也占优势，解析起来更快更方便。 方案三：RTSP转RTMP到RTMP服务器，转hls，播放端用video.js播放 Video.js是一款web视频播放器，支持html5和flash两种播放方式。更有自定义皮肤，插件，组件，语言还有丰富的选项配置。 方案四：VLC或者SmartPlayer第三方插件播放 VLC不再多说，几乎做流媒体的开发者都知道，SmartPlayer是大牛直播SDK (Github) 的播放插件，延迟和功能体验更好。 插件形式的优点是无需二次转换，直接通过ActiveX控件的形式播放，延迟非常低，缺点是只支持IE浏览器。 方案五：RTSP转WebRTC播放 浏览器对webrtc的支持良好，特别是在H264编码方面几个主流的浏览器都已经支持了。webrtc使用srtp进行媒体数据的传输，那么我们只需要将rtp中的负载数据通过webrtc通道发送给浏览器，而浏览器端只需要通过video标签播放即可，目前RTSP转WebRTC对浏览器的适配比较好，延迟也比较低。

下面简单说一下这几种协议的优劣： 协议名称 优势 劣势 rtmp ● 实时性高：一般能做到3秒内。 ● 支持加密：rtmpe和rtmps为加密协议。 ● 稳定性高：在PC平台上flash播放的最稳定方式是rtmp，如果做CDN或者大中型集群分发，选择稳定性高的协议一定是必要的。 ● 一般主流编码器都支持该协议。 ● 协议复杂：开发者写起来累，效率也不行。 ● Cache麻烦：流协议做缓存不方便。 http ● 性能很高：http的性能好，协议简单，高性能服务器也完善。如果分发的量特别大，譬如点播视频网站，没有直播的实时性要求，http协议是最好选择。 ● 没有碎片：http相比hls没有碎片。 ● 穿墙：http协议是互联网唯一肯定会开放的协议，所以不存在封端问题。 ● 实时性差：延迟10s起步。 ● 原生支持不好：PC上flash对于http流支持还可以，但是移动端对于http的支持不是很完善 hls ● 性能好：和http一样。 ● 穿墙：和http一样。 ● 原生支持很好：iOS上支持完美，Android上支持差些。PC/flash上现在也有各种as插件支持HLS。 ● 实时性差：与ts切片长度有关，大约3个切片长度时间的延迟，基本上HLS的延迟在10秒以上。 ● 文件碎片：若分发HLS，码流低，切片较小时，会导致太多的文件碎片 rtsp ● 延迟低，一般都能够做到500ms。 ● 带宽好，时效率高。● 倍速播放，主要是回放的时候提供的功能。 ● 控制精准，任意选择播放点。 ● 服务端实现复杂。 ● 代理服务器弱：数量少，优化少。 ● 无路由器防火墙穿透 ● 管流分离：需要1-3个通道。 看了以上这些协议，想必各位都注意到了一个问题，那就是“延迟”。所有的协议里都有延迟，延迟最低的也有500ms。 然而基于WebRTC的标准或自有协议，在含有“互动”的直播场景已经突破到了400毫秒以内的延迟边界，对于常规的社交感，这已经非常低了。越低延时当然观看体验就越好，但是不是所有的直播都要选WebRTC这种技术来达到最小的延时效果呢，这就不一定了。 在说这个问题之前，我们先了解一下为什么会有延时这个问题。 信息的传递需要介质，而介质其实就是一个载体，打个比方，你要从深圳到北京，需要选择飞机、高铁等交通工具，而这个乘坐交通工具的过程就需要耗费...

前言 目前市面上有很多开源的流媒体服务器解决方案，常见的有 SRS、EasyDarwin、ZLMediaKit 和 Monibuca 等，我们应该怎么选择呢？ 正文 今天这篇文章主要介绍 SRS、EasyDarwin、ZLMediaKit 和 Monibuca 的一些对比情况，可以作为日后调研选型的参考文档。 SRS SRS 目前已经更新到 3.0，功能和稳定性较之前的版本都有非常大的提升，新入门的同学可以考虑直接从 3.0 上手。接下来，我们从使用、配置、功能几个方面介绍 SRS。 使用步骤 我们自己可以非常方便的搭建一套 SRS 服务器，具体的配置步骤如下： 1. 获取源码 srs 地址：https://github.com/ossrs/srs 具体命令如下： git clone https://gitee.com/winlinvip/srs.oschina.git srs &&cd srs/trunk && git remote set-url origin https://github.com/ossrs/srs.git && git pull 2. 编译 srs ./configure && make 其中，configure 文件是支持可配置的。 3. 运行 srs ./objs/srs -c conf/srs.conf 其中，srs.conf 文件是支持可配置的，针对不同功能模块，还有单独对应的配置文件。比如，rtmp 模块对应的配置文件是 rtmp.conf。 另外，我们还可以直接运行现有的 docker 镜像，命令： srs docker run -p 1935:1935 -p 1985:1985 -p 8080:8080 registry.cn-hangzhou.aliyuncs.com/ossrs/srs:3 主要功能 SRS 作为当前非常普遍的运营级解决方案，具备非常全面的功能，包括集群、协议网关、CDN 功能等，主要功能如下： 1. SRS 定位是运营级的互联网直播服务器集群，追求更好的概念完整性和最简单实现的代码。 2. SRS 提供了丰富的接入方案将 RTMP 流接入 SRS， 包括推送 RTMP 到 SRS

介绍 SIP是一个基于文本的应用层控制协议，用于创建、修改和释放多媒体会话。 SIP支持在5方面建立和释放多媒体通信： 用户定位：确定参加通信的终端用户的位置 用户可用性：确定被叫是否愿意加入某个通信 用户能力：确定通信的媒体类型和参数 会话建立：向被叫“振铃”，建立主被叫之间的会话参数 会话管理：包括会话呼叫转移、终止、修改会话参数和调用服务 SIP功能概述 SIP不是垂直整合的通信系统(理解不是端到端的)。SIP是可以和其他IETF协议结合的组件，从而建立一个复杂多媒体架构。通常这样的架构会包含RTP(RFC1889)、RTSP(RFC2326)、MEGACO(RFC3015)、SDP(RFC2327) SIP不提供服务。相对的，SIP提供了一些原型(primitive)用于实现不同服务。比如讲定位和发送功能用于传输会话描述，就可以协商对端会话参数。 SIP可作用于IPV4和IPV6 协议结构 SIP的逻辑分层从低到高如下： 语法和编码层： 编码使用BNF，说明在section25 传输层： 规定了客户端如何发请求收响应，服务端如何收请求发响应。描述在section 18 事务层： 事务是SIP协议的基本组成部分。事务是一个客户端事务层发出的请求，到服务器事务层返回的所有响应。事务层处理应用层重传、匹配对应响应给请求和应用层超时。事务的具体描述在section 17 事务用户(TU)： 除了stateless proxy，每个SIP实体都是一个TU SIP要素有UAC，UAS，无状态和有状态proxy，和registrar。都包含一个核心(core)来区分，除了无状态代理外其余的核心都是TU。可以理解为比如一个SIP实体的UA的UAC的UAC core就是一个TU。 对话(dialogue)，是两个ua间持续一段时间的端对端的sip关系 通用用户代理行为 一个用户代理代表一个端系统。包含uac和uas。 Uac发送的请求经过几个代理服务器(proxy)，将请求转给uas，当uas生成响应，再回给uac。 UAC和UAS的流程(procedure)依赖于两个因素。一个是请求或响应是否在对话内或对话外。另一个因素是请求方法。

SIP协议,什么是SIP协议 　　SIP协议是NGN中的重要协议，越来越得到业界的重视。 　　一、SIP协议的背景和功能 　　SIP( 会话初始协议)的开发目的是用来帮助提供跨越因特网的高级电话业务。因特网电话(IP电话)正在向一种正式的商业电话模式演进，SIP就是用来确保这种演进实现而需要的NGN(下一代网络)系列协议中重要的一员。 　　SIP是IETF标准进程的一部分，它是在诸如SMTP(简单邮件传送协议)和HTTP(超文本传送协议)基础之上建立起来的。它用来建立，改变和终止基于IP网络的用户间的呼叫。为了提供电话业务它还需要结合不同的标准和协议：特别是需要确保传输(RTP)，与当前电话网络的信令互连，能够确保语音质量(RSVP)，能够提供目录(LDAP)，能够鉴权用户(RADIUS)等等。 　　SIP被描述为用来生成，修改和终结一个或多个参与者之间的会话。这些会话包括因特网多媒体会议，因特网(或任何IP网络)电话呼叫和多媒体发布。会话中的成员能够通过多播或单播联系的网络来通信。SIP支持会话描述，它允许参与者在一组兼容媒体类型上达成一致。它同时通过代理和重定向请求到用户当前位置来支持用户移动性。SIP不与任何特定的会议控制协议捆绑。 　　本质上，SIP提供以下功能： 　　名字翻译和用户定位：无论被呼叫方在哪里都确保呼叫达到被叫方。执行任何描述信息到定位信息的映射。确保呼叫(会话)的本质细节被支持。 　　特征协商：它允许与呼叫有关的组(这可以是多方呼叫)在支持的特征上达成一致(注意：不是所有方都能够支持相同级别的特征)。例如视频可以或不可以被支持。总之，存在很多需要协商的范围。 　　呼叫参与者管理：呼叫中参与者能够引入其它用户加入呼叫或取消到其它用户的连接。此外，用户可以被转移或置为呼叫保持。 　　呼叫特征改变：用户应该能够改变呼叫过程中的呼叫特征。例如，一呼叫可以被设置为“voice-only”，但是在呼叫过程中，用户可以需要开启视频功能。也就是说一个加入呼叫的第三方为了加入该呼叫可以开启不同的特征。 　　二、SIP网络元素 　　SIP中有两个要素。SIP用户代理和SIP网络服务器。用户代理是呼叫的终端系统元素，而SIP服务器是处理与多个呼叫相关联信令的网络设备。 　　用户代理本身具有一客户机元素(用户代理客户机UAC)和一服务器元...

一场疫情将直播推上了风口，直播平台抓住机遇，让直播行业扶摇直上，尤其是直播带货更是走进了千家万户。直播最重要的功能就是直播带货功能，要想让视频可以在不同的用户端流畅播放，就要选择合适的音视频编码。那么在自己搭建直播平台时，可以使用哪些音视频编码呢。 一、视频编码 1、H.264 H.264是由两个组织联合制定的视频编码格式，H.264的视频压缩比可以比MPEG-2和MPEG-4高2倍左右，同时还能保持图像的高画质，拥有更高的编码效率和更低的码率，传输时可以节省直播平台的带宽和时间，缩短直播平台用户的下载时间。 2、H.265 H.265是在H.264的基础上推出的视频编码格式，可以说是H.264的升级版，支持超高清的视频。H.265拥有比H.264更高的画质，传输时占用的带宽更小、传输时间更短，而且可以降低延迟，对于自己搭建直播平台来说是很好的选择。 二、音频编码 1、AAC AAC又称高级音频编码，在1997年是想被用于替代MP3格式，在MPEG-2基础上的进行制定的，在当时又被称为MPEG－2 AAC，2000年的MPEG-4格式的出现让AAC又采用了其他编码技术，出现了MPEG-4 AAC。AAC是一种音频有损压缩技术，压缩的文件更小，解码效率更高，支持多声道，可以保持更高的音质，多用于直播平台的搭建。 2、MP3 MP3也是采用了有损压缩方式的音频编码格式，同时MP3使用了感官编码技术，可以有效的保留声音真实度。MP3拥有较好的压缩比率，可以在保留音质的同时将文件压缩成一个较小的文件，但是在一定的比特率下，会明显的出现高频丢失，不适合直播平台的搭建，一般用于音乐编码。 说到MP3，那接着说一下MP4吧。MP4属于MPEG-4的一部分。是一种多媒体容器格式，MP4可以容纳的编码格式比较多，普遍认为它可以嵌入各种格式的音视频编码，所以在直播平台搭建时，通常会将H.265封装成MP4格式。 3、WMA格式 WMA格式是由微软推出的一种音频格式，压缩率比较高，比MP3编码生成的文件小了几乎一半，可以有效的防止盗版，但是渲染能力比较差，对于直播平台的搭建来说不是一个好的选择。 音视频编码技术不仅有文中所说的几种，并且随着技术的发展，音视频编码技术肯定还有会有新的突破，就现...

基本概念 编解码 　　编解码器（codec）指的是一个能够对一个信号或者一个数据流进行变换的设备或者程序。这里指的变换既包括将 信号或者数据流进行编码（通常是为了传输、存储或者加密）或者提取得到一个编码流的操作，也包括为了观察或者处理从这个编码流中恢复适合观察或操作的形式的操作。编解码器经常用在视频会议和流媒体等应用中。 容器 　　很多多媒体数据流需要同时包含音频数据和视频数据，这时通常会加入一些用于音频和视频数据同步的元数据，例如字幕。这三种数据流可能会被不同的程序，进程或者硬件处理，但是当它们传输或者存储的时候，这三种数据通常是被封装在一起的。通常这种封装是通过视频文件格 式来实现的，例如常见的 .mpg, .avi, .mov, .mp4, .rm, .ogg or .tta. 这些格式中有些只能使用某些编解码器，而更多可以以容器的方式使用各种编解码器。 　　FourCC全称Four-Character Codes，是由4个字符（4 bytes）组成，是一种独立标示视频数据流格式的四字节，在wav、avi档案之中会有一段FourCC来描述这个AVI档案，是利用何种codec来 编码的。因此wav、avi大量存在等于“IDP3”的FourCC。 　　视频是现在电脑中多媒体系统中的重要一环。为了适应储存视频的需要，人们设定了不同的视频文件格式来把视频和音频放在一个文件中，以方便同时回放。视频档实际上都是一个容器里面包裹着不同的轨道，使用的容器的格式关系到视频档的可扩展性。 参数介绍 采样率 　　采样率（也称为采样速度或者采样频率）定义了每秒从连续信号中提取并组成离散信号的采样个数，它用赫兹（Hz）来表示。采样频率的倒数叫作采样周期或采样时间，它是采样之间的时间间隔。注意不要将采样率与比特率（bit rate，亦称“位速率”）相混淆。 　　采样定理表明采样频率必须大于被采样信号带宽的两倍，另外一种等同的说法是奈奎斯特频率必须大于被采样信号的带宽。如果信号的带宽是 100Hz，那么为了避免混叠现象采样频率必须大于200Hz。换句话说就是采样频率必须至少是信号中最大频率分量频率的两倍，否则就不能从信号采样中恢复原始信号。 　　对于语音采样： 8,000 Hz 电话所用采样率, 对于人的说话已经足够 11,025 Hz 22,050

 tob和toc的区别如下： 1、面向的群体不同，tob面对的是整个团队；toc面对的是单个的顾客； 2、需要的要求和内容不同，tob主要是针对一个团队的合作；而toc主要是针对个人的喜好； 3、面对对象的要求不同，tob的对象是团队，而团队的要求一般是服务以及合作的能力；toc的对象是个体，一般来说会更加注重价格。  tob和toc都是贸易方式，只是面对的客户不同。tob，全称为tobusiness，也就是面向企业；toc，全称为toconsumer，也就是面向消费者。  简单来说，tob就是创建一个为企业服务的企业，比如你开了一家店，是搞批发的，专门让其他商户来进货。而toc就是为消费者服务的企业，就像是你进了货后在马路边开了一家小卖部，等待顾客上门购物。

ehome协议介绍 ehome协议又称智能住宅，在国外常用Smart Home表示。与智能家居含义近似的有家庭自动化（Home Automation）、电子家庭（Elecctronic Home、E-home）、数字家园（Digital Family）、家庭网络（Home Net/Networks for Home）、网络家居（Network Home）、智能家庭/建筑（Intelligent Home/Building），在我国香港和台湾等地区，还有数码家庭、数码家居等称法。 智能家居是以住宅为平台，利用综合布线技术、网络通信技术、安全防范技术、自动控制技术、音视频技术将家居生活有关的设施集成，构建高效的住宅设施与家庭日程事务的管理系统，提升家居安全性、便利性、舒适性、艺术性，并实现环保节能的居住环境。 智能家居是一个居住环境，是以住宅为平台安装有智能家居系统的居住环境，实施智能家居系统的过程就称为智能家居集成。 智能家居集成是利用综合布线技术、网络通信技术、安全防范技术、自动控制技术、音视频技术将家居生活有关的设备集成。由于智能家居采用的技术标准与协议的不同，大多数智能家居系统都采用综合布线方式，但少数系统可能并不采用综合布线技术，如电力载波，不论哪一种情况，都一定有对应的网络通信技术来完成所需的信号传输任务，因此网络通信技术是智能家居集成中关键的技术之一。安全防范技术是智能家居系统中必不可少的技术，在小区及户内可视对讲、家庭监控、家庭防盗报警、与家庭有关的小区一卡通等领域都有广泛应用。自动控制技术是智能家居系统中必不可少的技术，广泛应用在智能家居控制中心、家居设备自动控制模块中，对于家庭能源的科学管理、家庭设备的日程管理都有十分重要的作用。音视频技术是实现家庭环境舒适性、艺术性的重要技术，体现在音视频集中分配、背景音乐、家庭影院等方面。 1、始终在线的网络服务，与互联网随时相连，为在家办公提供了方便条件。 2、安全防范：智能安防可以实时监控非法闯入、火灾、煤气泄露、紧急呼救的发生。一旦出现警情，系统会自动向中心发出报警信息，同时启动相关电器进入应急联动状态，从而实现主动防范。 3、家电的智能控制和远程控制，如对灯光照明进行场景设置和远程控制、电器的自动控制和远程控制等。 4、交互式智能控制：可以通过语音识别技术实现智能家电的声控功能；通过...

1.图像 1.1 什么是图像 什么是图像？简单说图像就是很多带有颜色的点组成的，这些点就是像素点。而像素，也是图像显示的基本单位。 我们通常提到的一张图片是1920 1080，意思是说长度为1920个像素点，宽度为1080个像素点，1920 1080 = 2073600，也就是说这张图片总共有200多万个像素点，也就是我们通常说的200万像素。 1.2 图像有多大 想要搞清楚图像有多大，就得先搞清楚一个像素点是多少个比特（bit），而想搞清楚一个像素点是多少个bit，就要从颜色开始说起。 我们知道任何颜色都可以用红色、绿色、蓝色按照一定的比例调配出来，而这三种颜色也被称为三原色。 而在计算机里，颜色是用数字来表示的，R、G、B被称为“基色分量”，他们的值分别是从0到255，一种256个等级。因此，任何颜色都可以用R、G、B的三个值的组合来表示。通过RGB的方式，我们可以表达256 256 256 = 16777216种颜色，这种表示方式，也称为1600万色。 刚才提到，RGB三原色中每一个颜色有256个数值，正好是2的8次方，我们知道在计算机里一个数字是1bit，那么用8位的二进制数来表达，刚好能表达256个数值，那么刚好就是8bit可以表达一个原色，也就是说RGB三原色每个颜色占用8bit，三个颜色就是24bit，这种方式表达的颜色也被称为24位色。 以1080p的图片为例，像素点是2073600个，用24位色表示，每张图片就是 2073600 24 bit = 49766400 bit。 结合上一节课的知识，我们得到49766400 / 8 / 1024 / 1024 = 5.9MB，就是说这张图片的大小是5.9MB。 2.视频 2.1 什么是视频 我们提到的视频，其实就是若干张图片连续播放的结果，通常的视频有如下的几张格式： 视频格式 长宽比 分辨率 像素 720p 16:9 1280 720 921600 1080p 16:9 1920 1080 2073600 2K 16:9 1920 1080 82073600 4K 16:9 3840 2160 8294400 8K 16:9 7680 4320 33177600 好的，我们继续回到视频，那么多张图片通常要怎么样去连续的播放呢，这就涉及...

码流 码流（Data Rate）是指视频文件在单位时间内使用的数据流量，也叫码率、取样率、码流率，是视频编码中画面质量控制中最重要的部分，一般我们用的单位是Kb/s或者Mb/s。一般来说同样分辨率下，视频文件的码流越大，压缩比就越小，画面质量就越高。码流越大，说明单位时间内取样率越大，数据流精度就越高，处理出来的文件就越接近原始文件，图像质量越好，画质越清晰，要求播放设备的解码能力也越高。 VBR（可变码流） VBR编码指的是编码器的输出码率（或者解码器的输入码率）可以根据编码器的输入源信号的复杂度自适应的调整，目的是达到保持输出质量保持不变而不是保持输出码率保持不变。VBR适用于存储（不太适用于流式传输），可以更有效地利用有限的存储空间：用比较多的码字对复杂度高的段进行编码，用比较少的码字对复杂度低的段进行编码。 帧率 一帧就是一副静止的画面，连续的帧就形成动画，如电视图象等。我们通常说帧数，简单地说，就是在1秒钟时间里传输的图片的帧数，也可以理解为图形处理器每秒钟能够刷新几次，通常用fps（Frames Per Second）表示。每一帧都是静止的图象，快速连续地显示帧便形成了运动的假象。高的帧率可以得到更流畅、更逼真的动画。每秒钟帧数 (fps) 愈多，所显示的动作就会愈流畅。 分辨率 视频分辨率是指视频成像产品所成图像的大小或尺寸。常见的视像分辨率有352×288，176×144，640×480，1024×768。在成像的两组数字中，前者为图片长度，后者为图片的宽度，两者相乘得出的是图片的像素，长宽比一般为4：3. 目前监控行业中主要使用Qcif(176×144）、CIF(352×288）、HALF D1(704×288）、D1(704×576）等几种分辨率。 D1是数字电视系统显示格式的标准，共分为以下5种规格： D1：480i格式（525i）：720×480（水平480线，隔行扫描），和NTSC模拟电视清晰度相同，行频为15.25kHz，相当于我们所说的4CIF(720×576) D2：480P格式（525p）：720×480（水平480线，逐行扫描），较D1隔行扫描要清晰不少，和逐行扫描DVD规格相同，行频为31.5kHz D3：1080i格式（1125i）：1920×1080（水平1080线，隔行扫描），高清方式采用最多的一种分辨率，分...

我们当前在网络中看的视频时，一般都没有留意具体的技术实现，其实这些网络视频服务，有一个响亮的名号叫“流媒体”。 一、什么是流媒体 流媒体是指采用流式传输的方式在Internet/Intranet播放的媒体格式，包含音频、视频、多媒体文件；流媒体在播放前不会下载整个文件，只将开始部分存入内存，在用户访问时对数据包进行缓存，让媒体数据正确地输出，流媒体数据流随时传送随时播放，只是在开始时有些延迟。 二、如何实现流式传输 客户端通过链接视频服务器实时传输音、视频信息，实现“边下载边播放”。实现流式传输有两种方法：实时流式传输（Realtime streaming）和顺序流式传输（progressive streaming）。 1、顺序流式传输（既HTTP流式传输） 即顺序下载音、视频文件，可以实现边下载边播放，不过，用户只能观看已下载的视频内容，无法快进到未 下载的视频部分，顺序流式传输可以使用Http服务器来实现，比如Nginx、Apache等。 2、实时流式传输 实时流式传输可以解决顺序流式传输无法快进的问题，它与Http流式传输不同，它必须使用流媒体服务器并且使用流媒体协议来传输视频，它比Http流式传输复杂。常见的实时流式传输协议有RTSP、RTMP、RSVP 等。  将原始的视频文件通过编码器转换为适合网络传输的流格式，编码后的视频直接输送给媒体服务器。 媒体服务获取到编码好的视频文件，对外提供流媒体数据传输接口，接口协议包括 ：HTTP、RTSP、 RTMP等。 播放器通过流媒体协议与媒体服务器通信，获取视频数据，播放视频。 三、流媒体传输的过程是什么样的？ CDN：Content Delivery Network，第三⽅提供的⽹站资源加速下载或传输的⽹络，其原理是把同样的静态⽂件或者实时多媒体流同时发布到电信、移动、联通等运营商的⽹络内，⽅便⽤户就近下载实现更快、更稳定的传输速度。 推流：客户端采集的⾳视频数据，经过编码和⽹络传输，发送给流媒体服务器的过程，服务器可能是⾃⼰搭建的，也可能是CDN提供的。 拉流：客户端或者播放器从服务器下载（拉取）指定的媒...

首先要分清楚媒体文件和编码的区别：文件是既包括视频又包括音频、甚至还带有脚本的一个集合，也可以叫容器；文件当中的视频和音频的压缩算法才是具体的编码。 AVI：音视频交互存储，最常见的音频视频容器。支持的视频音频编码也是最多的 MPG：MPEG编码采用的音频视频容器，具有流的特性。里面又分为 PS，TS 等，PS 主要用于 DVD 存储，TS 主要用于 HDTV。 VOB：DVD采用的音频视频容器格式（即视频MPEG-2，音频用AC3或者DTS），支持多视频多音轨多字幕章节等。 MP4：MPEG-4编码采用的音频视频容器，基于 QuickTime MOV 开发，具有许多先进特性。 3GP：3GPP视频采用的格式，主要用于流媒体传送。 ASF：Windows Media 采用的音频视频容器，能够用于流传送，还能包容脚本等。 RM：RealMedia 采用的音频视频容器，用于流传送。 MOV：QuickTime 的音频视频容器，恐怕也是现今最强大的容器，甚至支持虚拟现实技术，Java 等，它的变种 MP4,3GP都没有这么厉害。 MKV：MKV 它能把 Windows Media Video，RealVideo，MPEG-4 等视频音频融为一个文件，而且支持多音轨，支持章节字幕等。 WAV ：一种音频容器（注意：只是音频），大家常说的 WAV 就是没有压缩的 PCM 编码，其实 WAV 里面还可以包括 MP3 等其他 ACM 压缩编码。 WMV：是微软推出的一种流媒体格式，它是在“同门”的ASF（Advanced Stream Format）格式升级延伸来得。 H.264是一种高性能的视频编解码技术。 目前国际上制定视频编解码技术的组织有两个，一个是“国际电联（ITU-T）”，它制定的标准有H.261、H.263、H.263+等，另一个是“国际标准化组织（ISO）”它制定的标准有MPEG-1、MPEG-2、MPEG-4等。 而H.264则是由两个组织联合组建的联合视频组（JVT）共同制定的新数字视频编码标准，所以它既是ITU-T的H.264，又是ISO/IEC的MPEG-4高级视频编码（Advanced Video Coding，AVC），而且它将成为MPEG-4标准的第10部分。 因此，不论是MPEG-4 AVC、MPEG-4 Part 10...

1 什么是实时音视频 实时音视频(Real-Time Communication，RTC)，一种给行业提供高并发、低延时、高清流畅、安全可靠的全场景、全互动、全实时的音视频服务的终端服务。具体内涵如下 (1)实时：音视频数据传输的延迟要达到“实时”的标准，也就是说延时要小于400ms，能够实现低延时和无卡顿，在正常通信过程中基本感受不到延迟的存在。 (2)音视频：音视频数据传输，实时音视频通信通过服务端为中转节点，即时采集、渲染、处理、传输终端用户的图像、视频、音频数据进行，实现音视频流数据在终端节点间完成通信的过程。 (3)实时音视频服务商一般以SDK的形式提供一整套解决方案。RTC服务商提供一整套解决方案 2 实时音视频的应用场景 移动互联网的快速发展以及智能终端设备的大范围普及，实时音视频正成为当下主流的互动方式。实时音视频的应用场景非常广泛，比如在线教育、社交娱乐、互动电商等热门领域，同时也使得众多传统领域逐步引入音视频技术，应用在更多创新场景中，如金融、政企服务、IoT、医疗等，提供更便捷的生活和更人性化的服务。实时音视频通过线上线下相结合，助力企业持续创新，实现降本增效。 (1)在线教育 高清、低时延、高并发直播，易集成，适用于在线学习、师生互动，支持快速部署到在线教育视频平台。 (2)互动文娱 适用于网红直播、企业直播、娱乐直播、游戏直播等场景，提供功能强大的实时媒体处理能力，实现各种直播场景玩法，为客户和合作伙伴打造端到端一站式“音视频互动”解决方案。互动电商场景下通过集成实时音视频功能实现PK直播和实时连麦互动，为全球观众提供沉浸式互动电商购物体验 (3)电商直播 通过实时音视频提升互动性，提升电商客户转化率。 (4)视频会议 视频会议场景下需支持百万人会议和直播，多终端灵活入会及全球化部署，适用于低时延视频会议场景，提供稳定流畅的低成本高清视频会议服务，具有超强抗丢包、低时延能力。 (5)远程医疗 实时消息等内容实现全球场景下需保证实时音视频、超低延时、精准同步传输。 (6)游戏电竞 游戏电竞场景下提供清晰流畅的高品质音视频，满足不同游戏社交场景的实时互动体验。 (7)远程培训 远程培训不受地域限制，以互联网通讯系统为基础，利用多媒体技术和智慧协同为企业提供培训。适用于企业、AEC、教育、零售等众多行业...

UI是研究人机交互的学科，从目前应用领域来看，主要应用于软件、互联网、移动智能设备、游戏和虚拟现实影音方面，这些新兴的热门方向和活跃领域。同时，高校尚未开设相应专业，造成人才缺口和社会需求巨大，尽管坊间传言UI设计师趋于饱和，但根据智联招聘的数据来看年末与年初的招聘旺季依旧有大量的企业需求，就算是招聘淡季也会有很多企业需要UI方面的专业人才。那么，你知道UI设计师必备的技能有哪些？ UI设计师想必大家都不陌生，也有越来越多的人开始学习UI设计，那每个学习UI设计的人都有一个成为UI设计师的梦想，那你知道UI设计师的必备技能吗？作为一个10年设计的UI师简单谈一下成为一个合格的UI设计师需要具备那些能力。 1、设计软件操作技能 一名成功地UI设计师，必然是精通PS、AI、AE等各种软件的。所以，软件操作技能是UI设计不可缺少的技能。UI涉及的内容虽然不难，但是数量比较多，光是要学习的软件就有好多种。在学习软件操作的时候你可能会感觉到比较困难，毕竟很多软件操作是比较费脑的，需要记快捷键以及使用方式。对于一些辅助为主的软件可以适当的少放点精力，把精力放在PS、AI、AE、ARP、Sketch等这几个常用的软件上面。 2、绘画技能 手绘能力是加分项。比如说基本的平面构成、色彩构成一定要了解，这些是你作品的理论依据。所以，设计/绘画技能也是UI设计不可缺少的技能。很多人说你我不会绘画，是不是就不适合学习UI呢？并不是的额，如果你擅长手绘，那这对你学习UI设计有很大帮助的，从事UI界面设计，98%都是利用电脑软件操作设计出来的这里要求的绘画，大部分还是对审美的要求而已！ 3、设计技能 设计师设计能力是基础，设计思维一定要有得，作为设计师，重要得是有设计能力，配色，排版等。设计包含了:图标设计，界面设计，动效设计，交互设计，运营设计，插画设计，平面设计，作品集设计，小程序设计。图标设计:手机及电脑上的界面里面的图标。界面设计:手机APP界面和电脑上的界面。动效设计:动效设计可能很多人没有留意过，但是动效设计是非常非常重要的，只要是页面切换效果都属于动效设计。交互设计要做的就是原型图设计。 4、代码技能 很多人看到这个代码技能就觉得很不理解，为什么UI设计师还要懂代码呢？有思考以及独立设计的能力不就行了吗？这种是对于UI设计师的片面...