全部Android流媒体猿科技前端服务器后端产品经理版本控制公告测试系统开发设计师
最新 最热 官方 加精

天翼云社区 | 4天前 | https

云服务器虚拟化超分与虚机性能关系分析

本文分享自天翼云开发者社区《[云服务器虚拟化超分与虚机性能关系分析](https://www.ctyun.cn/developer/article/415236377866309)》,作者:l n 虚拟化技术是云计算商业模式的基础,它也是推动云计算经济的核心技术。虚拟化是指使用虚拟化软件在计算机硬件上创建抽象层,将单个计算机的硬件元素(包括处理器、内存、存储器等)分成多个虚拟计算机 (VM), 每个 VM 都运行自己的操作系统 (OS) ,类似于独立的计算机。这样虚拟化技术能让一台服务器变成几台甚至上百台互相隔离的虚拟服务器,不再受限于物理上的界限,而是让CPU、内存、存储、I/O等硬件变成可以动态管理的“资源池”,从而提高资源的利用率,简化系统管理,实现服务器整合池化,让IT对业务的变化更具适应力。虚拟化能够提高企业资源运营效率,节约能耗,降低经济成本和空间浪费。 ![84db52a601b44bbfb44b6ea87a91993c](https://qiniu.qjos.cn/84db52a601b44bbfb44b6ea87a91993c.png) 服务器虚拟化示意图 CPU虚拟化公式: vCPU数量=CPU数量 每颗CPU核数 线程数 超分比 ![66d944edf42e465f96185e77cbc3e58a](https://qiniu.qjos.cn/66d944edf42e465f96185e77cbc3e58a.png) CPU和vCPU的关系    “超分”是云计算虚拟化技术的一个必然现象,超分也是虚拟化平台的优势,它能够将可分配给客户的vCPU总数大于实际可用的物理CPU总数。因为物理机中的客户虚机不可能都处于高负荷的状态,所以适当的超分有助于资源的充分利用。 但当有些持续高CPU计算场景(如渲染)平台用户量过多时, CPU超分率数值过大会严重影响物理机性能,导致业务性能卡顿,影响服务体验。那超分与虚机性能关系是怎样的呢?  其实超分是这样一个概念:就是控制最大开出的vcpu资源数,比如物理资源总核数为1000,不管在1:3还是1:5的超分下,当已经开出的资源小于1000时,基本上虚机独立占用物理CPU的时间片,性能和独享CPU性能基本一致,当开出的资源是3000vCPU,且全部都在运行时,不管是1:3的超分还是1...

 40 |  0 |  0 https

天翼云社区 | 1周前 | 架构设计

Rocksdb原理简介

本文分享自天翼云开发者社区《[Rocksdb原理简介](https://www.ctyun.cn/developer/article/419235671285829)》 作者:l n Rocksdb作为当下nosql中性能的代表被各个存储组件(mysql、tikv、pmdk、bluestore)作为存储引擎底座,其基于LSM tree的核心存储结构(将随机写通过数据结构转化为顺序写)来提供高性能的写吞吐时保证了读性能。同时大量的并发性配置来降低compaction的影响。 ![f8691bcc9f41416c980bf9fdc5044c96](https://qiniu.qjos.cn/f8691bcc9f41416c980bf9fdc5044c96.png) 涉及到的几个核心文件: WAL WriteAheadLog,rocksdb的日志,保存memtable中的信息。当memtable转化为immutable memtable并且Flush到L0层之后,之前WAL的会被清理,即于删除DB目录下的log文件。 在RocksDB中每一次数据的更新都会涉及到两个结构,一个是内存中的memtable(后续会刷新到磁盘成为SST),第二个是WAL。 WAL主要的功能是当RocksDB异常退出后,能够恢复出错前的内存中(memtable)数据,因此RocksDB默认是每次用户写都会刷新数据到WAL。每次当当前WAL对应的内存数据(memtable)刷新到磁盘之后,都会新建一个WAL。 所有的WAL文件都是保存在WAL目录(options.wal_dir),为了保证数据的状态,所有的WAL文件的名字都是按照顺序的(log_number)。 MANIFEST 在RocksDB中MANIFEST保存了存储引擎的内部的一些状态元数据,简单来说当系统异常重启,或者程序异常被退出之后,RocksDB需要有一种机制能够恢复到一个一致性的状态, 而这个一致性的状态就是靠MANIFEST来保证的. MANIFEST在RocksDB中是一个单独的文件,而这个文件所保存的数据基本是来自于VersionEdit这个结构. MANIFEST包含了两个文件,一个log文件一个包含最新MANIFEST文件名的文件,Manifest的log文件名是这样 MANIFES...

 183 |  0 |  0 架构设计

天翼云社区 | 1周前 | 新闻

《中国电信天翼云PON SD-WAN技术白皮书》来了,这份技术指南不要错过!

5月17日,在中国电信第三届科技节·上海站暨517世界电信日活动上,天翼云联合中国电信上海公司正式发布《中国电信天翼云PON SD-WAN技术白皮书》,为中国电信深入实施“云转数改”战略,助力百万政企客户进行数字化转型提供了技术理论支撑,更为业内突破云网关键核心技术,构建云网融合边界接入生态体系提供了参考指南。 ![921b5be7626248f2a2b7cc512fdcbe77](https://qiniu.qjos.cn/921b5be7626248f2a2b7cc512fdcbe77.png) 天翼云PON SD-WAN作为国内运营商首家实现PON接入模块与入云、组网功能集成的云网融合产品,推动天翼云朝着构建“泛在覆盖、敏捷部署、智能安全、云网融合”的算力传输大动脉方向迈出了重要一步。 天翼云PON SD-WAN作为SD-WAN的一种新形态,由天翼云SD-WAN与中国电信政企网关A8-C深度融合打造而成。依托中国电信网络资源优势,天翼云PON SD-WAN以多元化的边界接入方式,连通ChinaNet/163、CN2、云专网及境外网络,能够为政企客户构建广覆盖、大带宽、低时延、高可靠的国际、省际高速随选互联网络,满足用户上网、入云、组网、海外应用加速等多场景应用需求。 天翼云PON SD-WAN四大优势 ①多样高速接入,云网边界融合 天翼云PON SD-WAN支持对称10G PON、以太网及4G/5G等多种接入方式,并具有语音、Wi-Fi6等功能,在提升传统宽带接入方式多样性的同时,降低了网络接入复杂度,简化了上云及运维难度,不断提高客户满意度。 ②多云融合连接,打造全球一张云网 天翼云PON SD-WAN依托天翼云全球POP站点优势,利用SD-WAN虚拟化部署及云间高速互联技术,实现站点与天翼云、其他混合云互联,为跨国企业提供广覆盖、高可靠、大带宽的全球一张云网解决方案。 ![c96fe4cc2bf64eb99bcff864da20a15d](https://qiniu.qjos.cn/c96fe4cc2bf64eb99bcff864da20a15d.png) ③专属安全跨境链路,助力海外应用加速 基于天翼云合规跨境资质,天翼云PON SD-WAN充分发挥本地互联网就近接入POP站点优势,打造了专属跨境加速...

 191 |  0 |  0 新闻

天翼云社区 | 1周前 | 架构设计

Dummynet简单部署

本文分享自天翼云开发者社区《[Dummynet简单部署](https://www.ctyun.cn/developer/article/418520067903557)》 作者:凸凹 部署流程 ^准备内核版本  ^参看系统内核版本 uname -r  我们需要将ipfw编译成内核模块,请确保ipfw用到的内核源码版本同你linux系统运行内核版本一致。 ^编译dummynet https://github.com/FS1360472174/dummynet.git 下载包 ^上传解压   ![82aa1eca06f64342aec8650893cf0da3](https://qiniu.qjos.cn/82aa1eca06f64342aec8650893cf0da3.png) ^进入操作目录 cd dummynet-master   ![e36cdef0e6ed42ea83dee66a0249f7e6](https://qiniu.qjos.cn/e36cdef0e6ed42ea83dee66a0249f7e6.png) ^编译 make KERNELPATH=/usr/src/kernels/3.10.0-957.el7.x86_64/ ![bb58116c759e4a4eb4a56612a5edd120](https://qiniu.qjos.cn/bb58116c759e4a4eb4a56612a5edd120.png)   ^加载ipfw 模块 cd kipfw-mod insmod ipfw_mod.ko ![78cfe1929bf14ce389a1da16f4dc0779](https://qiniu.qjos.cn/78cfe1929bf14ce389a1da16f4dc0779.png) cd ../ipfw cp ipfw /sbin chmod 700 /sbin/ipfw ![5d11318702e6437aa840708576b87b80](https://qiniu.qjos.cn/5d11318702e6437aa840708576b87b80.png) ^验证ipfw ipfw add pipe 2 in proto tcp  可选择地,将ipfw 设置为boot启动 cp /root/dummynet-master/kip...

 166 |  0 |  0 架构设计

阿木木 | 1周前 | 安卓优化Android

在Android采集视频过程中增加水印功能实现

在Android采集视频过程中增加水印,并且水印包含一个变化的时间戳,这里考虑方案实现的时候,就想到了ffmpeg,ffmpeg包含很多filter能实现水印添加的功能。 基本实现方案是,Camera预览 得到预览帧的bitmap 给bitmap通过ffmpeg 添加水印 ffmpeg把bitmap使用h264编码 写文件。 其实ffmpeg添加水印功能在网上例子很多,也都大同小异,但在Android端,比较难搞的地方其实是ffmpeg编译出能带水印添加功能的so库文件,其中:ffmpeg的drawtext filter依赖freetype的so,需要先编一个android平台下freetype的so,而在android平台的编译ffmpeg时,难搞的pkg-cfg总是检查依赖的freetype失败,迫不得已修改了ffmpeg的configure,不在对freetype库做检查,但编译配置的时候需要手动指定freetype so的搜索路径。 我使用的配置如下: js /usr/local/lib/pkgconfig $FFMPEG_ROOT/configure --target-os=linux \ --prefix=$PREFIX \ --disable-encoders \ --disable-decoders \ --disable-muxers \ --disable-demuxers \ --disable-parsers \ --disable-bsfs \ --disable-protocols \ --disable-devices \ --disable-avdevice \ --disable-zlib \ --disable-bzlib \ --enable-cross-compile \ --enable-runtime-cpudetect \ --pkg-config-flags="--static" \ --disable-asm \ --arch=arm \ --enable-armv5te \ --cc=$PREBUILT/bin/arm-linux-androideabi-gcc \ --cross-prefix=$PREBUILT/bin/arm-linux-androideabi

 270 |  0 |  0 安卓优化Android

天翼云社区 | 1周前 | 架构设计

天翼云CDN全站加速产品对websocket协议的支持

本文分享自天翼云开发者社区《[天翼云CDN全站加速产品对websocket协议的支持](https://www.ctyun.cn/developer/article/410988826476613)》 作者:郭 迎 1、背景介绍 HTTP 协议有一个缺陷:通信只能由客户端发起。这种单向请求的特点,注定了如果服务器有连续的状态变化,客户端要获知就只能使用轮询的方案。 轮询是在特定的时间间隔(如每1秒),由浏览器对服务器发出HTTP请求,然后由服务器返回最新的数据给客户端的浏览器。这种传统的模式带来很明显的缺点,即浏览器需要不断的向服务器发出请求,显而易见,轮询不仅效率特别低,且特别浪费带宽资源,因为HTTP请求可能包含较长的头部,其中真正有效的数据可能只是很小的一部分,显然这样会浪费很多带宽资源。 因此,工程师们一直在思考,有没有更好的方法。websocket 就是这样发明的。websocket 协议诞生于2008年,2011年成为国际标准,目前所有浏览器均已支持。它最大的特点全双工通信,浏览器和服务器只需要做一个握手的动作,然后浏览器和服务器之间就形成了一条快速通道,两者之间就可以直接互相传送数据了,如下右图所示。可见,websocket 协议,能更好的节省服务器资源和带宽,并且能够更实时地进行通讯。 ![2ef0707653ff41bea9de47ba4542cb6d](https://qiniu.qjos.cn/2ef0707653ff41bea9de47ba4542cb6d.png) websocket的优势: 1)较少的控制开销。在连接创建后,服务器和客户端之间交换数据时,用于协议控制的数据包头部相对较小。 2)更强的实时性。由于协议是全双工的,所以服务器可以随时主动给客户端下发数据。相对于HTTP请求需要等待客户端发起请求服务端才能响应,延迟明显更少;即使是和Comet等类似的长轮询比较,其也能在短时间内更多次地传递数据。 3)保持连接状态。与HTTP不同的是,Websocket需要先创建连接,这就使得其成为一种有状态的协议,之后通信时可以省略部分状态信息。而HTTP请求可能需要在每个请求都携带状态信息(如身份认证等)。 4)更好的二进制支持。Websocket定义了二进制帧,相对HTTP,可以更轻松地处理二进制内...

 314 |  1 |  0 架构设计

天翼云社区 | 1周前 | 硬件开发

虚拟化技术 - CPU虚拟化

本文分享自天翼云开发者社区《[虚拟化技术 CPU虚拟化](https://www.ctyun.cn/developer/article/416317458251845)》 作者:谢 悦 物理机器是由CPU,内存和I/O设备等一组资源构成的实体。虚拟机也一样,由虚拟CPU,虚拟内存和虚拟I/O设备等组成。VMM(VM Monitor)按照与传统OS并发执行用户进程的相似方式,仲裁对所有共享资源的访问。本文将分别讨论CPU虚拟化、内存虚拟化和I/O虚拟化技术的原理和实现。 在虚拟化的平台上,虚拟机(guest VM)所使用的多个虚拟CPU(以下称vCPU)可能是共享同一个物理CPU(以下称pCPU)的。VMM负责vCPU的调度,当一个vCPU被调度到获得pCPU的使用权后,基于该vCPU运行的guest OS又可以调度OS中的各个线程/进程了。也就是说,guest OS中的各个线程/进程分时复用了vCPU,而各个vCPU又分时复用了pCPU。 为了从硬件上提供对vCPU调度和切换的支持,Intel推出了被称为VT-x(Virtualization Technology for x86)的CPU虚拟化扩展技术,用户可通过VMXON/VMXOFF指令打开/关闭这个功能。和Intel亦敌亦友的AMD也推出了被称为AMD-V的对应技术。 在Linux中,从用户空间trap到内核空间可以通过system call或者interrupt/exception。以system call基于x86的实现为例,早期x86提供的trap方法是int 0x80这样的software interrupt机制,而后改成了SYSENTER/SYSEXIT的指令对,现在则已经被速度更快的SYSCALL/SYSRET取代了。 类似地,在VT-x中,从guest VM进入VMM(这个过程被称为VM exit)通常有三种方式: 1)执行VMCALL指令,这种方式被称为hyper call,跟执行SYSCALL指令实现的system call原理差不多。 2)发生了硬件中断或软件异常。 3)guest VM执行了一些敏感指令。有一些敏感指令并不会产生VM exit,比如SYSENTER;有一些敏感指令则可以根据下面将要介绍的VM executation control fields配置来

 169 |  0 |  0 硬件开发

天翼云社区 | 2周前 | 分布式

CDN网关超大range计算方法

本文分享自天翼云开发者社区《[CDN网关超大range计算方法](https://www.ctyun.cn/developer/article/418155452207173)》 作者:康 彬 一、目前CDN网关openresty中的lua遇到两个超大数值,计算两个数值的差、和是不支持的,因为lua支持最大的数值的位数大小是19位,当数值大于 19位的时候,会自动变成指数类型,例如:1.22222e+19,并且两个同位超大数值比较大小也是不支持的,如下(20位数):     local a = 11111111111111111111     local b = 11111111111111111222     print(a) = 1.1111111111111e+19     print(b) = 1.1111111111111e+19     print(a < b) = false (正常结果应为true)     print(a b) = true(正常结果应为false)     因此,结果是无法比较的,也是无法计算,相减等于0。 二、可通过以下方式处理: 1、数值转换-数字转为字符串:针对两个超大数值,数字先转成字符串,A:大的字符串,B:小的字符串; 2、补位:对B的数值字符串进行补位,前面默认补0,使得两个字符串长度一致; 3、分割字符串:针对A、B两个字符串,按照每10位从头进行分割(最后一段可能小于10位),记A1、A2……An,B1、B2……Bn,此时A1的长度=B1的长度,以此类推,保证两个字符串的每一段数据的长度是一致的,方便后续计算; 4、字符串转为数字:An和Bn转为数字; 5、借位: A1必然大于B1,比较A2与B2,如果A2<B2,则A2向A1借一位,A1=A1-1,A2=A2+10^10,依此类推,最后比较An,Bn,如果An<Bn,则(An-1)=(An-1)-1,An=An+10^(具体位数); 6、递归计算:分段计算得出结果,R1=A1-B1,R2=A2-B2……Rn=An-Bn,得到结果之后,把R1到R2转成字符串,最后R1到Rn拼接起来得到最终计算结果。 结果:lua超大数的表示以及计算方法,其中方法包含:数值转换、补位、分段切割、借位、递归计算,从而得到最终结果

 301 |  0 |  0 分布式

天翼云社区 | 2周前 | 架构设计

浅谈基于Shapley值的数据融合反欺骗数据判断相关

本文分享自天翼云开发者社区《[浅谈基于Shapley值的数据融合反欺骗数据判断相关](https://www.ctyun.cn/developer/article/416084394414149)》,作者:z n 一、相关背景 多个信息源的数据进行融合处理后的信息具有较高准确性,同时具备互补性、及时性等特征,在一定程度上能够克服单信息源获取信息的局限性,能更加客观地对目标形成认识,具有更高置信度和较强鲁棒性。信息融合技术随着人工智能及物联网的发展,在人们日常生活中已被广泛应用。然而,在通过该技术享受生活便利的同时,也承担着其所带来的决策的误判、情报处理混乱等风险。 现代信息融合技术担当着越发重要的角色,其原理是通过传感器获取对状态、环境及目标的相关信息,并根据特定的算法对多个传感器所获信息进行处理,为得到用于评估战场的状态、敌方潜在的威胁以及自身相关方面的稳定性等重要信息提供依据。欺骗信息往往可以定义为故意或者无意操作产生的异常数据,比如假设一个欺骗者通过观察使用者与传感器之间的通信,然后发送虚假信息给使用者以干扰决策。 证据理论是由Dempster于1967年提出,之后由其学生Shafer对其进行了优化和改进,将之进一步发展,实现了相较于概率论等传统方法更加有效的表示和处理不确定性信息。此外,该理论将经典概率论中的基本时间空间拓宽为所有可能包含基本事件的幂集,也就是辨识框架的概念,同时在此基础上建立基本概率指派函数(Basic Probability Assignment, BPA)。源于该理论有着较强的不确定信息表示和处理能力,并且可以实现在无需先验信息的条件下进行融合等优点,在现代信息融合系统中得到了广泛的应用,是处理不确定信息的经典理论工具之一。 Shapley值最早是由诺贝尔经济学奖获得者L. Shapley在合作博弈论中提出的,旨在针对如何合理分配收益的问题,同时考虑到整体活动中每个参与成员之间的平等性,将成本或者收益按照所有的边际成本进行平均分配的原则,也就是说,每个参与者获得的收益值等于该参与人对所有可能联盟合作的边际贡献和的平均值。Yager将这种测量与变量相关的区分知识(不确定性-确定性)的想法扩展引入Shapley熵的模糊测度的情况,将Shapley值熵概念扩展到模糊度量方法,同时引入了模糊测度的基数指数,用它来定义模糊测度的...

 274 |  0 |  0 架构设计

天翼云社区 | 2周前 | 架构设计

VictoriaMetrics常见性能问题排查

本文分享自天翼云开发者社区《[VictoriaMetrics常见性能问题排查](https://www.ctyun.cn/developer/article/408979728740421)》,作者:YT20 集群架构 VM集群由以下子模块组成 vmstorage: 存储原始数据,并根据指定时间范围和标签过滤条件等返回查询数据集 vminsert: 接收数据写入,并根据指标名和标签按一致性hash分发至集群中vmstorage节点 vmselect:执行查询请求,从数据所在的vmstorage节点获取数据 每个模块可以独立扩缩容。其中vmstorage各节点之间不互相通信,属于share nothing架构。如此可以增加集群可用性,也简化了集群维护、扩容。 ![92ecea7700724b61b48aabb8aec5559c](https://qiniu.qjos.cn/92ecea7700724b61b48aabb8aec5559c.jpeg) 慢摄入 VM慢摄入的常见原因如下: 1.  内存不足(活跃时序数据缓存) vmstorage在内存中维护一个缓存,用于快速检索每个传入指标的内部序列ID。此缓存名为storage/tsid。VM会根据运行vmstorage的主机上的可用内存自动确定此缓存大小。如果缓存大小不足以容纳活跃时序数据的所有条目,则VM会从磁盘加载并重建缺失的条目并将其放入缓存中。这需要消耗额外的CPU时间和磁盘IO。 VM官方的Grafana仪表板包含了慢摄入(slow inserts)图表,其中显示了数据摄入过程中的storage/tsid缓存未命中率。如果图表显示慢摄入比例高于5%持续10分钟以上,则很可能当前的活跃时序数据与storage/tsid缓存大小不匹配了。 针对这个问题,有以下方法可以处理: 增加运行VM的主机上的可用内存,直到慢摄入比例低于5%:要么增加每个现有vmstorage节点的可用内存,要么向集群中添加更多的vmstorage结点。 减少活动时序数据的数量。VM官方Grafana仪表板包含一个显示活动时序数量的图表。最近版本的VM提供了cardinality explorer,可以有助于确定和修复高cardinality的数据源。 2.  高周转率(Churn Rate) 在...

 9 |  0 |  0 架构设计

天翼云社区 | 2周前 | 网络协议

浅谈TCP、UDP、ICMP三种常见协议

本文分享自天翼云开发者社区《[浅谈TCP、UDP、ICMP三种常见协议](https://www.ctyun.cn/developer/article/411709986725957)》,作者:杨 豪 TCP TCP是位于传输层的协议,它是面向链接的,提供全双工的服务,数据流可以双向传输。TCP是一种可靠的传输,它拥有三次握手机制保证数据传输的可靠性,如果对方没有接收到数据则会一直尝试重新传输。像FTP文件传输,远程登陆,HTTP,SMTP,HTTPS等等需要保证传输完整性的都是基于TCP协议。   UDP UDP也是位于传输层的协议,它是无连接的,面向报文的协议。UDP只能使用尽最大努力交付,并不能保证数据100%的可靠传输,即便有丢包依然会继续传输。因此,UDP更加注重实时性,像语音,电话,视频都是通过UDP传输的,因为偶尔丢几个包并不影响通信。   ICMP ICMP是网络层协议。它是TCP/IP协议簇的一个子协议,并不承载数据,也不是用来传输数据的。ICMP是用来传递控制消息的,也就是我们经常说的:网络通不通,主机是否可达。常用的ping命令就是基于ICMP。   ![4c85d98f61734d8585ece178b5ed80eb](https://qiniu.qjos.cn/4c85d98f61734d8585ece178b5ed80eb.png)   TCP与UDP的异同 1.链接:TCP是面向连接的传输层协议,即传输数据之前必须建立好链接。UDP无连接 2.服务对象:TCP点对点两点间服务,即一条TCP链接只能有两个端点。UDP支持一对一,一对多,多对一,多对多的相互通信。 3.可靠性:TCP可靠交付。UDP尽最大努力交付。 4.拥塞控制/流量控制:TCP拥有拥塞控制和流量控制来保证数据传输的安全性。UDP则没有。 5.适用场景:TCP适用于数据完整性优先于通信实时性的场景。如果要求通信实时性则使用UDP。   TCP与UDP的优缺点 TCP优点:可靠,稳定 因为TCP有三次握手来建立连接,而且再数据传输的过程中拥有确认,窗口,重传,拥塞控制等机制,再数据传输完成之后还会断开连接来节约资源。 TCP缺点:效率低下,容易被攻击 每一次传输都需要先建立连接,而且传输过程中的各种机制都会消耗大量的时间。又因为TCP是面向链接的协议,拥有三次握...

 241 |  0 |  0 网络协议

天翼云社区 | 2周前 | 设计模式

IPv6 无状态地址如何自动配置?

本文分享自天翼云开发者社区《[IPv6 无状态地址如何自动配置?](https://www.ctyun.cn/developer/article/411147526271045)》,作者:SD万 IPv6无状态地址自动配置(SLAAC)是IPv6网络中的一种自动地址配置方法。它是一种简单、高效、节省带宽和资源的方法,允许设备在网络上自动获取IPv6地址。本文将介绍IPv6无状态地址自动配置的原理、过程、优点以及如何进行配置。 一、IPv6无状态地址自动配置原理 IPv6无状态地址自动配置依靠设备本身的MAC地址以及网络中的路由器RA(Router Advertisement)来完成地址的自动分配。它不需要专门的DHCP服务器或其他复杂的配置过程,这使得它更加简单、易于管理和部署。 IPv6无状态地址自动配置的原理如下: 1.设备通过识别网络中的路由器RA信息获取网络前缀。 2.设备通过使用自己的MAC地址生成一个全球唯一的IPv6地址。 3.设备将自己的IPv6地址和网络前缀进行组合,生成一个完整的IPv6地址。 4.设备使用这个IPv6地址和其他配置参数来配置自己的网络接口。 二、IPv6无状态地址自动配置过程 IPv6无状态地址自动配置的过程包括以下步骤: 1.路由器向网络广播RA信息,包括网络前缀和其他配置参数。 2.设备接收到RA信息后,提取其中的网络前缀和其他配置参数。 3.设备使用自己的MAC地址和网络前缀生成一个IPv6地址。 4.设备检查生成的IPv6地址是否与已有的地址重复。 5.如果IPv6地址不重复,则设备将其设置为自己的网络接口地址。 6.设备使用其他配置参数,例如DNS服务器地址等,完成自己的网络接口配置。 三、IPv6无状态地址自动配置优点 IPv6无状态地址自动配置有以下优点: 1.简单:IPv6无状态地址自动配置不需要复杂的配置过程,只需要路由器发送RA信息即可。 2.高效:IPv6无状态地址自动配置不需要进行DHCP的地址分配,节省了带宽和资源。 3.灵活:IPv6无状态地址自动配置允许设备在网络上自动获取IPv6地址,适用于移动设备和动态网络环境。 4.安全:IPv6无状态地址自动配置使用设备本身的MAC地址生成IPv6地址,这使得地址的唯一性和安全性得到了保障。 四、IPv6无状态地址自动配置如何进行配置 I...

 227 |  0 |  0 设计模式

天翼云社区 | 2周前 | 架构设计

NUMA架构介绍及优缺点分析

本文分享自天翼云开发者社区《[NUMA架构介绍及优缺点分析](https://www.ctyun.cn/developer/article/415653655711813)》,作者:郁 航 一、什么是NUMA架构 1、概念 NUMA(Non-Uniform Memory Access,非统一内存访问)架构是一种针对多处理器系统的内存组织方式。在这种架构中,处理器被分配到不同的节点,每个节点拥有自己的本地内存。处理器可以访问本地内存和其他节点的内存,但访问本地内存的速度要快于访问其他节点的内存。   2、设计原理 NUMA架构的设计原理主要是为了解决多处理器系统中的内存访问瓶颈问题。随着处理器数量的增加,内存带宽需求也会相应提高。然而,在传统的统一内存访问(UMA)架构中,所有处理器共享同一块内存,导致内存访问延迟增加、内存带宽成为系统性能的瓶颈。NUMA架构通过将内存分配到各个节点,使处理器优先访问本地内存,降低内存访问延迟,提高了多处理器系统的性能。   3、结构特点 在NUMA架构中,系统被划分为多个节点,每个节点包含一个或多个处理器、本地内存和I/O设备。节点之间通过高速互连网络进行通信,如HyperTransport(AMD)或QuickPath Interconnect(Intel)等。每个处理器可以访问本地内存和远程内存,但访问本地内存的速度更快。   二、NUMA架构的优点   1、扩展性  NUMA架构允许系统中的处理器和内存资源以节点为单位进行扩展,使得在增加处理器和内存时,可灵活地调整系统的规模。这使得NUMA架构的系统具有很高的扩展性,可以满足从小型服务器到大型高性能计算集群等各种规模的并行计算需求。随着处理器核数的增加,NUMA架构能够更好地应对内存访问的性能挑战,从而实现线性或接近线性的性能提升。   2、局部性  在NUMA架构中,每个节点的处理器具有本地内存,处理器访问本地内存的延迟较低。这种局部性原则有助于减少内存访问延迟,提高处理器之间的协同性能。通过充分利用局部性原则,操作系统和应用程序可以实现更高效的任务调度和内存分配策略,从而进一步提升NUMA系统的性能。   3、负载均衡 在NUMA系统中,各个节点都拥有自己的处理器和本地内存,这使得处理器能够在不同节点间分散负载。通过对任务和内存的分布式管理,可以实现负载均衡,...

 229 |  0 |  0 架构设计

天翼云社区 | 3周前 | 自动化测试

IaaS预留实例在线交易策略详解

本文分享自天翼云开发者社区《[IaaS预留实例在线交易策略详解](https://www.ctyun.cn/developer/article/414622931783749)》,作者:CollerPie 近年来,公有云占据的云计算市场份额逐年上升。Canalys显示,2023年第一季度,全球IaaS云服务支出达到了664亿美元,同比增长19%。由于IaaS云服务支出的不断增加,成本优化对于用户而言变得尤为重要。通过对IaaS云服务资源交易策略的研究,可以帮助用户根据其工作负载的实际运行情况,来适当调整手中的服务资源,从而降低用户使用IaaS云服务的成本。 当前绝大多数的IaaS云服务提供商均支持按需实例、预留实例、竞价实例等多种实例购买选项。用户可以根据自身工作负载的实际运行情况以及这些实例的特性,在IaaS云服务市场中进行相应的交易,通过适当地选择转售或购买这些实例,从而尽可能地降低IaaS云服务的使用成本。IaaS云服务交易模型如下图所示: ![715af40eaf9e47cd824f9e8e722be33f](https://qiniu.qjos.cn/715af40eaf9e47cd824f9e8e722be33f.png) 按需实例:按需实例是一种pay-as-you-go模式,用户根据自身工作负载的实际运行情况,可以随时购买按需实例来服务于工作负载的请求,同时要按小时支付按需实例使用的费用。具体地,用户在购买按需实例时要根据实例的实际使用时长进行收费,如果使用时长未满一小时,超出的部分也将按照一小时标准计费。通常将按需实例的购买成本定义为:p t,其中p表示按需实例每小时的使用单价,t表示按需实例使用的时长。按需实例由于“即付即用”的服务机制,并不能根据用户工作负载的实际运行情况灵活地调整定价幅度,因此在一些场景中无法实现用户收益最大化。 预留实例:预留实例是一种预付模式,用户在使用预留实例时,首先需要支付一定的预付费用,之后用户可以在预留实例的有效期限内享有每小时的使用折扣。通常,预留实例的有效期限为1年或3年。如果用户购买了一个预留实例,那么在该实例的整个预留周期内,无论该实例是否被使用,都会被收取费用。通常将预留实例的购买成本定义为:R+a p T,其中,R表示预留实例前期的预付费用,a表示预留实例在其有效期限内所享有的使用折扣,...

 310 |  0 |  0 自动化测试

天翼云社区 | 3周前 | 系统开发

中小企业上云推广产品组合建议

本文分享自天翼云开发者社区《[中小企业上云推广产品组合建议](https://www.ctyun.cn/developer/article/411345181200453)》,作者:z n 中小企业(SMEs)需要处理和存储越来越多的数据,因此他们需要可扩展和可靠的云计算平台来帮助他们管理这些数据以及提高其业务操作效率。以下是在中小企业中推广云计算产品的建议方案: 一、云主机、存储、网络产品的组合 中小企业通常都有一些简单而常见的IT需求,例如建立一个网站或管理他们的财务数据等。因此,我们可以将云主机、存储和网络结合起来,以提供一个完整的、可靠的云基础架构,以满足他们应用程序运行、数据存储和网络流量等需求。 其中,可选用如下产品: 1.云主机:提供用于安装和运行应用程序的虚拟服务器,包括Linux和Windows两种操作系统,允许用户自由扩展CPU、内存和存储容量等。 2.对象存储:提供可扩展的存储容量,支持多种数据类型和协议,如云备份、文件存储等。 3.负载均衡器:可以实现将流量均衡分配到多个服务器上,避免单点故障并增加性能。 二、云备份与恢复方案 中小企业需要一个可靠的备份和灾难恢复方案,以保护其重要数据免遭意外损失。云备份是满足这一需求的理想选择,因为它提供了高度可靠性的数据保护,同时还能提高应用程序的可用性。 其中,可选用如下产品: 1.云备份:支持多种备份类型、增量备份和不间断备份等,提供定期或实时备份的机制,支持多地点备份和数据冗余等。 2.灾难恢复:提供多种恢复选项,如数据回滚、部署迁移、虚拟机快速恢复等,并可根据客户的特定业务需求配置定制服务方案。 三、云安全产品组合 中小企业需要确保其应用程序和数据受到保护,防止黑客入侵或数据泄漏等安全问题。因此,我们可以将一系列的云安全产品结合起来,以提高其IT安全性以及保障数据隐私。 其中,可选用如下产品: 1.防火墙与DDoS保护:提供基于云的网络安全服务,保护客户的网络免受DDoS、恶意软件和其他网络攻击,确保云环境的数据安全。 2.云监控与审计:提供紧密集成的安全控制和防范措施,帮助客户检测安全事件,快速响应异常行为,并为客户建立一个安全稳定的云环境。 4.虚拟专用网络(VPN):提供安全的、可靠的网络通信,支持端到端数据加密,在不安全的公共网络上提供安全访问客户的应用程序和数据。

 274 |  0 |  0 系统开发

天翼云社区 | 3周前 | 系统开发

大咖说丨云计算:数字世界的“中枢神经”

随着数字化转型进程加速,云计算作为重塑商业模式、加速数字经济发展的关键引擎,其重要性愈发凸显。未来已来,身处数字宇宙中,云计算的角色又将如何转变?近日,中国信息通信研究院云计算与大数据研究所副所长栗蔚,分享了她对于云计算与数字原生新实体的独到见解: 数字化时代,云计算本质已经发生根本改变,实现了由最初的虚拟化技术向数字世界的中枢神经演升,从以服务化资源交付向云原生化价值赋能转变。云计算正在成为数字生命体的中枢神经,成为企业数字化转型的胎生力量。 只有脑区而没有中枢神经的智能是静止的智能。传统人工智能侧重模型算法创新,却忽略了智能是一个复杂的系统化工程,就像人的智慧是建立在完善的中枢神经之上的。模型算法实现的是机器学习能力,相当于人类大脑的认知脑区(脑力功能区的简称),人类有600多个脑区,但人类整体的智能应该包括脑区部分和中枢神经,中枢神经是由脑和脊髓组成(脑和脊髓是各种反射弧的中枢部分),比起早期腔体动物和节肢动物只能处理单维信息的中枢神经不同,人类的中枢神经可以同时、分布式传递和处理所有来自“眼耳鼻舌身意”的超高量信息至不同的认知脑区,并相互连接他们,促进脑区不断发育。 模型算法和云计算恰好分别扮演了脑区和中枢神经的角色。OpenAI与云计算的联姻,充分释放出以云计算为中枢构建的数字生命体的竞争力,大多企业和用户在聚焦模型算法优化改良时,不可忽略云计算作为中枢神经的作用。ChatGPT是构建在云上的人工智能,就像生物的进化一样,是脑区与中枢神经系统关系在数字世界的成功演绎。 ChatGPT的两个被津津乐道的创新是系统化工程的创新,这其中云计算功不可没,一是情景学习模式以及多模态(文本、代码、图片等多维度信息)输入;二是人类反馈强化学习(RLHF)的微调训练机制和提示导引模式。这两个创新中云计算的应用部署和离混部技术发挥了重要作用。 ![e4a6c73ce67140ec857f278fd0cb8af1](https://qiniu.qjos.cn/e4a6c73ce67140ec857f278fd0cb8af1.png) 云计算作为中枢神经,作用有三: 01/ 数字世界脑区(应用)调度算力的系统 云计算分布式调度超高量异构高性能计算GPU和通用计算CPU资源,支持ChatGPT模型的1750亿参数,对于异构的计算资源,云计算屏蔽了复杂的部...

 215 |  0 |  0 系统开发

天翼云社区 | 3周前 | 自动化测试

RDMA网络实践

本文分享自天翼云开发者社区《[RDMA网络实践](https://www.ctyun.cn/developer/article/411411379961925)》,作者:邢 典 RDMA(Remote Direct Memory Access)是远程直接内存访问技术,由于其低时延,低CPU占用等优势,被广泛的应用在分布式存储或计算系统中。DMA技术是一种单机内的高速数据传输技术,通常由DMA控制器来控制数据的传输流程,释放了CPU资源,而RDMA技术是一种借助IB网卡实现远程高数数据传输的技术。 常用的IB网卡厂商有Mellanox,Intel。此处以Mellanox网卡实践,如下图所示test节点上有两块双端口Mellanox网卡,其中MT27800是100GE网卡,MT27710是25GE网卡,且已经工作在RoCE模式或TCP模式 ![4c8ff8325fb34c359f9dfcd9aa9cd459](https://qiniu.qjos.cn/4c8ff8325fb34c359f9dfcd9aa9cd459.png) 搭建RoCEv2测试网络的步骤如下 1.在Mellanox官网找到IB网卡的OFED驱动安装包 ![c03b4d7d9590476c9e2dbe097daf2d53](https://qiniu.qjos.cn/c03b4d7d9590476c9e2dbe097daf2d53.png) 2.安装OFED驱动安装包 OFED安装包中提供的rpm安装包只支持部分内核版本,如果本机内核版本不匹配需要先安装对应的kernel-devel包,然后执行./mlnx_add_kernel_support.sh -m $OFED_DIR --make-tgz -t /tmp/基于该内核开发包编译得到rpm安装包,该命令会在/tmp目录生成新的OFED_DIR目录,在该OFED_DIR目录执行./mlnxofedinstall --force完成安装。其中$OFED_DIR替换成OFED安装包解压后的目录 1.配置IB网卡运行在RoCEv2或IB模式 使用/etc/init.d/openibd restart启动openibd服务后,可以看到系统多出了很多OFED提供的命令 ![dbdc99c4e5844d598b62f45f413d...

 223 |  0 |  0 自动化测试

天翼云社区 | 3周前 | 安卓优化自动化测试

QUIC协议在天翼云CDN全站加速产品中的应用

本文分享自天翼云开发者社区《[QUIC协议在天翼云CDN全站加速产品中的应用](https://www.ctyun.cn/developer/article/410988086165573)》,作者:郭 迎 1、什么是QUIC协议 QUIC全称:Quick UDP Internet Connections,是一种实验性传输层网络协议,提供与TLS/SSL相当的安全性,同时具有更低的连接和传输延迟。QUIC目前的主要应用于http协议,基于QUIC的HTTP/3协议(RFC9114),除了拥有HTTP/2的各项优点,同时由于QUIC的特性,在弱网环境下拥有更强大的性能优势。QUIC由Google自研,2012年部署上线,2013年提交IETF,2021年5月,IETF推出标准版RFC9000。 QUIC的主要优势如下: 1)握手建连更快 QUIC建连时间大约0 1 RTT,在两方面做了优化: 传输层使用了UDP,减少了1个RTT三次握手的延迟。 加密协议采用了TLS 协议的最新版本TLS 1.3,相对之前的TLS 1.1-1.2,3允许客户端无需等待TLS握手完成就开始发送应用程序数据的操作,可以支持1 RTT和0RTT。 对于QUIC协议,客户端第一次建连的握手协商需1-RTT,而已建连的客户端重新建连可以使用之前协商好的缓存信息来恢复TLS连接,仅需0-RTT时间。因此QUIC建连时间大部分0-RTT、极少部分1-RTT,相比HTTPS的3-RTT的建连,具有极大的优势。 2)避免队首阻塞的多路复用 QUIC同样支持多路复用,相比HTTP/2,QUIC的流与流之间完全隔离的,互相没有时序依赖。如果某个流出现丢包,不会阻塞其他流数据的传输和应用层处理,所以这个方案并不会造成队首阻塞。 3)支持连接迁移 什么是连接迁移?举个例子,当你用手机使用蜂窝网络参加远程会议,当你把网络切换到WLAN时,会议客户端会立马重连,视频同时出现一瞬间的卡顿。这是因为,TCP采用四元组(包括源IP、源端口、目标地址、目标端口)标识一个连接,在网络切换时,客户端的IP发生变化,TCP连接被瞬间切断然后重连。连接迁移就是当四元组中任一值发生变化时,连接依旧能保持,不中断业务。QUIC支持连接迁移,它用一个(一般是64位随机数)ConnectionID标识连接,这样即使源的I...

 183 |  0 |  0 安卓优化自动化测试

天翼云社区 | 3周前 | mysql

如何计算真实的数据库成本

本文分享自天翼云开发者社区《[如何计算真实的数据库成本](https://www.ctyun.cn/developer/article/411474462433349)》 作者:王 乾 在云计算占主导地位之前,计算数据库的成本是一个非常简单的等式:软件成本+硬件成本=数据库成本。如果你选择了一个开源产品,软件成本可能会消失。虽然云计算已经从根本上改变了我们使用和部署软件的方式,但仍有太多人在使用这种过时的计算方法。 事实上,在为数据库的总成本定价时,需要考虑的事情还有很多。硬件和软件成本仍然存在,但您还需要考虑扩展数据库、与现有和未来系统集成以及计划内或计划外停机的成本。  在为云数据库的成本定价时,预先询问这些问题至关重要。在The [Cockroach Hour](https://www.cockroachlabs.com/webinars/true-cost-of-a-cloud-database/)的一个在线研讨会中,我们提出了一个完整的大纲,列出了在计算数据库的真实成本时要问的所有问题。费用分为三大类:硬成本、运营成本和软成本。 如果你想看到一个完全详尽的报告,可以看看这份[50页的报告](https://www.cockroachlabs.com/guides/do-more-with-less-with-distributed-sql/)。该报告评估了七家不同的公司,收集的见解将帮助您降低成本,提高正常运行时间,并加快创新步伐。 在我们的原始数据库成本网络研讨会的回顾中,我们将提到各个成本项,并提供使您可以在自己的计算中应用的模板。 数据库的硬成本 从表面上看,这个等式的这一部分自云出现以来没有太大变化。数据库的硬成本分为两类:软件许可证和硬件。 云数据库软成本 市场上有许多软件许可证,可分为三类:   1、传统企业:在云之前,这已经是企业软件领域三十多年的模式。您需要为企业软件许可证支付一大笔预付费(通常为数十万美元,外加支持和维护费)。购买后,您需要为添加的功能和升级支付额外的费用。 2、完全开源:完全免费的Apache许可证。然而,与自由软件许可证相关的成本并非不存在。你需要支付维护、支持和降低风险的费用。我们稍后会讨论这些费用。  3、商业开源:这种模式出现在大约10-15年前,作为一种可行的解决方案,可以解决公司在完...

 220 |  0 |  0 mysql

天翼云社区 | 3周前 | 架构设计

当前区块链研究领域的前沿技术和研究方向

本文分享自天翼云开发者社区《[当前区块链研究领域的前沿技术和研究方向](https://www.ctyun.cn/developer/article/411039734009925)》 作者:施 庆 区块链在过去几年中引起了巨大的关注,这得益于它们的分散性、透明性、匿名性和不可篡改性,这些特点使得区块链技术可以应用于许多领域。目前,区块链技术已被应用于金融、医疗、供应链等多个领域,而且也有很多研究人员正在致力于新的、更完善的区块链技术,以下是当前区块链研究领域的前沿技术和研究方向。 1. 零知识证明技术   零知识证明技术是近年来开始出现的一种新的区块链技术,它可以使得一个人证明自己拥有某些信息,但是却不需要透露这些信息的具体内容。这项技术的应用非常广泛,可以用于对银行账户、个人证件等的验证,对于保护隐私非常有帮助。 2. 侧链技术    侧链技术是一个新的区块链方向,它可以使得多个区块链之间的交互变得更加容易,使得用户可以在不同的区块链之间转移资产。这个技术正在逐渐成熟,并已被一些比特=币技术公司采用。 3. 区块链扩容问题    目前,区块链技术的传输速度限制了区块链的应用范围。为了解决这个问题,研究者正在进行一系列研究,包括引入更高效的共识算法、通过分片技术来提高吞吐量等。 4. 区块链的可持续发展    区块链技术存在的另一个问题是其能源消耗问题。由于需要对区块链进行不断的计算、验证,其能耗是非常高的。因此,一些研究者正在提出更为可持续的解决方案,包括采用更加节能的共识算法、改进挖矿-机制以减少能耗等。 5. 智能合约技术    智能合约是一种在区块链上执行的程序代码,它可以用于执行各种业务和功能。智能合约技术一直是区块链领域中的一个热门研究方向,随着这项技术的不断发展,区块链的应用领域也将得到进一步扩展。 6. 联盟链和私有链的发展    联盟链和私有链是区块链技术中的两种非常重要的类型。联盟链是多个组织或企业之间协同工作的区块链网络。私有链是一种仅由单个实体控制的区块链网络,实体可以是企业、组织或个人。这些链的性质在很多方面都有所不同,这为其有不同的应用场景,例如联盟链可以用于金融、物流等领域,而私有链可以用于更加私密的数据存储和管理。目前,联盟链和私有链的技术还在不断发展中,很多研究者正在针...

 207 |  0 |  0 架构设计