61阅读

网络无处不在-衣+ 科学家提出三值神经网络 让AI无处不在

发布时间:2018-03-14 所属栏目:无处不在的网络

一 : 衣+ 科学家提出三值神经网络 让AI无处不在

  世界领先的创新

  人工智能已经成为最重要的技术革命,目前市场所关心的IT领域几乎所有热点,诸如智能硬件、O2O、机器人、无人机、工业4.0等,其发展突破的关键环节都是人工智能。近年来,深度神经网络模型在图像识别、语音识别、自然语言处理、智力游戏挑战(AlphaGo)等领域取得了飞快的进展。尤其是在图像识别领域,深度卷积神经网络取得了前所未有的成功,目前深度学习已然成为各大科技公司的战略核武器,得到了大力发展。

  

 

  不久之前深度学习的领军人物之一Yoshua Bengio所在蒙特利尔大学的研究小组提出了基于二值的神经网络优化方法,该技术大幅提高了二值神经网络的预测准确率并接近实用水平,在业界引起了很大的轰动,人工智能技术可能会因此向前推进若干年。

  

 

  北京陌上花科技有限公司(衣+)在人工智能领域有着多年的技术积累,衣+的深度学习专家针对二值神经网络的缺陷,经过数学上的理论论证,提出三值神经网络模型(Ternary Weight Networks),继承了二值神经网络的优点同时模型的表达能力上大大提升,三值神经网络各方面指标达到了世界领先的水平。

  

 

  在“智能硬件”火热的今天,很多硬件水平还无法完全达到产品号称的“智能”,其中计算功耗是制约硬件智能化的一个很大的障碍。比如智能手机、嵌入式平台如虚拟现实产品Oculus、增强现实产品HoloLens等很多基于人工智能的应用还只能放在云端,非常不灵活。

  深度学习技术做为人工智能一大热点,模型参数都是使用浮点数来存储数据和进行运算,要求非常大的存储空间和非常大的浮点数计算量,占用很多资源。例如经典的深度卷积网络AlexNet具有200多Mb左右的参数量、VGG-19有500多Mb的参数量,最小的用于ImageNet分类的Residual Network (18 layers)也有50多Mb的参数等。即使是最小的Residual-18网络,处理一张长宽为224的彩色图片也需要18亿次的浮点数运算。为了进一步提升深度学习模型的能力甚至催生了ResNet-1001这种层数达到上千量级的网络。

  

 

  现在主流的GPU显卡,例如GTX Titan X,单卡功耗就有250W,相当于三分钟内耗尽一部iPhone 6手机的电池。这种高功耗还对散热有着苛刻的要求。因此,功耗、计算能力等因素瓶颈制约了AlexNet为代表的传统深度神经网络被应用到更多的设备里,比如Apple Watch和Google Glass等可穿戴设备上。虽然云计算可以将一部分计算转移到云端,但在需要处理高流量输入信号和要求高实时性的场合中,云计算的带宽、延迟和全时可用性都受到挑战,而无法完全替代本地计算。设计既能节省存储空间和计算资源,又具有高精度的模型,对于激活手机移动端、可穿戴设备等智能产品的性能具有迫切的需求。很多大公司和科研机构都将深度学习模型压缩作为追逐的目标。

  三值神经网络解析

  二值神经网络通过把浮点单精度的系数变成正1或负1,系数的二值化(Binary Connect Network)能达成存储大小变为原来的1/32。进一步如果中间结果也变为二值,可以将浮点计算替换成整数位运算。在支持64位运算的CPU和GPU上,这意味着64倍的理论加速比。相当于允许把一个此前只能在高性能服务器上运行的深度学习模型放在智能手表上运行。然而,二值神经网络损失的信息相对于浮点精度是非常大的。

  

 

  因此,对于同样结构的网络模型,二值权重的效果相对于全精度的效果会有不同程度的下降,尤其是面对大规模的真实环境的数据比如ImageNet(http://image-net.org/),二值神经网络模型表达能力会出现严重的不足。例如,用全精度的ResNet-18网络模型在ImageNet2012 数据集上精度可以达到68%左右,然而同样时间复杂度下,用二值化的Residual 18层网络模型只能达到60%左右的精度,用更快的XNOR网络则只能达到50%左右的精度。因此,二值化的神经网络模型在追求速度的同时极大的降低了精度。另外,这种粗糙的二值化近似导致训练时模型收敛速度非常慢,往往需要比平常多3倍以上的训练时间才有可能达到比较近似于全精度的结果。这对于训练大规模的神经网络是不可接受的。

  

 

  相对于二值神经网络,三值神经网络(Ternary Weight Networks)在同样的模型结构下可以达到成百上千倍的表达能力提升;并且,在计算时间复杂度上,三元网络和二元网络的计算复杂度是一样的。

  例如,对于ResNet-18层网络中最常出现的卷积核(3x3大小),二值神经网络模型最多可以表达2的3x3次方(=512)种结构,而三元神经网络则可以表达3的3x3次方(=19683)种卷积核结构。在表达能力上,三元神经网络相对要高19683/512 = 38倍。因此,三元神经网络模型能够在保证计算复杂度很低的情况下大幅的提高网络的表达能力,进而可以在精度上相对于二值神经网络有质的飞跃。另外,由于对中间信息的保存更多,三元神经网络可以极大的加快网络训练时的收敛速度,从而更快、更稳定的达到最优的结果。

  

 

  二值、三值神经网络和全精度神经网络性能对比测试

  在ImageNet百万量级的真实数据库上,三值神经网络相较于全精度的精度只降低2到3个百分点,大大优于二值化神经网络。在模型压缩上,三值神经网络可以做到16倍的压缩率,从而将ResNet-18网络从45Mb压缩到2.9Mb。该技术已经成功的应用到了手机端的图像识别服务,并且以SDK的方式提供给第三方厂商在嵌入式设备中进行应用。

  三值神经网络能带来什么革命?

  三值神经网络,将在可穿戴设备、机器人、无人机、无人车、智能摄像头等领域获得巨大的应用。

  智能眼镜/VR头盔,可以打造AR/VR购物、导航、游戏的完美体验。

  

 

  智能手表,可以语音识别聊天,成为更好的智能助手。

  

 

  机器人可以进行人脸核实、物体识别、场景识别、动作识别等等,更好地与人进行交互。

  监控摄像头可以扫描人群,进行人脸识别,同时进行异常行为检测和暴力场景检测等等。

  无人机航拍,则可以从鸟瞰的视角进行移动物体的动态检测和实时监控。

  

 

  智能汽车可以通过车载摄像头获取街景信息,经过智能分析平台,实现场景文字识别,路况分析,建筑物交通标志识别等。进一步融合其它传感器的信息实现无人驾驶。

  这一切,都是在智能设备中实时计算完成。

  告别断网即不灵的云设备,精准度高、性能好、省电、对硬件要求很低。

  三值神经网络的问世,使智能设备的科幻魅力与现实零距离无缝对接。

  这将是历史上最激动人心的篇章之一,一次伟大的技术革新。

  看,世界正在被改变。

二 : 网站标签无处不在 H1标签无可取代

  一直想做一个网站,想靠自己的力量做一个自己喜欢,别人也能喜欢的网站。也一直在网上查找这方面的资料,想把所有可能遇到的问题都设想周全。查找问题,搜索答案,渐渐成了我每天必做的功课,感觉有用的,怕忘记的,我都会记在一本小本子上,以防不时之需。然而,依然还是遇到了好多问题,比如“网站首页是否应该出现h标签?h1是唯一还是一个页面可以多次出现”就这个问题,我觉得也是一个非常普遍的问题,是新手站长们都会遇到的,为此,我查了好多资料,学到了许多新知识,在这里也想和大家分享。

  网站首页和类目页是否应该出现h标签?

  我的结论是:整个网页应该是表现得越自然越好。而根据搜集到的资料来看,h1标签在一个页面只能使用一次,h2到h6可以如你所需任意使用多次,但它们应依设计意图,按需要来使用。比如,h4应该是h3的子标题,h3应该是h2的子标题,以此类推。那你一定会问,什么是H1标签呢?所谓h1标签:它代表重中之重,它的地位在页面中跟关键字的地位一样重要。一般运用于网站标题或者头条新闻,一些大型网站也运用在LOGO上,虽然h1代码可以写多个,但实际语义上有唯一性,h1标题在一个页面里面最好只出现1次或者没有。

  h2标签主要出现在页面的文章标题和栏目标题上,三列结构一般在中间,二列结构一般在重要的一边。可与h3搭配使用。

  h3一般主打页面的边侧栏。h4是它的辅助,出现频率不高。页面层级关系不能太深,所以h4,h5,h6一般出现较少。

  比如这个网页,我们就能很清晰的看出哪里是h1:

  

 

  这么做的好处是能让页面的层级关系更清楚,让搜索引擎更好地抓取和分析出页面的主题内容。

  以上便是我的理解,如有疑问,欢迎咨询哈。本文由易特联盟(www.ete.cn)原创,转载请保留出处。

三 : 网址导航 让便利无处不在

在绝大多数中国网民的眼里,电脑上网第一站必选—网址之家(hao123.com)网址导航站与其提供的服务密不可分,通过对相关网站信息进行深度搜索、细分和整合,呈现给用户一个清晰、有效、便捷的网址列表,没有任何垃圾信息,可以极大的节省用户搜索时间,提高用户搜索满意度和对导航网站的依存度。因此网址导航站的市场价值和商业价值在中国得到了广泛认同。于此同时网址之家的成功引来了大量的网站模仿,其中也有不少成功的案例。

在已经习惯了使用互联网后,网络由有线转无线也成为一个必然的发展趋势,随着科学技术的提高,目前使用手机上网是最便利的选择。只要手机有信号,随时随地都可以上网----躺在床上发贴子,坐在公交车上看搜狐新闻,QQ天天挂,电影、电视想看就看……方便快捷,3G上网速度也快,手动操作人性化,包月按流量收费网费便宜,总之,手机上网让网络无处不在成为现实!

那么手机网址导航服务市场状况如何呢?分析看来,目前国内只有少数几家有实力的网站在手机上网网址导航服务方面平分秋色,遗憾的是没一家能真正做到一枝独秀。随着123导航(123dh.Net)的加入,WAP网址导航站或将开始一场无硝烟的决斗,一些个人网址站将被清洗出局。接下来,且看目前知名网址导航都采取哪些有效策略,获取流量,开始新一轮的客户端角逐。

对于网址导航站而言,如何在群雄逐鹿的背景下生存和壮大,在逐步规范化的网络环境下,破茧而出,遨游网际是重点,这种竞争显示了其价值所在。然而对于广大的用户而言,在竞争中获取方便快捷的手机网络服务才是硬道理。对此大家都拭目以待!

四 : 未来 网络分享将无处不在

 

  自从现代化城市出现以来,人们开始抱怨现代化的城市让人与人之间的距离越拉越远;自从信息技术普及以来,人们开始欣喜现代科技让人与人之间的距离越拉越近。

  于是,这个社会产生了一个奇怪的现象,现实世界里的人,即使近在咫尺,经常抬头低头相见,仍旧如同陌路人,相处十几年的邻居都不知道别人家姓什么;而在虚拟的世界里,即使你们一个在天涯,一个在海角,无论你是来自五湖还是四海,都能够齐聚一堂,谈笑风生,其乐融融。

  有人在担忧,这样的一个沉迷在虚拟世界里的时代,造就了无数的宅男宅女,会不会向着更加恶性的方向发展呢?造就社会这个现状的罪魁是不是虚拟的网络世界呢?

  很多人指责网络给人们的生活带来的这些负面影响,恐怕忽视了导致这一现象的真正罪魁是现实社会。心理学研究表明,每一个人的内心都害怕孤独,现实社会却事与愿违,从物理空间上,把我们一个一个地隔开在单独的单元格子里;从心理空间上,工作和生活的压力让我们相互之间的感情沟通越来越淡薄。

  有人开始怀念起北京的四合院,开始怀念乡下宗族聚居的村落,那是一个美好的年代,喜怒哀乐、婚嫁迎娶,多少的快乐大家一起分享,多少的悲伤大家一起分担。分享不是炫耀,而是驱赶内心孤独、渴望别人肯定的心理需要!

  在人们极度恐惧都市生活带来的心理孤独的时候,网络顺应时代的呼唤诞生了。自网络普及之日起,分享就已经相伴而生了。从最开始的简单收发E-mail,到后来的QQ或者MSN的及时通信,再到后来的SNS网站,以致于博客、论坛、空间等各种形式的途径将自己的所见、所闻、所思、所悟放到网上去分享。后来,索性出现了更加便捷的分享模式——微博,真的是随时随地分享无限。所有的网络分享,都在填补着人类孤独的空虚,化解对孤独的恐惧。

  这就是为什么那么多的有实力,或者刚起步的网站运营商们都热衷于社区网站的建设,社交网络正式抓住了人们对分享的渴望,对内心孤独的恐惧的心理,给人们营造一个和谐的网络分享氛围,构建虚拟的网络社交环境。于是博客社区化,就有了微博;于是阿里巴巴也准备社会化了,社会化成为了一种网络流行趋势,这是顺应了网络发展大潮流的,是符合网民内心需求的。人们越来越不满足只是单纯地发表式分享,互动式分享成为了人们钟爱。

  网络化的人们的社会属性从现实生活转移到了虚拟世界,在面对满大街的陌生的面孔你无所适从的时候,或许会有人在微博上向你亲切问候:“吃过了没有?”、“最近还好吗?”、“我想你了!”。这个世界并不是像一些悲观者描述的那样充斥着冷漠,而是温暖无处不在。同样走在大街上,你会在微博上说:“我今天吃了一顿丰盛的午饭。”、“终于把那条思念好久的裙子买到了!”,顺便再上传图片,你的所有的快乐都传达给了想知道你的快乐的人。

  购物分享是人类分享心理的主要的分享之一,因此,购物网站的社区化也是必然趋势。果不出所料,没有任何一个网络营销领域能摆脱社区化的诱惑,方维推出了国内第一款电子商务分享CMS,网站集合了轻博客(微博)的主架构,并且搭配社会化问答、团购、达人、小组等形式,让网购分享忽然变得更加便捷起来。

  你会发现,在这里不仅可以单纯地实现你分享自己购物的乐趣,还能够分享到和你有着相同的购物乐趣的网友的商品使用体验,结识到更多的和你有共同购物爱好的朋友。至于新的购物咨询,以及网友分享的值得信赖的店铺、商品、团购网站,都将会给你的网购带来宝贵的参考价值,让你的购物充满更多的乐趣。

  这样的网购社区的建立,必将会给现在的网络购物格局带来冲击。商家必然会看准新型的社区购物网站,将它变成自己的新型的营销工具,变革营销策略,抓住CMS网站的口碑效应,为自己谋取更好的推广效益。结合CMS网站的朋友圈购物信息,可以为自己的商品或者品牌提供精准的推广策略,更大程度地扩大推广效益。

  不管怎么说,一个网络形似的变革,会带来一连串的变革,方维开辟的社会化电子商务,将会带来怎样的网络商业的变革,我们也只能预料一个大概,也许会有意想不到的惊喜也难说。但是,只要认清网络社会化是必然的趋势,坚定不移地走网络社会化道路,迎合网民的分享心理,就一定能够迎来灿烂的曙光。

  同样,随着网络社会化的不断深化,网络分享真的是可以无处不在了!

本文标题:网络无处不在-衣+ 科学家提出三值神经网络 让AI无处不在
本文地址: http://www.61k.com/1153690.html

61阅读| 精彩专题| 最新文章| 热门文章| 苏ICP备13036349号-1