61阅读

从天而降的三亿两千万-他从小县城起家,服务汽车二级经销商,融资数千万,最新估值两个亿

发布时间:2018-05-04 所属栏目:我从游戏中学到了语文

一 : 他从小县城起家,服务汽车二级经销商,融资数千万,最新估值两个亿

经销商融资 他从小县城起家,服务汽车二级经销商,融资数千万,最新估值两个亿

文丨子航

读书 写字 ACG 用文字记录故事

省心宝

创 始 人:刘毅

背    景:地方电视台、

汽车销售与维修

门    派:汽车B2B电商平台

融资规模:

A+轮数千万元

投 资 方:

比特大陆

经销商融资 他从小县城起家,服务汽车二级经销商,融资数千万,最新估值两个亿

itakethat

刘毅接招

“为什么选择面向汽车二级经销商?

自营业务是否会受到其他因素阻碍?

五个细分板块中首先投入哪个方面?



在一家露天咖啡厅里见到了刘毅,方正的国字脸,带着可以辨识出的重庆口音,为我们讲述省心宝的经历。

生于重庆地区,大学肄业的刘毅最初在县城电视台从事后期剪辑、编辑等工作,兼职在县城做汽车代理销售,开了一家收入还不错的汽贸店。「2011、2012年时,汽车销售利润很高,一台车光按揭都能赚到好几千。」

从摩托车到汽车,多年的汽车销售经历让刘毅摸清了整个二级经销商的业务模式,了解了市场格局,也发现了许多问题。而这些问题,也成为了省心宝专注为汽车二级经销商提供相应服务的主要原因。

「我们的核心服务对象就是县城经销商,因为我是这个角色出身,所以我非常知道这个角色需要什么。市场的话语权在买方市场上,有需求就有供给,不论主机厂还是4S店都会顺应他们的需求。」刘毅告诉《接招》(微信公众号:itakethat)。

2014年7月,国家汽车工商总局取消汽车品牌授权,这让属于灰色贸易的许多汽车二级经销商合法化。也是同一年,还在产后恢复的妻子决定重新拿回课本,参加高考。

「她的人生有自己的理想,我是她的丈夫,她为我付出这么多,我肯定要为她做我能做的事。」刘毅选择支持妻子的行为,搬家到重庆主城区,帮助妻子备考。

搬到市区后,刘毅开始思考县城的生意该如何做下去,「在汽车这个行业里,有很多苦逼的东西,上下游信息不对称,交易安全没保障,物流运输不便捷」但是触网较早的他很快发现了另外一个机会:目前国内没有任何一个渠道在为二级经销商提供服务。

「这是一个空白市场,我认为机会来了。」

2014年10月,省心宝注册成立,同年12月安卓端上线。

成立伊始,刘毅仅仅是希望整合上下游的资源,来从中间赚取差价,「我在中间做一个信息化的平台,当时也没想全国,反正就是很大面积的,把像我们这样的县城经销商全部整合在一块。」运行了半年后,在初始团队员工的建议和自己的思考下,刘毅决心将产品做大,去除中间不透明的环节,拓展团队和其他业务。

第一次校招,预计招收50个人,但最后仅招到15个人。依靠这15个人组成的地推团队,省心宝开始了第一次全国性地推。目前,平台注册商家已有近5万B端注册商家,覆盖全国18个省份。

「大家很不了解,传统汽车行业公司,为什么一群90后员工能做出这样的事情。我认为,汽车B端电商行业也是空白,因此我们在创造一个全新的汽车互联网行业,引领所谓的行业,而这群极具创新性的年轻人就适合做这个事。」



Q为什么选择面向汽车二级经销商?

刘:现在许多与汽车相关的创业项目都把目光投向C端和4S店。例如,汽车之家将一、二、三线城市的4S店维系起来,帮助他们导流C端用户。但是汽车交易的线下体系过于沉重,存在按揭手续面签、保险购买、缴纳购置税、车管所上牌等多个流程。这些业务对于县城的个人消费者都是很难完成的,需要二级经销商进行落地,这个环节目前来看是不可以省略的。

2015年全年新车销售2500万台,拥有4万亿级的市场。汽车二级市场(三四五线城市)销售量在1500万辆左右,份额占比70%。但是,目前没有人为他们提供相应的服务,而且这又是汽车销售中比较重要的环节。所以,我们的核心就是为二级经销商服务,成为全国最大的二级经销商平台。

Q省心宝在产品方向上做过什么重大调整?

刘:最初,我们想把省心宝做成一个信息平台。随后我们发现,只做信息在这个行业里是行不通的,最多3年时间信息的价值就会消失。所以我们决定,必须要做交易业务。

传统的信用体系中,车商很难保证一个良好的信用。在我们的竞价模式中,双方将保证金冻结在平台,由省心宝从中保障双方的资金安全此外,我们又根据客户需求拓展了业务,最终形成了五个核心产品:交易、货到付款、消费分期、保险、物流,这些方面都是二级经销商们的刚需。例如,使用我们的货到付款产品,付出一定的服务费,经销商在订车时只需付20%的钱,剩下的由省心宝承接,为经销商缓解了资金压力。

Q省心宝的竞价模式如何运转?

刘:2015年底,我们原创了竞价模式,保证买卖双方诚信交易。买方发布需求在平台上冻结保证金,卖方进行竞价同样冻结保证金。系统通过一个标准化的匹配模式,根据内饰、颜色、价格、物流等进行匹配。对于直接满足双方需求的进行自动匹配成交,不满足的则通过短信或APP推送议价,进行系统撮合。目前,平台上每月成功撮合3000多台,增福达到30—40%。预计明年初,达到月撮合交易量1万台左右。

Q如何保证交易双方诚信交易?

刘:我们在省心宝中构建了一个内部生态系统,每位平台注册用户都拥有一定的「宝豆」,成功交易会赚取相应数量的宝豆,联系卖家、查看信息则需要消耗,甚至一些不真实的信息发布也会通过宝豆进行约束扣罚,我们希望用户在平台都能真实、诚信的交易。我们在这个过程中也思考了很多运营模式,最后在平台匹配达到一定规模后决定做这个事情,尽管会流失一定用户,但我们期望能够在平台上带来最真实的用户。

Q省心宝如何开展自营业务?

刘:自营业务将是重要的盈利途径。由于,省心宝的平台上拥有大量交易数据沉淀,所以我们可以更好的把握买方市场的需求。而且,前期的撮合交易又为省心宝提供了良好的背书,使得二级市场对省心宝存在信任感。因此,我们把二级市场直接对接主机厂,提供销量给主机厂,做一些定制化的业务。同时,主机厂也希望能够有渠道来对接四、五线城市。因此,我们正在与主机厂协调,探讨一个双方都满意的模式。

Q省心宝如何提供金融类服务

刘:我们为金融公司提供一个SaaS系统,金融公司可以从后台进行登录,将产品的详细内容发布到平台上。我们为用户提供反向选择,用户输入需求和条件,由系统筛选合适的金融产品,并根据用户的选择进行线上购买,所有环节都是线上操作。传统环节中,用户需要自行记录产品的要求和自己客户的条件,如身份证、银行、流水等。全部需要人工操作,容易造成客户的流失和效率低下。启用线上操作后,用户最快可以在半小时内审核通过,极大的提高了整个行业的效率。

Q五个细分板块中首先投入哪一个方面?

刘:目前,我们按照一个优先级来做细分板块,在版本还在3.3时,我们已经把3.6版本的规划设计出来。去年,我们开发的最早最核心板块就是物流,这是整个行业最核心的部分。我们的竞价系统交易匹配必须配合这个系统,因为有这个系统才知道价格。

我们为物流公司建立了SaaS系统,产品于去年底上线。现在已经有3万多条线路在系统中,每条线路的报价都在系统中。顾客在平台上下单后,我们会通过系统将其分给物流公司。物流公司的运输信息、GPS定位、包括验车4S店的细节,全部都可以在平台上进行可视化的查看。但是在可视化的过程中任然需要人工和物流公司自身的工作,这是我们仍然在解决的问题。

Q如何向市场推出省心宝的增值服务?

刘:按照我们现在的每月增福量,当我们有上万的撮合量时,我们会同时发起五个细分板块的增值服务。只有在交易上可以立足,拥有一定量的交易入口后,才能有效的进行发力。我们在3月份建立了全职地推团队,以及完善的KPI管理模式,全力向经销商推广我们的产品以及各个业务增值服务,致力于为经销商创造更多的利润,使其拥有更大的动力使用省心宝。平台的订单量越大,我们的议价能力就越高,为经销商争取的利润空间就越大。

Q未来省心宝将如何盈利?

刘:省心宝平台目前已拥有近5万的注册商家,其中二级经销商2万多家,约占全国(10万家)县级汽的20%;而全国一年新车销售2500万台,其中二级市场(三四五线城市)销售量1500万辆左右,份额占比70%;我们只要做好交易的入口,通过物流、金融、保险等增值服务产生的盈利已经在线下线上得到了验证,这是一个万亿级的市场。

。www.61k.com)

二 : 官员豪赌千万的“豪气”从何而来?

官员豪赌千万的“豪气”从何而来?

朝阳区孙河乡原党委书记纪海义,利用手中职权,为多家单位和个人在公司经营、工程项目、拆迁腾退补偿等方面提供帮助,6年间收受款物近6000万元。北京晨报记者昨天获悉,北京市三中院一审以受贿罪,判处纪海义无期徒刑,剥夺政治权利终身。(7月13日《北京晨报》)

身为乡党委书记,纪海义咋就出现在了澳门赌场?不了解的人一看,还以为是某某内地“土豪”。可是,作为一名正科级领导,其正常的收入何以让其有“底气”有“实力”在世界著名的赌场“疯狂”?一夜之间竟然输掉千万,钱从何来?“豪赌”的“豪气”从何而来?诚然,一些“小官”凭借虽然很小很有限的“绝对权力”疯狂敛财,得以成为“巨贪”,动辄一次受贿几百万,只要权力在手,便见钱眼开、见财则敛。比如,某某能源系统的官高被搜查出家藏上亿现金,连点钞机都烧坏了好几台。由此一联想,“巨贪”自然有可以“豪赌”的“底气”。想这纪海义,6年间收受款物近6000万元,其贪婪之手段、敛财之疯狂也算是有一定层次的了。

“豪贪”、“豪赌”的“底气”何以养成?纪海义能成为一名乡党委书记,想来当是颇有能耐的,且对党纪国法当深知熟知。不管这“能耐”是否正道,情商与智商兼备者才能如他般贪腐如此之久才“露陷”落马。深信当地纪委也是明察秋毫的,自然不会放过任何蛛丝马迹,更不会纵容一名贪官恣意妄为、无视纪委权威。只叹纪海义贪的伎俩着实“高超”,可以玩弄权力于股掌而不露声色、破绽。再者,即使被一两个没有利益关系的人发现,或有所忌惮的放弃举报,或被人“警告”“处理”,凭着攻守同盟形成了腐败的完整闭环。

官员“豪贪”、“豪赌”缘于权力迷失。一些“小官巨贪”之所以疯狂,内在的邪念和扭曲价值观是根本驱动力,外在的监管缺失则提供了腐败的空间和土壤。作为一个乡的“一把手”,纪海义对本乡的工程进入、工程规模、工程定价、工程拔付款、项目结算等环节都有最高决策权,自然要受到一些老板们的“围猎”,一来二往之间,权力与金钱交织交易,但凡逢年过节,便有老板们上门“进贡”,甚至是“一人当官,全家受贿”。

监管无力让贪腐者肆无忌惮。一边是疯狂受贿,一边是疯狂输钱。纪海义的人生字典里只剩下一个“赌”字,赌其疯狂的贪腐行为是否会被纪委所掌握、调查,赌其“过硬”的“黑色利益链”是否根深蒂固到可以对抗组织调查,赌纪委监督执纪的决心。监督执纪,尤须抓早抓细,防微杜渐,这既是将纪律挺在前面,又是对干部最好的保护。形同虚设的监督执纪,就如“纸老虎”,无以让干部感受到存在、产生敬畏,甚至会让贪官更加猖獗。(文/伍文胥)( 文章阅读网:www.61k.com )

三 : 从“高山速降”到“月入千万” H5游戏行业的春天真的来了吗?

  摘要: 如果H5游戏行业仍然充斥着大量个人开发者制作的小成本、小制作的轻度化产品,行业依然会遭遇与2015年相似的情况,仅一款千万级爆款游戏的带动作用有限。

  

从“高山速降”到“月入千万”,H5游戏行业的春天真的来了吗?

 

  前天,一款HTML5游戏宣布月流水突破了1500万,业内首款千万级别的H5游戏终于出现。这款游戏开发公司的创始人是前盛大游戏总裁凌海。

  一款月流水超过1500万的H5游戏意味着什么?

  它好比一针兴奋剂,意味着曾被看衰的H5游戏的变现能力由此正名;也意味着资本市场需要修正之前对H5游戏行业“目前不具备盈利能力”的整体判断。白鹭时代CEO陈书艺等游戏界的大佬都曾提过,月流水千万是一个门槛,H5游戏只有突破了这个门槛才能赢得大资本、大团队的持续投入。

  H5游戏行业在经历了2015年的高开低走之后,一款“月入千万”的产品让业界重拾对H5游戏的信心。

  2015年开年时,在原生游戏用户红利结束,进入稳定期的大背景下,业内普遍认为H5游戏存在着移动端唯一可能的用户红利,并预测H5游戏行业在2015将迎来大爆发。事情最初也像大家预测那样,《围住神经猫》等H5游戏刷爆朋友圈。

  但随着《神经猫》大火之后微信对H5游戏的流量管制,以及受制于留存率和流量变现能力的不足,进入2015下半年,H5游戏生存状态急转直下。甚至有人直言H5游戏现阶段存在硬伤,未盼来春天,已进入寒冬。同时,国内资本市场大环境趋冷,更让H5游戏业内的创业团队倍感煎熬。

  H5游戏行业经历了从2015年的“高山速降”到2016“月入千万”的突破,是否意味着H5游戏的春天终于来了呢?二爷认为H5游戏行业目前仍有“三座大山”需要突破,1500万更应该是一针镇定剂。

  运营能力缺失,指望不上的“天才操盘手”

  整个2015年,H5游戏始终在“高传播、高流量、低留存、低转化、低ARPPU”的圈子里打转,对H5游戏厂商来说,这“三低”痛点疼得厉害。

  H5游戏最大的优势在于其天然的具备社交传播特性,一个URL即可分享,在社交软件内的传播大幅降低了用户的获取成本。目前看来,H5游戏最大的阵地仍是微信,朋友圈给H5游戏带来了高PV。但流量来了,游戏厂商却抓不住,留存难,转化更难,朋友圈里绝大多数的H5游戏都是一闪而过,短时刷屏,迅速衰落。

  作为一款游戏,产品好固然重要,但运营能力更为关键。这款H5游戏之所以能够成为首款千万级别的H5游戏,与其创始人凌海在盛大时期的经验密不可分。10年的盛大生涯让凌海很清楚地知道如何去运营好一款游戏,无论这款游戏的载体是PC、手机还是H5。这样的经验并不是人人都可以具备的,特别是对创业团队来说。二爷曾采访一位世界500强的大中华区总裁,他评判人才的一条重要标准便是“他是否具有成功经验”。

  对整个H5游戏行业来说,整体运营能力的提高,决定着行业是否能够走出2015的怪圈。H5游戏行业的主体仍是创业团队,期望所有的创业团队能够在短时间将运营能力提高到另一个层次,并不现实。

  所以,要“点燃”H5游戏行业需要更多成熟的大公司的进入,不仅是现金和技术的进入,更是运营能力的进入。创业团队在运营能力方面的修炼、学习和成长需要更快,除非出现“天才操盘手”,但这真的指望不上。

  短命的轻度H5游戏泛滥,优秀的重度化产品寥寥无几

  截止2015年底,HTML5游戏数量超过3000款,在已上线的H5游戏中,制作简单、易于传播的休闲益智类小游戏占比达到75.10%,其次是角色扮演类、动作冒险类游戏,占比分别为9.22%和6.04%。

  在2015年,大批开发成本较低,轻度化的H5游戏“霜化”在朋友圈,成为先烈。同为H5游戏,该款千万级游戏强大的IP自然功不可没,但同样重要的是它作为一款H5游戏,重度化色彩极重。凌海坦言“我的标准比别人高。”

  目前,轻度休闲H5游戏开发成本较少,1个开发者在几天时间内独立完成,成本是几万元。中度及重度产品的开发费用和周期则可比拟原生APP,《貂蝉有妖气》开发成本约100万元,周期4个月;《时尚都市》开发周期75天,上线后持续开发及迭代共10个月,总体成本约200万;《传奇世界》开发成本100万,周期为3个月。

  虽然H5游戏的研发成本与原生手游仍无法相提并论,但出于产品生命周期的考虑,厂商已经开始向H5游戏重度化方向倾斜。在2015年各季度CP新创建的HTML5游戏中,益智休闲类游戏占比分别为82.1%、78.2%、70.3%和72.08%,呈现明显的下降趋势;而角色扮演类游戏在Q3实现爆发,占比从6.8%提升到14.0%;在玩法上,出于游戏变现的需求,CP开始注重研发玩法偏重化的HTML5游戏,探索HTML5游戏道具收费的模式。

  二爷认为,2016年,如果H5游戏行业仍然充斥着大量个人开发者制作的小成本、小制作的轻度化产品,行业依然会遭遇与2015年相似的情况,仅一款千万级爆款游戏的带动作用有限。

  支付不做好,就像淘宝没有支付宝

  目前,低ARPU、高DAU,病毒式传播的休闲类HTML5游戏都是依靠社交工具实现,用户粘性不足、付费意愿偏弱、游戏生命周期较短,且二次入口导致CP吸量减弱,市场定位仍是“市场部门的营销工具”。

  尽管,H5游戏用户规模已达1.75亿人,同比增长率达到112%,且H5游戏的流量入口已呈现多元化趋势,包括腾讯在内的流量聚集平台都开始尝试布局H5游戏中心,但通过H5游戏实现流量变现的路径仍然不清晰。付费方式依然是通过经营流量广告变现,整体付费率依旧处于较低的水平。虽然游戏内付费点产生收入也有望成为H5游戏的主流盈利模式,但有能力以IAP(游戏内支付)的方式通过出售游戏内计费点收费,并有一定流水的H5游戏产品,屈指可数。

  二爷认为,在行业整体付费率较低的情况下,脱离开支付环节去谈商业模式几乎是扯淡。目前的H5游戏行业的情况类似于2005年支付宝出现之前的B2C电商行业,支付环节存在的问题较多。

  H5游戏的支付主要分为APP支付接口与WEB支付接口两种,相对而言,APP支付接口的响应速度较WEB支付接口更快,APP的支付渠道数量也比WEB支付渠道更多。H5游戏厂商在加强对提升玩家群付费水平的研究之外,还要关注如何让用户更加愉快的付费,优化付费环节的体验。

  试想阿里的成功有多大程度得益于开发出支付宝?当然,现在的技术水平和当年早已不可同日而语,支付工具和技术手段已相对成熟,H5游戏厂商自然不必再造一个支付宝,大家需要思考的应当是如何更好地利用它们。

  这款千万级H5游戏的缔造者凌海表示“今年很可能会有过亿的手机页游。因为我看到自己还有很多做得不足的地方,如果可以有效解决,收入绝对可以翻番。”

  凌海当然有理由意气风发,我们也有理由相信他的判断,但在这个喜庆的时刻,二爷觉得,对于H5游戏行业的春天,我们的期待还需要再冷静一些。

四 : 我如何在SQLServer上每天处理四亿三千万记录

文/马非码

首先声明,我只是个程序员,不是专业的DBA,以下这篇文章是从一个问题的解决过程去写的,而不是一开始就给大家一个正确的结果,如果文中有不对的地方,请各位数据库大牛给予指正,以便我能够更好的处理此次业务。

项目背景

这是给某数据中心做的一个项目,项目难度之大令人发指,这个项目真正的让我感觉到了,商场如战场,而我只是其中的一个小兵,太多的战术,太多的高层之间的较量,太多的内幕了。具体这个项目的情况,我有空再写相关的博文出来。

这个项目是要求做环境监控,我们暂且把受监控的设备称为采集设备,采集设备的属性称为监控指标。项目要求:系统支持不少于10w个监控指标,每个监控指标的数据更新不大于20秒,存储延迟不超过120秒。那么,我们可以通过简单的计算得出较理想的状态——要存储的数据为:每分钟30w,每个小时1800w,也就是每天4亿3千两百万。而实际,数据量会比这个大5%左右。(实际上大部分是信息垃圾,可以通过数据压缩进行处理的,但是别人就是要搞你,能咋办)

上面是项目要求的指标,我想很多有不少大数据处理经验的同学都会呲之以鼻,就这么点?嗯,我也看了很多大数据处理的东西,但是之前没处理过,看别人是头头是道,什么分布式,什么读写分离,看起来确实很容易解决。但是,问题没这么简单,上面我说了,这是一个非常恶劣的项目,是一个行业恶性竞争典型的项目。

没有更多的服务器,而是这个服务器除了搭配数据库、集中采集器(就是数据解析、告警、存储的程序),还要支持30w点的北向接口(SNMP),在程序没有优化之前CPU常年占用80%以上。因为项目要求要使用双机热备,为了省事,减少不必要的麻烦,我们把相关的服务放在一起,以便能够充分利用HA的特性(外部购买的HA系统)

系统数据正确性要求极其变态,要求从底层采集系统到最上层的监控系统,一条数据都不能差

我们的系统架构如下,可以看到,其中数据库压力非常之大,尤其在LevelA节点:

SQLServer 数据库优化

硬件配置如下:

CPU:英特尔® 至强® 处理器 E5-2609 (4核, 2.40GHz, 10MB, 6.4 GT/s)

内存:4GB (2x2GB) DDR3 RDIMM Memory, 1333MHz,ECC

硬盘:500GB 7200 RPM 3.5'' SATA3 硬盘,Raid5.

数据库版本

采用的是SQLServer2012标准版,HP提供的正版软件,缺少很多企业版的NB功能。

写入瓶颈

首先遇到的第一个拦路虎就是,我们发现现有的程序下,SQLServer根本处理不了这么多的数据量,具体情况是怎样的呢?

我们的存储结构

一般为了存储大量的历史数据,我们都会进行一个物理的分表,否则每天上百万条的记录,一年下来就是几亿条。因此,原来我们的表结构是这样的:

CREATE TABLE [dbo].[His20140822]( 	[No] [bigint] IDENTITY(1,1) NOT NULL, 	[Dtime] [datetime] NOT NULL, 	[MgrObjId] [varchar](36) NOT NULL, 	[Id] [varchar](50) NOT NULL, 	[Value] [varchar](50) NOT NULL,  CONSTRAINT [PK_His20140822] PRIMARY KEY CLUSTERED ( 	[No] ASC )WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY] ) ON [PRIMARY]

No作为唯一的标识、采集设备Id(Guid)、监控指标Id(varchar(50))、记录时间、记录值。并以采集设备Id和监控指标Id作为索引,以便快速查找。

批量写入

写入当时是用BulKCopy,没错,就是它,号称写入百万条记录都是秒级的

 public static int BatchInert(string connectionString, string desTable, DataTable dt, int batchSize = 500)  {  using (var sbc = new SqlBulkCopy(connectionString, SqlBulkCopyOptions.UseInternalTransaction)  {  BulkCopyTimeout = 300,  NotifyAfter = dt.Rows.Count,  BatchSize = batchSize,  DestinationTableName = desTable  })  {  foreach (DataColumn column in dt.Columns)  sbc.ColumnMappings.Add(column.ColumnName, column.ColumnName);  sbc.WriteToServer(dt);  }  return dt.Rows.Count;  }

存在什么问题?

上面的架构,在每天4千万的数据都是OK的。但是,调整为上述背景下的配置时,集中监控程序就内存溢出了,分析得知,接收的太多数据,放在了内存中,但是没有来得及写入到数据库中,最终导致了生成的数据大于消费的数据,导致内存溢出,程序无法工作。

瓶颈到底在哪里?

是因为RAID磁盘的问题?是数据结构的问题?是硬件的问题?是SQLServer版本的问题?是没有分区表的问题?还是程序的问题?

当时时间只有一个星期,一个星期搞不好,项目监管就要我们滚蛋了,于是,有了连续工作48小时的壮举,有了到处打电话求人的抓鸡……

但是,这个时候需要的是冷静,再冷静……SQLServer版本?硬件?目前都不大可能换的。RAID磁盘阵列,应该不是。那么到底是什么,真TM的冷静不下来。

大家可能体会不到现场那种紧张的气氛,其实过了这么久,我自己也都很难再回到那种情境。但是可以这么说,或许我们现在有了各种方法,或者处于局外人我们有更多思考,但是当一个项目压迫你快到放弃的时候,你那时的想法、考虑在现场环境因素的制约下,都可能出现重大的偏差。有可能让你快速的思考,也有可能思维停滞。有些同事在这种高压的环境下,甚至出现了更多的低级错误,思维已经完全乱了,效率更低了……36小时没有合眼,或者只在工地上(下雨天到处都是泥巴,干了的话到时都是泥灰)眯两三个小时,然后继续干,连续这么一个星期!或者还要继续!

很多人给了很多想法,但是好像有用,又好像没用。等等,为什么是“好像有用,又好像没用”?我隐隐约约中,好像抓住了一丝方向,到底是什么?对了,验证,我们现在是跑在现场环境下,之前没有问题,不代表现在的压力下没有问题,要在一个大型系统中分析这么个小功能,影响太大了,我们应该分解它。是的,是“单元测试”,就是单个方法的测试,我们需要验证每个函数,每个独立的步骤到底耗时在哪里?

逐步测试验证系统瓶颈

修改BulkCopy的参数

首先,我想到的是,修噶BulkCopy的各项参数,BulkCopyTimeout、BatchSize,不断的测试调整,结果总是在某个范围波动,实际并没有影响。或许会影响一些CPU计数,但是远远没有达到我的期望,写入的速度还是在5秒1w~2w波动,远远达不到要求20秒内要写20w的记录。

按采集设备存储

是的,上述结构按每个指标每个值为一条记录,是不是太多的浪费?那么按采集设备+采集时间作为一条记录是否可行?问题是,怎么解决不同采集设备属性不一样的问题?这时,一个同事发挥才能了,监控指标+监控值可以按XML格式存储。哇,还能这样?查询呢,可以用for XML这种形式。

于是有了这种结构:No、MgrObjId、Dtime、XMLData

结果验证,比上面的稍微好点,但是不是太明显。

数据表分区???

那个时候还没有学会这个技能,看了下网上的文章,好像挺复杂的,时间不多了,不敢尝试。

停止其他程序

我知道这个肯定是不行的,因为软件、硬件的架构暂时没法修改。但是我希望验证是不是这些因素影响的。结果发现,提示确实明显,但是还是没有达到要求。

难道是SQLServer的瓶颈?

没辙了,难道这就是SQLServer的瓶颈?上网查了下相关的资料,可能是IO的瓶颈,尼玛,还能怎么办,要升级服务器,要更换数据库了吗,但是,项目方给吗?

等等,好像还有个东西,索引,对索引!索引的存在会影响插入、更新

去掉索引

是的,去掉索引之后查询肯定慢,但是我必须先验证去掉索引是否会加快写入。如果果断把MgrObjId和Id两个字段的索引去掉。

运行,奇迹出现了,每次写入10w条记录,在7~9秒内完全可以写入,这样就达到了系统的要求。

查询怎么解决?

一个表一天要4亿多的记录,这是不可能查询的,在没有索引的情况下。怎么办!?我又想到了我们的老办法,物理分表。是的,原来我们按天分表,那么我们现在按小时分表。那么24个表,每个表只需存储1800w条记录左右。

然后查询,一个属性在一个小时或者几个小时的历史记录。结果是:慢!慢!!慢!!!去掉索引的情况下查询1000多万的记录根本是不可想象的。还能怎么办?

继续分表,我想到了,我们还可以按底层的采集器继续分表,因为采集设备在不同的采集器中是不同的,那么我们查询历史曲线时,只有查单个指标的历史曲线,那么这样就可以分散在不同的表中了。

说干就干,结果,通过按10个采集嵌入式并按24小时分表,每天生成240张表(历史表名类似这样:His_001_2014112615),终于把一天写入4亿多条记录并支持简单的查询这个问题给解决掉了!!!

查询优化

在上述问题解决之后,这个项目的难点已经解决了一半,项目监管也不好意思过来找茬,不知道是出于什么样的战术安排吧。

过了很长一段时间,到现在快年底了,问题又来了,就是要拖死你让你在年底不能验收其他项目。

这次要求是这样的:因为上述是模拟10w个监控指标,而现在实际上线了,却只有5w个左右的设备。那么这个明显是不能达到标书要求的,不能验收。那么怎么办呢?这些聪明的人就想,既然监控指标减半,那么我们把时间也减半,不就达到了吗:就是说按现在5w的设备,那你要10s之内入库存储。我勒个去啊,按你这个逻辑,我们如果只有500个监控指标,岂不是要在0.1秒内入库?你不考虑下那些受监控设备的感想吗?

但是别人要玩你,你能怎么办?接招呗。结果把时间降到10秒之后,问题来了,大家仔细分析上面逻辑可以知道,分表是按采集器分的,现在采集器减少,但是数量增加了,发生什么事情呢,写入可以支持,但是,每张表的记录接近了400w,有些采集设备监控指标多的,要接近600w,怎么破?

于是技术相关人员开会讨论相关的举措。

在不加索引的情况下怎么优化查询?

有同事提出了,where子句的顺序,会影响查询的结果,因为按你刷选之后的结果再处理,可以先刷选出一部分数据,然后继续进行下一个条件的过滤。听起来好像很有道理,但是SQLServer查询分析器不会自动优化吗?原谅我是个小白,我也是感觉而已,感觉应该跟VS的编译器一样,应该会自动优化吧。

具体怎样,还是要用事实来说话:

结果同事修改了客户端之后,测试反馈,有较大的改善。我查看了代码:

SQLServer 数据库优化

难道真的有这么大的影响?等等,是不是忘记清空缓存,造成了假象?

于是让同事执行下述语句以便得出更多的信息:

--优化之前 DBCC FREEPROCCACHE DBCC DROPCLEANBUFFERS SET STATISTICS IO ON select Dtime,Value from dbo.his20140825 WHERE Dtime>='' AND Dtime<='' AND MgrObjId='' AND Id='' SET STATISTICS IO OFF --优化之后 DBCC FREEPROCCACHE DBCC DROPCLEANBUFFERS SET STATISTICS IO ON select Dtime,Value from dbo.his20140825 WHERE MgrObjId='' AND Id='' AND Dtime>='' AND Dtime<='' SET STATISTICS IO OFF

结果如下:

SQLServer 数据库优化

优化之前反而更好了?

仔细查看IO数据,发现,预读是一样的,就是说我们要查询的数据记录都是一致的,物理读、表扫描也是一直的。而逻辑读取稍有区别,应该是缓存命中数导致的。也就是说,在不建立索引的情况下,where子句的条件顺序,对查询结果优化作用不明显

那么,就只能通过索引的办法了。

建立索引的尝试

建立索引不是简单的事情,是需要了解一些基本的知识的,在这个过程中,我走了不少弯路,最终才把索引建立起来。

下面的实验基于以下记录总数做的验证:

SQLServer 数据库优化

按单个字段建立索引

这个想法,主要是受我建立数据结构影响的,我内存中的数据结构为:Dictionary<MgrObjId,Dictionary<Id,Property>>。我以为先建立MgrObjId的索引,再建立Id的索引,SQLServer查询时,就会更快。

SQLServer 数据库优化

先按MgrObjId建立索引,索引大小为550M,耗时5分25秒。结果,如上图的预估计划一样,根本没有起作用,反而更慢了。

按多个条件建立索引

OK,既然上面的不行,那么我们按多个条件建立索引又如何?CREATE NONCLUSTERED INDEX Idx_His20141008 ON dbo.his20141008(MgrObjId,Id,Dtime)

结果,查询速度确实提高了一倍:

SQLServer 数据库优化

等等,难道这就是索引的好处?花费7分25秒,用1.1G的空间换取来的就是这些?肯定是有什么地方不对了,于是开始翻查资料,查看一些相关书籍,最终,有了较大的进展。

正确的建立索引

首先,我们需要明白几个索引的要点:

索引之后,按索引字段重复最少的来排序,会达到最优的效果。以我们的表来说,如果建立了No的聚集索引,把No放在where子句的第一位是最佳的,其次是Id,然后是MgrObjId,最后是时间,时间索引如果表是一个小时的,最好不要用

where子句的顺序决定了查询分析器是否使用索引来查询。比如建立了MgrObjId和Id的索引,那么where MgrObjId='' and Id='' and Dtime=''就会采用索引查找,而where Dtime='' and MgrObjId='' and Id=''则不一定会采用索引查找。

把非索引列的结果列放在包含列中。因为我们条件是MgrObjId和Id以及Dtime,因此返回结果中只需包含Dtime和Value即可,因此把Dtime和Value放在包含列中,返回的索引结果就有这个值,不用再查物理表,可以达到最优的速度。

跟上述几点原则,我们建立以下的索引:CREATE NONCLUSTERED INDEX Idx_His20141008 ON dbo.his20141008(MgrObjId,Id) INCLUDE(Value,Dtime)

耗费时间为:6分多钟,索引大小为903M。

我们看看预估计划:

SQLServer 数据库优化

可以看到,这里完全使用了索引,没有额外的消耗。而实际执行的结果,1秒都不到,竟然不用一秒就在1100w的记录中把结果筛选了出来!!帅呆了!!

怎么应用索引?

既然写入完成了、读取完成了,怎么结合呢?我们可以把一个小时之前的数据建立索引,当前一个小时的数据就不建立索引。也就是,不要再创建表的时候建立索引!!

还能怎么优化

可以尝试读写分离,写两个库,一个是实时库,一个是只读库。一个小时内的数据查询实时库,一个小时之前的数据查询只读库;只读库定时存储,然后建立索引;超过一个星期的数据,进行分析处理再存储。这样,无论查询什么时间段的数据,都能够正确处理了——一个小时之内的查询实时库,一个小时到一个星期内的查询只读库,一个星期之前的查询报表库。

如果不需要物理分表,则在只读库中,定时重建索引即可。

总结

如何在SQLServer中处理亿万级别的数据(历史数据),可以按以下方面进行:

  • 去掉表的所有索引
  • 用SqlBulkCopy进行插入
  • 分表或者分区,减少每个表的数据总量
  • 在某个表完全写完之后再建立索引
  • 正确的指定索引字段
  • 把需要用到的字段放到包含索引中(在返回的索引中就包含了一切)
  • 查询的时候只返回所需的字段

五 : 从PC端转移动端千万别做大而全的事

日前,2014中国互联网创业者大会在北京举行。宁哲网络创始人周宁、Discuz微社区总监张亮杰、we media创始人青龙老贼、暨阳网创始人游牧,合肥热线CEO汪海、加拿大家园创始人古森以《社区网站的移动化迁移与转型》 为主题,进行了圆桌论坛。

以下为腾讯科技整理的圆桌论坛嘉宾精彩观点:

Discuz微社区总监张亮杰:

我们在观察的过程中总结过两点,发现站长遇到最大的困难应该是,第一在PC转的过程中,可能做减法做的不够。

we media创始人青龙老贼:

在我看来,从传统互联网到移动互联网上,尽量往小去做,现在很多时候想做一个入口,无论是大入口,还是地方入口,我们希望是一个入口,但是到移动互联网入口是不存在的,更多的是品牌,所以你产品的品牌是否存在,是不是在你所需要覆盖的这些用户他们知道。

暨阳网创始人游牧:

我把这里面理解成两方面,一方面从移动端直接创业的人,我给不出任何建议,因为我也是菜鸟。从PC端转移动端新入行的朋友我有一个建议,是很多人都忽视的,就是做移动端并不一定就是做APP,你在做这些事情的时候,你先看一看你自己的PC端,移动访问的优化做的怎么样,你的微平台,微社区,微博,这些体验到底怎么样,这些事情比APP省事有效的多。

合肥热线CEO汪海:

我们主要还是看自己的IPP,自己的客户端,第二是结合我们的微社区,我们整体访问量占比越来越高,特别是移动端也占到主力的用户访问了。对于移动化转型,我认为移动细分,解决用户痛点就可以做。

加拿大家园创始人古森

我们还是以媒体为主,我们会做很多O2O的事,包括移民、旅游、这些。我们现在整个移动端的架构,包括服务器内容都在国内运营,已经有专业的团队,我们在今年投资人的投资也到位了,我们会把更好的内容在国内做的更好。如果从PC端转移动端一定要考虑清楚你们究竟想做什么,具体在哪个垂直行业做什么,千万别做大而全的事,一定做小而美的事。

以下为圆桌论坛实录:

周宁/主持人:大家好,很多地方网站和垂直网站的站长们留到了最后,大家在腾讯为我们大家安排的时间,应该讲是压轴戏,时间很紧,我先讲一下圆桌论坛的主题,主题是社区网站的移动化迁移与转型。

在这个时代,我们看到PC互联网还没有发展到绝对成熟的时代我们又迎来了移动互联网,在今年许许多多的,特别是老的社区站长们面临许多挑战,今天我们有请几位媒体的专家和技术专家,以及几位资深的站长大佬和大家分享一下他们的思考,首先有请Discuz微社区总监(张亮杰)先生,we media创始人青龙老贼,暨阳网创始人许政先生,这是大名鼎鼎的游牧,告诉大家,他的大名叫许政,第一个地方社区的CEO合肥热线汪海先生,一个非常有特色的网站,加拿大家园创始人古森先生,有请。

我们直入主题,首先站长们对于现在移动互联网,对于原有PC互联网威胁或者冲击,有着畏惧和顾虑的站长们举一下手,好像很少,每个人都在拥抱移动互联网,好,OK。首先我们讲第一个议题,面对移动互联网的机遇和挑战,你现在正在做什么?我们请第一位就是我们的加拿大家园网的古森。

古森:大家好,我是加拿大家园网的古森,之前如果油管柱过加拿大的有可能关注过,我们在北美大概有十年的时间,之前一直做论坛包括新闻的内容,今天非常高兴来到这个大会,之前我们也非常少的在国内参加这种论坛。

周宁/主持人:我很好奇,你们用户主要来自国内还是境外?

古森:因为加拿大家园是唯一一个覆盖整个加拿大的论坛、媒体,因为加拿大分的比较细,包括温哥华多伦多有自己的网络媒体,我们是唯一一个覆盖加拿大,而且用户量最大的媒体。在用户里面,之前传统来说加拿大的用户比较多,近两年中国这边包括港台的用户多一些,主要是由于国内经济发展比较快,跟加拿大这边联系越来越紧密,包括留学、移民、旅游。

周宁/主持人:也就是说在座的成功的站长们可以找古森移民。

古森:我们还是以媒体为主,我们会做很多O2O的事,包括移民、旅游、这些。

周宁/主持人:问个敏感问题,你们会不会变强了?

古森:是这样的,你懂的,我们现在整个移动端的架构,包括服务器内容都在国内运营,已经有专业的团队,我们在今年投资人的投资也到位了,我们会把更好的内容在国内做的更好,大家不该看的就别看了。

周宁/主持人:你们移动访问量占比有多少?

古森:现在我们移动访问量比较高,我们也有腾讯的公众平台,大家搜一下公众平台上输入加拿大,我们这两年都是排在第一位。

周宁/主持人:谢谢。第二位请合肥论坛汪总讲一下。

汪海:我们主要还是看自己的IPP,自己的客户端,第二是结合我们的微社区,我们整体访问量占比越来越高,特别是移动端也占到主力的用户访问了。

周宁/主持人:就是APP,然后微信,微社区。

汪海:对。

周宁/主持人:微社区现在怎么样?

汪海:微社区上面,比如搜合肥,公共号合肥论坛排第一,除了内容我们主打功能和互动,而且我们有值班的人员,我们的工作人员和大家进行随时沟通,大家在合肥查询任何问题,我们的公众号都会和大家交流。

周宁/主持人:好,请游牧讲讲,我记得有一段时间,游牧忽然说他要出去跑一,后来我给他打了电话知道了,他说在家里憋着移动的这些事好象有点让人害怕,出去跑了一趟放心了,说大家做的事差不多。

游牧:是的,虽然我也是老面孔,但是今天左边两位右边两位都是大佬级,我们作为一个县级的小站点,其实在移动互联网时代,应该说我们是最慌的人,我们体量小,资金量少,就算如此我们一直也是在努力改变或者说增长。刚刚在腾讯科技频道采访的时候,我给他看了一下我的手机,我手机里,我们自己设计的APP至少有5到6款,但是这些都已经被拒掉了。也就是说从去年上半年开始,我们一直没有停止过这方面的努力,到我这次出来之前,我们的技术被我批了一顿,我说我们最近一版本能不能让我带到北京炫一下,他说不行。所以说包括微信平台的新版本和APP的新版本,我们多在开发当中,应该说现在我们暂时只是以WEB,以传统的论坛的APP辅助于微信微博,还是以传统的模式在做,新产品方面,我一直认为是这样的,移动APP开发不难,但是到底做出什么样的东西,是我们大家都在探索的,在这方面我觉得我也在探索,我希望大家可以私下和我们交流。

周宁/主持人:其实我们这个领域,目前大家没有人知道结果是什么。请在移动互联网目前卓有成就的青龙老贼来讲,首先讲一下最近你们自媒体融资成功是吧。

青龙老贼:对,刚刚融到A轮,很多人都知道我们是做自媒体的,这个联盟存在的意义,是让更多的在移动互联网做自媒体的自媒体人,为他们做一些服务,提升一些影响力,还有做一些商业化,一方面我们会在自媒体人的技术、商业化的服务做的更多一些,同时我们也会转向,对一些可能有好的商业模式的自媒体人进行投资或者孵化,这些模式都会做。

周宁/主持人:好的,谢谢。大家能听懂青龙老贼做什么了吧。下面张亮杰说一下。

张亮杰:我们现在在研发研发(英文)的平台,它也引入微信登录的概念,希望帮助站长在PC上面把用户往他的PC帐号导入方便一些。

周宁/主持人:手Q打通了吗?

张亮杰:目前还没有,手Q这块应该就是微社区整体的入口,如果完成了微社区和PC的打通,其实手Q也是能访问的。

周宁/主持人:我也试过,应该算比较早的用户,我们试过微社区。

张亮杰:对。

周宁/主持人:而且我好像帮80多位地方网站站长申请了微社区,也感谢你们的支持。我们第二个问题,你认为移动化转型的最大困难是什么?

张亮杰:好,这块我们一直是观察站长和帮助站长,我们在观察的过程中总结过两点,发现站长遇到最大的困难应该是,第一在PC转的过程中,可能做减法做的不够。

周宁/主持人:我帮你解释一下,去年有人认为移动互联网时代来临了,全部都去开发,现在没有一个开发成功的。

张亮杰:第二个困难,应该说是想太多,这个想太多,有很多人觉得我这样做行不行,我这样做能不能成功,别人做了怎么办,甚至网络上会有一些,有一小部分充满负能量的舆论者传播这样的负能量,让很多的创业者望而却步。想太多,意味着他行动就慢,不行动自然就是困难。

周宁/主持人:大胆行动,大胆创新,请青龙老贼给我们提点建议。

青龙老贼:在我看来,从传统互联网到移动互联网上,尽量往小去做,现在很多时候想做一个入口,无论是大入口,还是地方入口,我们希望是一个入口,但是到移动互联网入口是不存在的,更多的是品牌,所以你产品的品牌是否存在,是不是在你所需要覆盖的这些用户他们知道。第二个以前我们守着一个网站一个论坛够可以风衣足以,但是到了移动互联网上面,发现用户的需求和时间越来越碎片,这时候你需要在所有用户出现的地方你都应该有你的品牌输出,这就是你应该做的。还有很多以前我们在做PC的时候,很多人做流量,但是到了移动互联网上,它会偏工具偏服务,因为我们自己每个人大家多有手机,手机是一个工具,所以我们可以看到很多应用,切入点肯定是先是工具,然后你做一些内容,把他们串起来,这和我们原来最早的时候,在PC互联网做网站,那个时候的思路是不一样的,我就说这些。

周宁/主持人:非常感谢。忘记入口,加强品牌。

青龙老贼:之前很多PC站长资源很多,特别本地我们经营了很多年,有很多资源,但是这个资源到了移动互联网上就不是资源了。

游牧:可能我考虑的比一般人多一点,因为我经常想这件事情想的睡不着,刚刚前面两位各自讲到了一点我非常认可,一个是减法做的不够多,另外就是去中心化。其实我发现为什么我们做了这么多产品,甚至连我自己看不过去,没有推出就失败了,因为我自己都不爱用。看移动互联网时代,其实跟我们过去做网站,我守着一个大中心,大平台的网站想法完全不一样,而且我观察了市面上很多,有一些政府或者国企开发的大型APP,什么都有,但是没有一个使用成功的,你观察一下到底想做什么,不要想把你一个大而全的APP平台搬到手机平台上,那样是绝对会死的,相反把你最想做的东西做成一个最轻最快的分享。最近我在做一个小东西,如果做小东西,如果做好可以分享一下。

汪海:像二三线城市有人才的困惑,就说这些吧。

古森:我们相对简单一点,因为我们面临的困难,大家都清楚移动互联网我们是做减法,不能承载那么多的内容,老贼也说了手机移动端设备不适合做丰富内容的载体,我们现在面临的困惑,我们的优势是一个很注重服务和解决问题的论坛,现在很多问题需要用一种很轻便的方式体现出来,而且还得帮别人解决好这个问题,我觉得这个是很难的问题。

周宁/主持人:我觉得你没有困惑,因为你没有竞争。

古森:我们虽然没有竞争,但是我们有一些优势和壁垒吧,我只能这么说。

周宁/主持人:好的,我们节约时间。最后一个问题,请几位给我们的新入行的站长,在移动互联网方面的发展提一句话的建议。

古森:我先说吧,各位如果从PC端转移动端一定要考虑清楚你们究竟想做什么,具体在哪个垂直行业做什么,千万别做大而全的事,一定做小而美的事。

周宁/主持人:做小而美的,做一件事,自己做好选择。

古森:对,就是这意思。

汪海:移动细分,解决用户痛点就可以做。

游牧:我把这里面理解成两方面,一方面从移动端直接创业的人,我给不出任何建议,因为我也是菜鸟。从PC端转移动端新入行的朋友我有一个建议,是很多人都忽视的,就是做移动端并不一定就是做APP,你在做这些事情的时候,你先看一看你自己的PC端,移动访问的优化做的怎么样,你的微平台,微社区,微博,这些体验到底怎么样,这些事情比APP省事有效的多。

周宁/主持人:好,不一定是做APP,这是游牧的建议。

青龙老贼:无论是老的还是新的,你到移动互联网上,一是要利用媒体平台,第二个是品牌比流量重要。

张亮杰:我这边有四句话,第一就是大胆行动,第二是找准定位,第三是做好细节,第四是用好社交工具。

周宁/主持人:好的。谢谢几位,我最后总结一句话,我有个建议,初入行的,像社区领域的站长,其实现在不妨大胆一点,不一定再做传统的社区,因为我们最近已经看到,例如大家手上的默默,唱吧等等,大家仔细看一下这个APP已经是一个垂直社区了。也就是说,目前情况也跟前几年不太一样,所以大家完全可以大胆一点。时间有限,感谢各位嘉宾的分享,谢谢。

注:相关网站建设技巧阅读请移步到建站教程频道。

本文标题:从天而降的三亿两千万-他从小县城起家,服务汽车二级经销商,融资数千万,最新估值两个亿
本文地址: http://www.61k.com/1171571.html

61阅读| 精彩专题| 最新文章| 热门文章| 苏ICP备13036349号-1