关于快快

About us

新闻中心 > 行业资讯 > 腾讯云再出事!因物理硬盘bug导致客户数据完全丢失 2018-08-07 17:20

腾讯云再出事!因物理硬盘bug导致客户数据完全丢失

  7月20日,腾讯云北京三区部分云硬盘IO异常。但是没有想到如此严重,竟然导致一家互联网创业公司“前沿数控技术”线上生产数据完全丢失。在8月6号,腾讯云对此作出回应,因物理硬盘固件版本 bug 导致的静默错误,致硬盘损坏。


  以下内容为用户自述:


  前沿数控是一家以微信公众号起家的创业公司,2014年注册了微信公众号“前沿数控技术”,精准定位于数控、模具、机械行业,随后垂直行业精准关注量突破了40万,在2016年获得知名公司的投资从而加速了“前沿数控技术”的发展,公司业务也从微信公众号转型为打造行业的一站式平台,开发了包括网站、H5、小程序产品,并与全球高端装备制造业的德国、日本、瑞士、美国等一批龙头企业建立起深度合作。

  为应对迅速增加的流量趋势以及安全可靠的需求,“前沿数控技术”选用了腾讯云服务器。而灾难就发生在2018年7月20日,近千万元级的平台数据全部丢失,包括经过长期推广导流积累起来的精准注册用户以及内容数据,这瞬间将一家创业公司摧毁….

  经咨询IT行业专业人士,人家表示难以理解:“数据在腾讯云上因为硬盘挂了就丢失了,实在不可思议,即使一家公司使用自己的服务器,硬盘故障导致服务器宕机都能恢复数据,这个技术并不难,更何况云是有副本的,他们应该有容灾机制和数据完整性检验,以保证数据可恢复;即使全部损坏,只要硬盘没有物理毁灭也能恢复出数据….”

  在事故发生后,腾讯云起初没有回避问题,承认他们会对此事故负责并声称这是他们此前从来没有发生过的事故,并且希望我们给他们一些时间来处理赔偿。

  但实际上,腾讯云以大公司傲居的态度,真的让人无法接受。对一个“时间就是命根子”的互联网创业公司来说,在与腾讯云的交涉过程中他们给出的答复始终是“已向公司相关部门反馈,请耐心等待”。

  直到事故发生的第14天,腾讯云才给出答复,这是一个足以让人崩溃的答复:补偿责任总额不会超过腾讯云公司就违约服务收取的服务费用总额,另外赠送一个腾讯云价值10万元的套餐包(不知道是什么东西)。随后,腾讯云好像感觉到这样的答复好像有什么不妥,很快将赔偿方案中的10万套餐包改为13.29万元现金,说这是他们争取的最大赔偿了。

  让人难以相信,这居然是腾讯云给出的解决方案?口口声声说很重视,实际上却置创业公司的生死不顾!

  那是我们花了两年多心血打造的平台!当所有内容数据全部丢失,在这种情况下需要花多大代价才能恢复运营?还能运营得起来吗?拿这13万能用来干什么?那是我们公司的命脉!

  灾难已经发生,腾讯云公司给出的处理结果令人气愤,这就坚定了“前沿数控技术”平台去维权的决心,我们相信这个社会的正义感是存在的,法律是能保护财产不受损失的,就算是鸡蛋碰石头也要去碰….

  我们不知道”前沿数控技术”是不是腾讯云十亿分之一几率的受损客户,我们需要腾讯云就事故给出一个明确说法,给出可以维持一家创业公司得以生存的赔偿,希望相关正义人士关注事件。


  以下记录了此次事故发生的全过程:


  7月20日(周五)

  20:00左右,我司网站、小程序、H5突然出现打不开。

  于是紧急安排程序员检查原因,发现无法登陆云服务器,重启也不行。

  晚上23:00在腾讯云后台发起工单求助,腾讯云迅速给出了答复:北京三区部分云硬盘出现故障,正在紧急恢复中。


  7月21日(周六)

  焦急的等待中,早上,我司程序员没有看到腾讯云的回复信息。再次发起工单询问故障是否已经处理好,经过多条工单沟通没有得到明确的答复。

  我们几乎是每隔半小时就拨打一次腾讯云的紧急服务电话催促结果,得到的答复是数据暂时没有办法恢复,专家团队正在紧急抢修中。

  15:49腾讯云回复,让我们尝试恢复数据。我司程序员按其方法操作后,发现下载的数据已经损坏,无法使用。

  此时,一种不祥的预感随之而来。上午我们担心的问题还是产品的停运会给用户带来不好的体验,给平台带来流量损失。但在腾讯云下午告知数据不能被恢复时,我们接近崩溃,此时最迫切的期望是能够恢复数据,平台短时间停运的那点损失就谈不上什么了。

  随后不断拨打腾讯云投诉电话,要求无论如何,只要有一线希望就要恢复数据。腾讯云的答复是问题已经升级为优先级,已经上报给相关负责人。


  7月22日(周日)

  再着急也没有用,投诉电话打了一个又一个,客服人员的态度永远是标准化的答复 “请您耐心等待,问题已经反馈上去了”。

  12:24,接到来自腾讯云深圳的电话,一位高小姐说她是处理投诉的负责人,由她专门来对接这个事故,她表达了由于腾讯云云硬盘发生的故障导致数据丢失,腾讯云已经尽到最大努力了,但数据的确找不回来了,想听取要求赔偿的意见。

  我们再次表达,我们的需求不是索赔,简单介绍了数据的重要性,希望腾讯云尽全力把数据恢复回来。高小姐表示几乎没有希望了,她会给公司转达我们的意见,再做一次技术努力,答应在周一回复处理意见。

  时间已经过去了2天,产品全部停运,我们是度日如年,当天晚上写了一封正式的投诉信盖公章通过腾讯云后台提交过去,迫切希望能够引起腾讯云高层的重视,因为这不是一次普通的数据事故,这关系到一家创业公司的生死。


  7月23日(周一)

  到了周一工作日,想必腾讯云应该会对紧急事故给出处理意见,但却没有!

  直到下午13:40分,在腾讯云后台才收到一条应付式的答复:您好,您的投诉信和相关意见已收到,我们已再次升级反馈,如有进展会第一时间联系您,谢谢!

  随后,我们回复了一条信息:如果周六、周日响应没有那么及时还可以理解,而昨晚的投诉,到今天的工作日,在下午13:40才给出一个形式的答复,这就不能理解。

  20:56腾讯云高小姐来电,说明了数据100%找不回来了,表达公司已经高度重视这次事故,打电话的目的是想详细了解“前沿数控技术”此次数据丢失带来的损失。

  整个通话过程将近一小时,我们坦诚向高小姐详细介绍了前沿数控平台的发展,此次数据丢失带来的严重后果。最后高小姐表示她会向公司领导详细报告,明天会给我们一个答复意见。


  7月24日(周二)

  又是等待回复!到了下午17:40还没有看到回复意见。又着急去后台询问进展。

  19:16分腾讯云高小姐来电,表达了她已经在推动公司领导给出意见,希望我们再耐心等待一下。


  7月25日(周三)

  度日如年的过了一天,等待腾讯云的答复。


  7月26日(周四)

  15:00腾讯云高小姐来电,说她已经把我们反馈的情况报告上去了,公司老板已经知道了这件事,但要求我们将索赔的方案落实在书面上,通过邮件发给她。当时加了高小姐的微信。

  当天晚上,我们迅速撰写了一份文件《前沿数控技术平台损失预估》,包括前沿数控技术产品线发展及相关情况、丢失的数据、给前沿数控技术平台带来的影响、平台损失价值评估。

  此次事故,前沿数控技术平台丢失的数据包括PC网页、H5、小程序共用的核心数据。平台注册的精准用户数据全部丢失、数十万条用户帖子全部丢失、行业品牌库数据及所有录入的资讯全都丢失。因为是高度垂直的行业,获得流量是极其困难的事情,而这些数据是基于两年多的推广才逐步积累起来的。

  从7月20日20:00起,平台已全部停运,活跃用户在网站停运的情况下逐渐流失,平台信任度将降至冰点,后续再恢复活跃度面临几何级的极大挑战,广告主在平台的广告投入已不能正常展示,面临退款赔偿及老客户丢失,公司融资计划也被中止。一家快速发展的创业公司瞬间回到“只能依靠微信公众号”的初期,企业陷入生存危机!

  我们希望腾讯云正面问题评估损失,让我们恢复产品上线,然后加大力度推广看还有没有机会能将产品恢复活跃度。


  7月27日(周五)

  给高小姐发微信要邮箱,她给了我们一个163的邮箱。

  随后我们通过邮件、微信给高小姐发送了文件《前沿数控技术平台损失预估》,高小姐答应当天回复进展。

  到了晚上,高小姐告诉我们邮件已经转给公司相关部门人员了,因为事情比较特殊,他们需要一些时间来评估,需要我们耐心等待。


  7月28日(周六)

  12:20高小姐打电话过来,问关于文件《前沿数控技术平台损失预估》中评估的损失有没有可以提供的依据或事实证明,他们需要用来评估。我们的意见是,相关的依据与事实证明我们会在必要的时候提供,现在的关键是腾讯云的赔偿意见是什么,是否认同我们的方案。

  高小姐又是让我们耐心等待,她会汇报意见。


  7月29日(周日)

  12:15高小姐打电话过来,说腾讯云的的大客户售后总经理、市场部骨干会安排在下周一下午来我们公司拜访沟通。高小姐拉了一个微信群。

  我们当时瞬间感受到了腾讯云的诚意,感觉这次可能就比较靠谱了,于是安排约好了见面沟通。


  7月30日(周一)

  腾讯云的大客户售后总经理徐先生,还有两名腾讯云的随同人员一起过来我们公司。徐先生表达了歉意,说明他们这次拜访的目的是想怎么帮助我们迅速恢复已经停运的产品。

  数据全都丢了,还能怎么快速恢复?

  他们了解完情况后,认识到了此次数据带来的后果比较严重,产品没法迅速恢复运营,他们需要时间回去再商量,答应在周四给出具体赔偿金额的方案。


  7月31日—8月1日(周二—周三)

  等待腾讯云给出最终的赔偿方案。


  8月2日(周四)

  我们在微信群里催促徐先生今天什么时候给出赔偿方案,答复是下午发送给我们并电话沟通。

  下午18:17接到腾讯云高小姐的来电,说明了他们的赔偿方案是:补偿责任总额不超过腾讯云公司就违约服务收取的服务费用总额,另外赠送一个腾讯云价值十万元的套餐包。

  听到这样的答复,我们几乎瞬间崩溃!随后,腾讯云好像感觉到这样的答复好像有什么不妥,很快将赔偿方案中的10万套餐包改为13.29万元现金。

  一个创业公司花二年多心血打造的平台就这样被腾讯云给毁了,在公司生与死的抉择关口,腾讯云公司口口声声说重视,他们会对事故负责,我们也期盼腾讯云能提供合理的赔偿资金来还创业公司的一线生机。而经过苦苦等待十多天,得到的结果却是少得可怜的赔偿…..

  我们也坚定了维权的决心,我们相信这个社会的正义感是存在的,法律是能保护财产不受损失的,就算是鸡蛋碰石头也要去碰…. 这里面也涉及到很多专业的问题,腾讯云声称的99.9999999%数据可靠性,搭载了云硬盘三副本存储策略,是否有夸大事实?腾讯云所谓的云服务器是否是真正意义上的“云”?腾讯云所谓的3备份是不是真实的?这些都值得行业去思考与探讨…


  而在8月6日,腾讯云方面对此做出回应,此次错误因物理硬盘固件版本 bug 导致的静默错误,以下为回复内容:




  近日,腾讯云用户北京清博数控科技有限公司所属“前沿数控”平台一块操作系统云盘,因受所在物理硬盘固件版本bug导致的静默错误(写入数据和读取出来的不一致)影响,文件系统元数据损坏。

  腾讯云监控到异常后,第一时间向用户告知故障状态,并立即组织文件系统专家并联合厂商技术专家尝试修复数据。遗憾的是,虽经多方努力,最终仍有部分数据完整性校验失败。经过分析,该硬盘静默错误是在极小概率下被触发。我们随即对固件版本有bug的硬盘全部进行下线处理,确保相关隐患全部排除。

  随后,腾讯云向“前沿数控”接口人伍先生说明情况并表达歉意,同时安排专人积极与接口人沟通,也在第一时间制定如下“赔偿+补偿”方案,以期将用户损失降最低。

  赔偿部分:“前沿数控”在平台上(自2017年12月份开户至今)产生的实际消耗共计3569元,依据腾讯云相关服务协议、规则和行业惯例,腾讯云将按照赔偿条款中的上限以现金形式全额返还这笔费用;

  补偿部分:本着帮助用户迅速恢复业务的目的,腾讯云承诺为“前沿数控”提供132900元现金或云资源的额外补偿。

  无论如何,我们都希望可以尽快帮助用户恢复业务,将损失降低最低,因此提出了“赔偿+补偿”总金额达到136469元的解决方案,这其实也是其在腾讯云平台中用云金额的37倍。

  不过,“前沿数控”基于自身评估就此次故障对腾讯云提出了高达11016000元的索赔要求。毫无疑问,这远远高于我们能够提供的方案。这也是此次双方目前未能达成一致的主要原因之一。

  从平台角度,腾讯云极力提供持久、稳定、安全的服务。但基于云计算特性,为了杜绝概率极低的意外事故发生,我们在做好云平台数据备份保障外,也按照行业惯例在相关协议中提醒用户对自身重要数据,尤其是客户信息、程序代码、网页素材等进行数据本地备份。遗憾的是,在这次故障中,“前沿数控”也表示目前没有任何本地备份数据可以用来恢复业务。

  在双方的沟通中,“前沿数控”还提出希望以“获得腾讯投资”、“腾讯官方引流”等方式得到补偿。在当前情况下,我们的确很难满足这样的要求。

  作为腾讯的战略性业务,云计算凝结着我们开放技术能力的初心,也寄托着我们连接智能未来的愿景。腾讯云极度珍视自身品牌,重视用户的合理诉求,并寻求帮助用户尤其是中小规模的用户获得成长。

  我们将继续与用户“前沿数控”保持建设性沟通,为最终帮助其进行业务恢复进行有诚意的努力。当然,如果最终用户倾向于寻求以法律诉讼方式解决争议,我们也将积极配合用户在法律框架下得到公平公正的解决方案。同时,我们也将适时与媒体沟通进一步进展。

  最后,我们对此次故障给用户业务带来影响再次表示最诚恳的歉意。后续,我们针对云盘产品会额外实行定期强灾备措施,进一步保障用户数据的可靠性。让每一个用户放心上云,安心用云。

  腾讯云

  2018年8月6日




  事件后续,腾讯方面提出了“赔偿+补偿”总金额达到136,469元的解决方案,是该用户在腾讯云平台中用云金额的37倍。

  不过,“前沿数控”基于自身评估就此次故障对腾讯云提出了11,016,000元的索赔要求。腾讯云称,这远远高于其能够提供的方案,这也是双方目前未能达成一致的主要原因。

  腾讯云表示,将继续与“前沿数据”保持沟通,帮助其进行业务恢复,如果最终用户倾向于寻求以法律诉讼方式解决争议,也将积极配合用户在法律框架下得到公平公正的解决方案。

400-9188-010

公司地址:厦门市软件园二期观日路50号0201单元

客服电话:400-9188-010

电子邮箱:admin@kk30.com

Copyright © 2007-2017 [快快网络] 厦门快快网络科技有限公司 闽ICP备16037490号-1 闽公网安备 35020302000839号 公安机关联网备案号 35020301000110
中国互联网络信息中心IP地址分配联盟单位 《中华人民共和国增值电信业务经营许可证》IDC/ISP:闽B1-20160142

360网站安全检测平台