聚焦数据架构前沿技术快手大数据平台架构技术交流会成功举办

近日,快手数据平台部联合“快手中学”,专题举办“快手大数据平台架构技术交流会”(Kuaishou Data Platform Architecture Conference),吸引了各行业数据相关开发者的参与。

从hadoop到spark,再到flink,从kylin到druid,再到clickhouse,从离线数仓到实时数仓架构,再到数据湖架构,近10多年中,大数据平台架构经历了快速演变。各大互联网公司或借助开源生态,或通过自研构建大数据架构系统,促进数据相关业务的价值挖掘与发展,为公司的战略发展、产品改进、用户增长带来收益。

曹庆三曾和弟弟打工的沈阳和平区南二马路小食品城

警方称经查无“小三子”其人,关键物证因“保存不善”丢失

王磊介绍了快手Hive元数据在亿级分区规模的存储使用上所面临的总量多、增速快、压力大等多方面挑战,针对上述挑战给出了快手所采取的系列优化措施,包括读写分离、API性能优化、流量分级控制、Federation水平扩容等,从而达到提升Hive元数据服务稳定性和性能的目标。

警方调查认定,1998年12月31日下午两点,曹氏兄弟携带事先准备好的断线钳子,窜到粤菜调料坚果行设在沈阳铁路局材料总厂院内的仓库,曹庆三用断线钳子剪断库房锁头,换上事先准备好的同类型锁头,再由曹波三在该厂大门处接应。作案过程中,曹庆三先后两次来到和平区南三马路市场雇佣6台人力三轮车,再窜回库房用钥匙将库门打开,从中盗走坚果。之后,二人分三次销赃给沈阳北行农贸市场业主,获赃款14万余元,每人分赃7万元。

蔡某涛相片背面用蓝色圆珠笔记录的曹庆三大姐家地址

2000年1月,沈阳铁路中院公开审理此案,曹庆三辩护人郝沈武在庭上为曹庆三作无罪辩护,称公诉机关没有出示曹庆三作案时使用的工具,指控盗窃证据不足。

本次交流采取线下线上结合的参会方式。交流会开放了部分线下参会名额,所有现场观众需佩戴口罩,确保测温和健康宝状态正常,在签署健康声明后方可入场,入会就座时也均保持了一定间隔。此外,交流全程还通过“快手APP”直播,观看总人数超1.5万人。

坚果行仓库失窃半年后,兄弟二人被指白天雇人车偷盗

出事前,曹庆三曹波三兄弟的合影 本文图片均为澎湃新闻记者 卫佳铭 图

1999年10月8日,沈阳铁路公安将此案移送辽宁省检察院沈阳铁路运输分院(下称“沈铁检察分院”)审查起诉,当年11月15日,沈铁检察分院将此案退回补充侦查,并出具了详细的说明。

经过几年打拼,穷苦出身的曹家兄弟攒了一些家底,日子逐渐向好。但在1999年8月29日,他们的命运陡转直下。那天傍晚,民警叩开了曹庆三的家门,以问话为由将曹庆三、曹波三一起带走。

经审查,沈铁检察分院发现了案件尚存的五大问题:第一,与本案有关的“小三子”应到案;第二,曹庆三作案时所使用的工具“断线钳子”应提取;第三,作案时被更换的锁和钥匙应提取;第四,被告人家中搜查出的存款来源为何;第五,曹波三参与盗窃的时间。

从1999年8月29日被刑拘到被依法逮捕后满一个月的1999年10月9日,曹庆三和曹波三分别作出讯问笔录7份和6份,其中均有半数是在办案部门要求二人“反省”后作出。而在检方介入后,两人则不约而同地翻供了。

然而,笔录记载的内容却截然不同。

当月28日,沈阳铁路中院作出一审判决,认定曹庆三、曹波三盗窃罪成立,均判处无期徒刑,剥夺政治权利终身,各没收财产10万元。

1969年,祖籍山东的曹庆三,出生在辽宁省抚顺市清原县一个农民家庭,他上面有三个姐姐。1974年,小弟曹波三出生。

徐增强从数据规模、挑战和实践等几个方面,对快手分布式HDFS系统进行了全方位解读,并详细介绍了快手EB级HDFS集群发展历程中遇见一些核心问题的解决思路,如主节点扩展性问题、主节点处理能力瓶颈问题、节点热点问题、重要任务的分级保障问题等。

曹庆三对此表示怀疑,他告诉澎湃新闻,介绍他和“小三子”认识的宋某民正是失窃坚果行的小工,绝不可能查无此人。曹庆三三姐曹秀云则对澎湃新闻表示,在案发多年后,宋某民家属曾找到曹家,希望他们不要继续申诉了,“宋家人说,当时为了调查这事,宋某民也被警察抓去了”。此后,宋家便搬离了新城子,去向不明。

入狱服刑后,兄弟俩持续申诉。2001年6月,沈阳铁路中院将二人申诉驳回。

交流过程中,该场出品人之一、快手平台研发&数据平台负责人韦彬首先致辞。他介绍,快手大数据平台的使命是以领先的大数据技术,激活数据价值,赋能业务,打造快手核心竞争力。大数据团队从2011年创立之初没有全职数据同学,到目前团队已逐渐完备。在快手做大数据有四个特点,一是数据规模大,对数据治理的要求很高;二是数据驱动的文化深入人心,团队一直致力于对标行业最好水平打造数据中台;三是极度重视效率,确保数据平台灵活可用;四是为满足快手线上社区的场景,对数据的建模能力、应用能力都有极高要求。

(▲快手大数据架构团队负责人 赵健博)

值得注意的是,两人被拘当日的第一份笔录均为有罪供述,但这两份笔录都没有记录讯问的地点和具体时间,所用的纸张也和后来同样在当日所作的第二份笔录完全不同。

他告诉澎湃新闻,出事前的七八年,他和弟弟一起在南二小食品城“蹲坑”,为前来商场配货的外地商人搬运货物,赚取劳务,通常每一件货收取一块钱,“一天有时都能收入三四十元”。同时,他们一家也已从清原县搬至新城区子金牛街的一处住房内。

随后,来自快手的分布式存储高级研发工程师徐增强、离线计算引擎方向负责人王磊、分布式消息队列高级研发工程师陈春斌,以及腾讯数据平台部数据湖研发负责人邵赛赛,分别带来主题演讲。

今年7—8月,“快手中学”曾联合快手大前端团队举办“快手大前端技术交流会2020”,受疫情影响仅做线上直播,而随着疫情防控的逐步稳定,为了给观众带来更好的交流互动体验,本次技术交流首次开放了部分线下参会名额。未来,由“快手中学”举办的技术交流还将以每季度一次的频次长期开展。

邵赛赛从数据湖技术需要具备的能力,如何构建一个统一的数据湖存储、并在其上进行多种形式的数据分析角度切入,介绍了Iceberg的设计初衷、优点及能力,使听众对表格式这一领域有了充分理解,并深入了解Iceberg的设计、实现、优势以及使用方式。

出狱后的曹庆三(右一)和曹波三

此外,对于曹庆三、曹波三在沈阳辽阳工行开设账户的调查,也仅以办案时调取的开户和存款凭证作为依据。上述复印凭据显示,二人的开户时间分别为1999年5月和7月,开户后即存入资金5万元和3万元。

案卷资料显示,1999年元旦,沈阳粤菜调料坚果行经理黄超向警方报案,称其租设在沈阳铁路局材料总厂院内的仓库遭窃,共被盗走338箱美国进口开心果(每件重22.68公斤,单价人民币480元)和50箱大杏仁(每件重22.68公斤,单价人民币1200元),总价值约22万余元。报案时,仓库管理员陈广称,发现被盗时,门上的挂锁已经被人替换,“用原来的钥匙打不开了”。

当年发生盗窃案的沈阳铁路局材料总厂院仓库旧址,如今已改建成洗浴中心

在沈阳铁路公安局刑警队,办案民警问曹庆三:“你最近卖坚果了吗?”曹庆三点头。“货是哪来的?”对方接着问。

2006年,凌源市第五监狱成立专案组调查蔡某涛余罪问题。最初接受监狱狱侦科民警和沈阳铁路中院调查时,蔡某涛均对盗窃坚果的犯罪事实供认不讳。

澎湃新闻注意到,支撑上述结论的依据是曹氏兄弟的口供,以及案发当日被他们雇佣的三轮车夫的证人证言。

第二位出品人、快手大数据架构团队负责人赵健博介绍,快手大数据架构团队的领域主要涉及六个方向,分别是:存储系统、消息队列、资源调度、实时引擎、离线引擎、OLAP引擎。近几年,快手大数据架构的技术发展迅猛,从离线计算分析到实时计算,从大集群到超大集群,飞速迭代优化。

作为全球领先的生活分享社区,目前快手日活跃用户超过 3 亿,库存短视频数量超过 200 亿条,直播日活超过 1.7 亿,电商日活超过 1 亿。在海量的 UGC 数据、业务数据、用户数据背后,支撑快手数据业务的大数据平台架构系统,经历了几个阶段的高速发展。为此,交流会着重介绍了快手在大数据存储、调度、计算上的技术挑战、应用、演进与最佳实践。

在找到曹庆三兄弟之前的8个月,警方曾将调查方向锁定在坚果行内部人员,后来才将视线转移到贩卖这批坚果的农贸市场业主身上,即曹庆三售卖坚果的下家。

8月20日,澎湃新闻记者与曹庆三、曹波三一同来到该庭询问申诉受理进展,第三接谈室法官表示,目前尚未立案复查,会尽快与主审法官沟通。

家境贫寒,子女众多,曹家父母无力支持,因此曹家兄弟姐妹的文化程度都不高。曹庆三初中毕业后在家务农,而曹波三只有小学文凭。

曹庆三从没想到,一年之后,他会在高墙内见到“小三子”,并得知其真名:蔡某涛。在蔡某涛带进监狱的照片里,其中一张背面写有曹庆三大姐家的地址。曹庆三说,那是他们当年约定好支付尾款的地点。

即便如此,从第一份讯问笔录开始,曹庆三就不断提及从“小三子”处买货的情节,但因不知“小三子”真名而无法向警方提供详细信息。在曹波三的第二份笔录开始,他也不断供述有“小三子”的存在,并称“货是‘小三子’卖给我哥的”。

二十世纪九十年代初,改革开放的春风拂过,沈阳火车站附近的和平区南二马路聚集起人气,并迅速由马路集市发展为东北最大的小食品及农副产品集散地。看货、买卖、配货都在这里完成,曹庆三从中看到了商机。

对于作案工具断线钳子的去向,补侦报告书依据沈阳铁路公安局刑警大队1999年9月21日出示的说明称,此案系由新城子公安分局移交,他们曾多次向新城子公安分局刑警队追要物证,但对方的办案同志均否认见过此物,之后两次在曹庆三家中搜查也未找到。同样地,据办案人员回忆,在案发时已提取了的“被剪断”的锁和钥匙,也在较长的破案过程中,因保管不善丢失了。

当年12月6日,沈阳铁路公安局出具补充侦查报告书,并将案件再次移交。补侦报告书显示,警方在走访有关人员后,均未查到“小三子”其人。

曹氏兄弟持续申诉,但被沈阳铁路中院和辽宁高院在2007年和2014年先后驳回。2017年,曹庆三兄弟陆续出狱,他们转向位于沈阳的最高法第二巡回法庭递交申诉材料。申诉代理律师何承宸告诉澎湃新闻,该庭已于2019年11月25日答复称已受理申诉。

(▲演讲嘉宾合影:从左至右,分别为徐增强、陈春斌、邵赛赛、赵健博、王磊、李远策)

(▲快手平台研发&数据平台负责人 韦彬)

曹庆三称,当时他并没有承认盗窃,是在挨了打的情况下,由办案民警拿着写满字的笔录,抓着他的手指强行按的手印,民警还说“你弟弟都认了,你还不认吗?”曹波三则称,案发当日他只是帮哥哥联系了车辆,并未到过现场,他确实不清楚坚果的来历,“民警跟我说,我哥已经认了,我要是也认罪,就能帮他分担一点量刑,俺们不懂法,就这样信了”。

“小三子”消失了,曹氏兄弟成了盗窃犯。2000年1月28日,沈阳铁路运输中级法院(下称“沈阳铁路中院”)一审判决,曹庆三、曹波三犯盗窃罪,均被判处无期徒刑。二人不服,提出上诉,但办案部门却说“快过年了,现在没人管这事”,就此没了下文。

曹庆三称,他当时告诉民警,自己曾在1998年底从南二马路认识了一名叫“小三子”的人,对方自称是沈阳粤菜调料坚果行老板的侄子。当年12月31日,曹庆三花十万元向“小三子”购买了一批临近保质期的美国产开心果和大杏仁,提货当天他共支付了五万元,还招呼弟弟曹波三找车雇人帮忙搬运货品,只是在元旦之后便再也没见到过“小三子”了。

然而,当沈阳铁路中院法官再次提审时,他又改变了说法。曾和蔡某涛同在严管队的狱友阿龙告诉澎湃新闻(www.thepaper.cn),蔡某涛事后曾说,是法官让他“别瞎说了”,私下仍承认实施盗窃。

陈春斌介绍了快手Kafka在业务快速增长过程中遇到的集群扩容瓶颈、集群间资源利用率不均、业务接入效率低等问题,针对上述问题从集群水平扩展性和topic水平扩展性等方面对Kafka进行针对性改造,从而达到平滑支撑业务快速增长和提高资源利用率的目的。

曹氏兄弟出狱前老宅已拆迁,因在服刑期间没有户口,他们并未分到回迁房,目前只能和老母亲及三姐挤在沈北新区德育家园某一居室内

自接受讯问起,兄弟二人多次供述,货物是从一名叫“小三子”的男子手里低价购得,而非偷盗。案件在审查起诉阶段,检方也曾以“小三子”应到案为由将案件退回补侦。但是,警方坚称查无此人。

快手以技术为核心竞争力,十分重视技术创新和应用,同时也希望通过更多更广泛的技术交流,和业内开发者分享经验,碰撞出更多智慧火花,推动技术不断前进。“快手中学”作为内部专业人才培养平台,旨在通过提供丰富多样的专业课堂培训、比赛、技术交流,助力人才成长,提升专业能力和专业影响力。

曹庆三称,他存入的钱确实是卖坚果所得,但这也不能说明坚果是偷来的。曹波三则称,哥哥卖掉坚果的钱并未分给他,这三万元是他此前的积蓄。不过,警方的补充侦查报告仍然认定,曹波三从兄弟二人预谋作案开始就参与了盗窃。

一切要从1999年的一宗失窃案说起。当年元旦,沈阳粤菜调料坚果行经理黄超向警方报案称,其租设在沈阳铁路局材料总厂院内的仓库遭窃,338箱美国产开心果和50箱大杏仁“不翼而飞”。当年8月29日,时年30岁的曹庆三和25岁的弟弟曹波三在家中被警方带走,后被认定为该盗窃案的嫌犯。