2018 MongoDB中文社区年终盛会回顾与总结

MongoDB中文社区2018年终盛会1月6日在深圳完美落幕,我1月5号早上6点就弹起来从广州南站坐高铁,经过2个多小时,终于到达会场~会场是在深圳南山高新区的平安科技大厦

深圳第一天
平安科技成立于2008年,是平安集团旗下的全资子公司。公司总部设在深圳,北京、上海、成都、南京设有分公司 ,平安科技负责开发并运营集团的关键平台和服务,支持集团的保险、银行、投资和互联网业务高效发展,同时还是集团的技术孵化器,在云、人工智能和大数据方面有着强劲的研究和开发能力

这次主办方是平安和mongoing社区一起联合举办的MongoDB年终大会,大会由平安提供场地支持,第二天的主题也会有来自平安科技在金融领域的分享

【文末有PPT及视频的获取方式】


第一天MongoDB高级技术集训营

1月5日,MongoDB中文社区为希望提高MongoDB技术到下一个阶段的用户特别推出了一个MongoDB 高级技术集训营 ,旨在用一天时间,从理论到动手实操,解决使用过程中的各项难题 。
首先是由MongoDB中文社区联席主席、《MongoDB 实战》第2版 译者 徐雷,从场景、策略、容量规划、到常见问题的解决,带大家一起深入学习MongoDB高级集群知识;来自腾讯互娱 技术运营部、MongoDB中文社区深圳分会主席的孔德雨为大家介绍了Mongos/ Mongod的实用参数调优,并通过讲解背后的原理,让受众巩固对MongoDB的认知; MongoDB大中华区高级咨询顾问、MongoDB中文社区联席主席张耀星,在本次集训中除了给大家介绍mongodump / mongorestore的原理,数据一致性证明,还带来了物理备份 / 基于lvm备份的黑科技; 罗辑思维首席DBA、MongoDB中文社区北京分会主席李丹,从MongoDB的复制集原理讲起,深入浅出的分析,不同的业务场景下,应该如何配置一致性读写选项,该议题设有实操环节,所有老师都在现场对有疑问的学员进行一对一指导; 资深大数据解决方案架构师,MongoDB中文社区联席主席 郭远威 手把手教大家玩转Spark+MongoDB

第一天培训高清大图送上~~~~

大会签到处
MongoDB一致性模型
MongoDB参数优化

今天和徐雷老师以及来自亚信科技的郭远威老师一起探讨了Spark+MongoDB实际应用场景以及应用范围。郭老师给出了他们在亚信中国移动领域应用spark+mongoDB做实时流量,通话相关业务计算;我们因为是游戏公司,我们业务主要来自于离线计算比较多,例如离线计算玩家留存率,玩家在线时长等业务~ 同时分享了包括如何用E-Chart和Data-V 构建实时大屏数据汇总。徐雷老师很耐心的解答了mongoDB连接池的相关技术和在JAVA驱动中的应用,收货非常多~

第二天大会议程
第一位进行分享的嘉宾来自平安科技数据库产品部及存储产品部总经理汪洋,汪总在现场除了为大家介绍平安集团的架构外,还分享了在实践MongoDB的这些年踩过的坑。
来自平安银行科技运营中心数据库团队的负责人王鹏冲给大家带来了几个经典的案例分享,一一分析MongoDB在实践过程中踩过的坑:
应用间歇性响应慢及应用整体响应慢的问题
在MongoDB使用过程中,监控出现大量tickets耗尽,可能的原因是什么?
调整数据架构,从单节点到分片,如何合理高效的配置分片表,及安全可靠的落地?
MongoDB 源码研究在国内略显冷门,而实际上,MongoDB是一款代码质量优异,结构划分精良的数据库。来自华为云的党李飞尝试从高处着眼,介绍MongoDB的代码结构与技巧,以及部分重要模块的架构与实现。希望通过此次分享,能让更多的技术人员对MongoDB感兴趣。
MongoDB源码是使用C++编写的,有明确的模块分层结构
普华永道 TechLeader 杨庆麟,在本次的分享中给大家带来了一个从关系型数据库迁移到非关系型的思路,最后也为大家推荐了一款云版免费的实时抽取工具:TAPData 构建Oracle,MySQL的快速数据迁移和同步工具

每份用户数据背后都有一个故事,可以帮助企业全方位了解客户,制定更好的客户关系策略,确保最佳用户体验实现商业价值。赞助方锦木信息的技术总监唐峰在本次演讲主题分享如何在MongoDB上兼顾数据特点、开发效率及业务场景,高效构建客户统一视图,将分散的用户数据动态整合,实时处理,持续集成并高效的对外提供价值。
基于Spark大数据计算引擎实现构建统一视图,构建后可以通过分析 推荐 或者报表形式进行展示
通过Spark大数据引擎构建的离线和实时计算框架,对数据进行确定统一身份标识和对异常数据进行汇总,例如:像我们游戏,可以实时对玩家充值数据进行清洗合并,监控玩家充值数据是否异常,是否通过正常渠道进行充值的数据,对问题数据进行单独存放,进行事后分析或者执行自动封号操作
茶歇时间~~~~
茶歇时间~~~~

作为NoSQL的代表,MongoDB先前的版本专注于非事务模型的应用, 而在今年MongoDB 4.0发布了多文档事务功能。
来自纽约的MongoDB 内核工程师姚翔宇为大家介绍了在分布式环境下实现事务的难点与MongoDB近年来为此所做的努力,如WiredTiger存储引擎内部时间戳和分布式集群时间戳的协调,以及分布式日志和单机日志的合并
姚翔宇为我们分享了在研发MongoDB4.0文档事务的难题:包括多节点文档顺序问题,在复制集文档顺序问题(官方估计4.2支持分片事务集);包括mongoDB内部2个时钟问题(MongoDB时间戳和WriedTiger时间戳),mongo做法是MongoDB时间戳优先于
WriedTiger时间戳,把时间戳和每个MVCC更新放在了一起,等到辅助节点应用更新时读取数据
金融机构在构建双中心或者多中心容灾架构的时候,双活通常认为是级别最高,体验最好,但同时成本也是最高的一种架构方案。MongoDB的基于RAFT协议的原生集群同步功能可以用来非常容易的搭建跨中心双活或者多活方案。因为不依赖于专门的硬件或者第三方同步软件,成本也更加容易接受。
 TJ 结合他亲自设计的两个真实客户案例,为大家剖析MongoDB搭建双活架构的设计细节及实现方式。
最后大合影~~~ MongoDB 年终大会完美落幕

感谢您对MongoDB中文社区年终大会的关注与支持。
ppt下载链接: https://pan.baidu.com/s/1PajQRV40KkWErFW1HxNXvg

提取码: wa2u