Antkillerfarm Hacking V7.0

大数据平台参考资源(二)

2018-09-24

大数据平台参考资源

https://mp.weixin.qq.com/s/AJt-Ky1o7OIh7n2KMShS-w

手把手教你从0到1写一个简单的缓存框架

https://mp.weixin.qq.com/s/de3YqaSFaxUyiBMEW7fsKg

并发服务器(一):简介

https://mp.weixin.qq.com/s/KkrSxVZhOI22JDk4K20cxg

并发服务器(二):线程

https://mp.weixin.qq.com/s/-OgxpAz6Zz817N9hfK8njQ

分布式存储中的数据分布策略

https://mp.weixin.qq.com/s/zDbcV_vJeBOnAYxK0WEJQQ

Web系统大规模并发:电商秒杀与抢购

https://mp.weixin.qq.com/s/QxV4-sa72ALCZdD4QWqLPA

如何让快递更”快”?菜鸟自研定时任务调度引擎首次公开

https://mp.weixin.qq.com/s/MSR18sqUznuiUgUM5YkvZg

携程图片服务架构

https://mp.weixin.qq.com/s/pxNRzWs3sZmbr-K18FvnrA

美团点评智能支付核心交易系统的可用性实践

https://mp.weixin.qq.com/s/UYN4cxH4gT0WsFTrBKRKGA

美团酒旅实时数据规则引擎应用实践

https://mp.weixin.qq.com/s/XE56cWASFcq8r-p1OBvKng

日均5亿字符翻译量,百毫秒内响应,携程机器翻译平台实践

https://mp.weixin.qq.com/s/oYiQEMelkXHbT3ke2BmHOw

如何逐步去构建一个大型网站系统

https://mp.weixin.qq.com/s/xlCO__HucTUd_gYNRTueGg

携程基于大数据分析的实时风控体系

https://mp.weixin.qq.com/s/y6ntgPxTaLFBJDn3usBd1g

美团点评广告实时索引的设计与实现

https://mp.weixin.qq.com/s/-K2K22fLOz4Hl7MIUAJfRA

美团点评数据平台Kerberos优化实战

https://mp.weixin.qq.com/s/NwjYJde9_TC4PXMPpYw1Gw

聊聊开源消息中间件的架构和原理

https://mp.weixin.qq.com/s/Kv1Qq4118I2itYwPYyQUoA

Spark Streaming实时计算在甜橙金融监控系统中的应用及优化

https://mp.weixin.qq.com/s/syM4ReAWpZ5d4KI87ogpiQ

从单一架构到分布式交易架构,网易严选的成功实践

https://mp.weixin.qq.com/s/qh88sawJUZedv3X0LIRsAQ

ESearch:58集团基于C++语言自主研发的搜索内核

https://mp.weixin.qq.com/s/Mcg5rj3QrgVj3wyY4xttnQ

关于商业部署机器学习,这有一篇详尽指南

https://mp.weixin.qq.com/s/d7xMT1jrkwT_csC1kugw4w

360数据处理平台的架构演进及优化实践

https://mp.weixin.qq.com/s/Mw-bQiWURE6oBz-EwfoiiA

Meteor实时计算平台架构与实践

https://mp.weixin.qq.com/s/osCRnfnuCFGJIR1jkhgUwA

弃用ETL,为什么说ELT才更适合AI应用场景?

https://mp.weixin.qq.com/s/fV3OqXreZqaQ5neQaFIlOQ

非易失性内存在阿里生产环境的首次应用:Tair NVM最佳实践总结

https://mp.weixin.qq.com/s/39FG8FXADFC9UQuUJGTwbQ

基于DAG的分布式任务调度平台:Maat

https://mp.weixin.qq.com/s/qnjM4nMMGzO_gsnktQubSw

携程度假起价引擎架构演变

https://mp.weixin.qq.com/s/qmTJ6d0VtfqvIYJzRUMvsw

互联网账户系统如何设计(上篇)

https://mp.weixin.qq.com/s/NV5sYF15Q-016sfxRMEVmg

浅谈高并发系统性能调优

https://mp.weixin.qq.com/s/nqOvcKtxpqehWFO4XkXr5g

为减少用户电话排队,阿里研发了智能客服调度系统

https://mp.weixin.qq.com/s/bTh8N45BLNQHSLUZAakkCA

Oceanus:美团点评HTTP流量定制化路由的实践

https://mp.weixin.qq.com/s/VKsbBvKibLDc-wFvYn3nxg

阿里如何实现秒级百万TPS?搜索离线大数据平台架构解读

https://mp.weixin.qq.com/s/7kKhAYtkIuvlBnZlaYATnw

全链路压测平台(Quake)在美团中的实践

https://mp.weixin.qq.com/s/4WCgzvTjOvNONrrZLc7yOQ

比Hive快800倍!大数据实时分析领域黑马开源ClickHouse

https://mp.weixin.qq.com/s/K2G1mUo_WOhDyAxGgcfqHA

利用Mesos构建多任务调度系统

https://mp.weixin.qq.com/s/5BeM4aBH9vMhU3i74qKvdg

Uber开源Marmaray:基于Hadoop的通用数据摄取和分散框架

https://mp.weixin.qq.com/s/G26lg2xTClbuszYY7h0Dkw

腾讯内容平台系统的架构实践

https://mp.weixin.qq.com/s?__biz=MzU1NDA4NjU2MA==&mid=2247493243&idx=1&sn=db32057f4b6450a66844ca4e3aaa46da

大数据凉了?No,流式计算浪潮才刚刚开始!

https://mp.weixin.qq.com/s/qeMhUNDXoYkx06mHnIEUCA

一文带你了解携程第四代全链路测试系统

https://mp.weixin.qq.com/s/sUWy60vL-pEt5fE5PGGrww

数据中心日均CPU利用率45%?!阿里规模化混部技术揭秘

https://mp.weixin.qq.com/s/LXcWMwxgk3SXDI1cI_Kg8w

携程数据库高可用和容灾架构演进

https://mp.weixin.qq.com/s/ty5GltO9M648OXSWgLe_Sg

多中心容灾实践:如何实现真正的异地多活?

https://mp.weixin.qq.com/s/Y4MtwJsbGWx3XqajGV3ZpA

每日生产万亿消息数据入库,腾讯如何突破大数据分析架构瓶颈

https://mp.weixin.qq.com/s/DIaBHRoJs7z1ZOOpF5p9qQ

跨境物流链路怎么做?菜鸟工程师打造了全球通关“神器”

https://mp.weixin.qq.com/s/8N2EBRar495vxDHsUtpskw

机器学习在美团配送系统的实践:用技术还原真实世界

https://mp.weixin.qq.com/s/4h7JDItBFhWkEex6eeaJTg

为什么你需要开源分布式流存储Pravega?

https://mp.weixin.qq.com/s/ViPvoQpFx2AC0UOqLtUqjA

Submarine在Apache Hadoop中运行深度学习框架

https://mp.weixin.qq.com/s/vgiUeUzChFzIudzNDoM1Nw

搭建入门级高频交易系统

https://mp.weixin.qq.com/s/HRwn7CvY6D6OsJzN9tWKQg

独家揭秘!阿里大规模数据中心的性能分析

https://mp.weixin.qq.com/s/MOtlA8lT4XZ0nsldqe9xeQ

微博深度学习平台如何支撑4亿用户愉快吃瓜?

https://mp.weixin.qq.com/s/muS68_vtXTrIGd1JNmS50A

揭秘!现代IM系统的消息架构如何设计?

https://mp.weixin.qq.com/s/mhJ2Q30APlCP6_AkV6gG3w

Uber如何为大规模Apache Hadoop表实现一致性数据分区?

https://mp.weixin.qq.com/s/QjZL3fGz-Kvjh40RGVm4AQ

SQL on Hadoop在快手大数据平台的实践与优化

https://mp.weixin.qq.com/s/waoNAf7bFKgkyHbCMIMy_Q

大数据架构如何做到流批一体?

https://mp.weixin.qq.com/s/yUWtbm1Yzg4yc9rom30HJA

千亿级的数据难题,优酷工程师怎么解决?(MaxCompute)

https://mp.weixin.qq.com/s/X3RVXKi40uEO7ra8mX_C-w

海量数据下的舆情分析,该如何搭建?

https://mp.weixin.qq.com/s/DBcGC1ViNlIda0u9pr7djQ

统一Elasticsearch、MySQL、Hive的SQL查询引擎,我们把它开源了!

https://mp.weixin.qq.com/s/ksVbQq42ay5lxcfqNwBgxA

阿里云小蜜对话机器人背后的核心算法

https://mp.weixin.qq.com/s/UJ2yy7pb8EXZSlQVJIymBg

初创公司5大Java服务困局,阿里工程师如何打破?(如何打造乞丐版的分布式系统)

https://mp.weixin.qq.com/s/QeS3PpfwJuxjAUQevVtkyQ

实时计算引擎在贝壳的应用与实践

https://mp.weixin.qq.com/s/TJMPqCokiBD_Hb-EpYtO4g

如果你也想做实时数仓…

https://mp.weixin.qq.com/s/_7Ht_A2coy2NYiXc5xcC2Q

爱奇艺大数据生态的实时化建设

https://mp.weixin.qq.com/s/0YsLo7bB-qcjStfC6q-hLw

字节跳动EB级HDFS实践

https://mp.weixin.qq.com/s/Zs0uHrENeeLNYX1ZfpVTSg

小米流式平台架构演进与实践

https://blog.csdn.net/weixin_45932995/article/details/103419125

支付宝架构到底有多牛逼!

https://mp.weixin.qq.com/s/Ue4toNlLD0-zAstVJP2ynA

爱奇艺大数据实时分析平台的建设与实践

https://mp.weixin.qq.com/s/BYbv5CB5_Va4bfFhvr6o1A

一口气说出“分布式追踪系统”原理!

https://mp.weixin.qq.com/s/nQywI6a2mzbupWAvu1W9_Q

营销自动化系统设计与实现

https://mp.weixin.qq.com/s/6j6GFJsytl2e914SVO1UVQ

维护几十种语言和站点,爱奇艺国际站WEB端网页优化实践

https://mp.weixin.qq.com/s/JQaXbt9loJ3k7YFDgyLnog

微信直播聊天室架构演进

知名数据集+

医疗

https://mp.weixin.qq.com/s/849fLGndmaRvz_oWt6HWtg

一文道尽医学图像数据集与竞赛

https://mp.weixin.qq.com/s/AW5PGDXCTPMf8hwsPxOfjg

NIHCC发布迄今世界最大的CT医学影像数据集

https://mp.weixin.qq.com/s/M3s3z3YnEBvUxpDVGFVKHw

斯坦福吴恩达团队公布最大医学影像数据集

https://mp.weixin.qq.com/s/9TFLE3R7ct0HzaAwOCfkbw

斯坦福联合MIT,发布两类巨大量级X光胸片数据集

https://mp.weixin.qq.com/s/OhwDbFfHs-farxUVxRDw4Q

吴恩达斯坦福实验室发布MRNet数据集,包含1千多张标注膝关节核磁共振成像

Other

https://mp.weixin.qq.com/s/VCJoBf2ECdvyRLU7atciYA

浙江大学和帝国理工大学发布的交通速度预测数据集

https://mp.weixin.qq.com/s/dsLVogBtYjYeMULWp4QrhA

一网打尽成语歇后语,GitHub新华字典数据库

https://zhuanlan.zhihu.com/p/40984645

打通推荐系统与知识图谱: 第一个公开的大规模链接数据集合

http://www.stats.gov.cn/tjsj/tjbz/xzqhdm/201703/t20170310_1471429.html

国家统计局:最新县及县以上行政区划代码

https://github.com/wecatch/china_regions

最全最新中国省,市,地区json及sql数据

https://mp.weixin.qq.com/s/h38VZnInkuOjkgcEmsTtMg

让机器帮你做行测题,UCLA朱松纯团队提出关系和类比视觉推理数据集RAVEN

https://mp.weixin.qq.com/s/8wiHVMhKjzlg8BqMMLLgYw

神经网络也能解数学题,DeepMind发布千万数学题海数据集

https://mp.weixin.qq.com/s/YU4tRplyLxFpJdkqclhXyQ

DeepMind大放送:开放4个多物体表征学习数据集,还有一篇智能体新研究

https://mp.weixin.qq.com/s/fCoQv6zMQw_8eOwANS16OQ

图神经网络的ImageNet?斯坦福大学等开源百万量级OGB基准测试数据集

数据结构 & 普通CS算法+

https://blog.csdn.net/wo541075754/article/details/54632929

Merkle Tree(默克尔树)算法解析(Merkle Tree,通常也被称作Hash Tree,顾名思义,就是存储hash值的一棵树。)

https://mp.weixin.qq.com/s/M8U9B7UA2AdfnJi5EpTv-g

算法面试中经常问的“字符串”问题

https://mp.weixin.qq.com/s/QHounf4el7nmXnpMSJHjvg

这个问题不简单:寻找缺失元素

https://blog.csdn.net/changtao381/article/details/8936765

Splay Tree(一种二叉排序树)

https://mp.weixin.qq.com/s/p4tddWB4kjFufkv3x2SYpw

图解6种树,你心中有数吗

https://mp.weixin.qq.com/s/fAYjIcFlHoXK2E38JJSFpA

C++优先队列priority_queue

https://mp.weixin.qq.com/s/KZq5SjPESQnQaNU1Mn5a-A

一文把三个经典求和问题吃的透透滴

https://www.zhihu.com/question/20298134

即时战略游戏中实用的寻路算法都有哪些,比较如何?

http://blog.codinglabs.org/articles/algorithms-for-cardinality-estimation-part-i.html

解读Cardinality Estimation算法

https://mp.weixin.qq.com/s/zQJve_w5OoM6u-WcSWArdQ

神速Hash

https://www.codeproject.com/Articles/69941/Best-Square-Root-Method-Algorithm-Function-Precisi

Best Square Root Method

https://zhuanlan.zhihu.com/p/332996578

陈丹琦分治算法

Fork me on GitHub