Antkillerfarm Hacking V7.0

分布式系统, 大数据平台参考资源(一)

2018-01-22

分布式系统

教程

https://pdos.csail.mit.edu/6.824/index.html

6.824: Distributed Systems

https://www.cs.cmu.edu/~dga/15-440/S14/syllabus.html

15-440: Distributed Systems

https://www.cs.cmu.edu/~15712/index.html

15-712 Advanced Operating Systems and Distributed Systems

https://courses.cs.washington.edu/courses/cse552/

CSE 552: Distributed and Parallel Systems

https://people.eecs.berkeley.edu/~alig/cs294-91/

CS294-91 Distributed Computing

分布式事务

https://mp.weixin.qq.com/s/yBquVKyKnhpy2yPxY-0eqA

大白话聊聊分布式事务

https://mp.weixin.qq.com/s/2AL3uJ5BG2X3Y2Vxg0XqnQ

如何选择分布式事务解决方案?

https://mp.weixin.qq.com/s/TFGRcHV6EgeLB45OEJPRXw

来了!阿里开源分布式事务解决方案Fescar

https://mp.weixin.qq.com/s/4AYMb_v3GctPddpKUZUUfw

25张图让你彻底掌握分布式事务原理

https://mp.weixin.qq.com/s/ZrMUgjApwgsCNOzmpFBl3g

什么是分布式事务?

分布式锁

https://mp.weixin.qq.com/s/UTJL98BhrQ3yLvAQrl1P8A

​我们的系统需要什么样的分布式锁?

https://mp.weixin.qq.com/s/foAit8ratliRG6R2KC05Hg

浅谈分布式锁

https://www.cnblogs.com/intsmaze/p/6384105.html

一句话说清分布式锁,进程锁,线程锁

https://mp.weixin.qq.com/s/RKgWxwHQwJJ-4I4NQFoKTw

分布式锁夺命连环9问

https://mp.weixin.qq.com/s/imM3_MIp6CS_8DVL8bGr_Q

隔壁的老哥又让我用分布式锁

杂谈

面对大规模数据的计算和存储时,有两种处理思路:

垂直扩展(scale up):通过升级单机的硬件,如 CPU、内存、磁盘等,提高计算机的处理能力。

水平扩展(scale out):通过添加更多的机器到分布式系统中,提高整个系统的处理能力。


https://mp.weixin.qq.com/s/12s9JUxVDqAnLAeqc_de8w

聊聊分布式系统架构

https://mp.weixin.qq.com/s/KbNNU246BAeJmLoWbKie6g

分布式系统架构经典资料

https://mp.weixin.qq.com/s/_g9lw9uEbjLDUHgXFc2aaw

大规模分布式系统资源管理(一)

https://mp.weixin.qq.com/s/-jJN8KXvpZVPmmKnremQdw

大规模分布式系统资源管理(二)

https://mp.weixin.qq.com/s/_7q9K9D1q40eaGkLt9yDhQ

分布式系统关注点——深入浅出“异步”

https://zhuanlan.zhihu.com/p/108636766

从RAID到分布式系统的副本分布

https://mp.weixin.qq.com/s/Ey_ofboH7EvAbPxTNHWC3w

13张图彻底搞懂分布式系统服务注册与发现原理

https://mp.weixin.qq.com/s/2xohw5r4cirbbL933EPK5A

分布式服务框架设计要点

https://mp.weixin.qq.com/s/ACQVjdpMDrd7wh_pMLWScw

分布式服务框架设计要点(续)

https://mp.weixin.qq.com/s/910pclefErC4Tx7NujJamg

分布式缓存—Memcached

https://mp.weixin.qq.com/s/ZGYOwGjg06GSqCW3VoIzYg

万万没想到,分布式存储系统的一致性是……

https://mp.weixin.qq.com/s/og2fAZCjaUpmQM0FRH76DA

这三年被分布式坑惨了,曝光十大坑

http://www.cnblogs.com/rjzheng/p/8994962.html

分布式之消息队列复习精讲

https://mp.weixin.qq.com/s/ggPftQm2ewGOJwlRDQGgDQ

快速实现一个分布式定时器

大数据平台参考资源

https://dzone.com/

这是一个大数据方面的资源网站,但是是英文的

https://mp.weixin.qq.com/s/giF05uBffq6WKHnTUqUPvg

这是dzone中一些资源的列表

https://mp.weixin.qq.com/s/m4FR4LjVBxlPGXWAsTne6g

大数据存储技术综述

http://v.kuaidadi.com/

滴滴快的大数据平台

https://mp.weixin.qq.com/s/HJ6uZEYOQFvgR5bZBs5_dA

全球100款大数据工具汇总

https://mp.weixin.qq.com/s/fpQGi5pUmTmH96s8Jcyu3Q

关于大数据的完整讲解

https://mp.weixin.qq.com/s/mGXcD8gRQfyHpmqx46kmPw

什么是流式输出?

https://mp.weixin.qq.com/s/0ek_bGUZ2EbYEX-kq3YByg

大数据:目前99%数据是无用僵尸数据,90%的数据产品是伪需求!

https://mp.weixin.qq.com/s/kPmvBCcS0O-jTgE_VAysug

人工智能在线特征系统中的数据存取技术

https://mp.weixin.qq.com/s/sVeKBTytHdGa3zZ-He9Mpw

AI工程师为什么要了解架构?

https://mp.weixin.qq.com/s/GR2DmDt6ZFeUU4s_DP2FGg

如何将云计算云趋势讲清楚

https://mp.weixin.qq.com/s/S1_zB-BOAp387JvI8W-VrA

想要双11抢单快?靠这个技术提速9MS

https://mp.weixin.qq.com/s/vJX6ZoDKe2GfADZtEDVoiw

同程旅游实时计算的演进

https://mp.weixin.qq.com/s/D_-v3OR4GYXa3coOzjHYmw

TechFin趋势下如何应对超大规模实时分布式关系网络

https://mp.weixin.qq.com/s/JgC0FvN1bue6ctxfWB6IfQ

教你从0到1打造轻量级图像识别服务框架!

https://mp.weixin.qq.com/s/HNH5DPp55A9thV7lPzQolA

中国移动一级业务支撑系统网状网PaaS之路

https://mp.weixin.qq.com/s/Q_YfMcmI6W4lQFpGxpV_aQ

以云计算为名之微软生死战略大逃亡

https://mp.weixin.qq.com/s/oDRH0GJIy3pyN4AypvBOEw

架构师是如何炼成的?以天猫APP架构&开发模式升级工程为例

https://mp.weixin.qq.com/s/5gUm_xNkHGxpnUSgZaLmJw

关于大数据,你应该知道的75个专业术语

https://mp.weixin.qq.com/s/yX0hgIOLuaKsAcrWfOfcUQ

一文带你理解云原生

https://mp.weixin.qq.com/s/z3N5v4H_W2sxh2XPpFbAcA

云端的SRE发展与实践

https://mp.weixin.qq.com/s/eNiD18IPbhdmrL_nuMjqCQ

拍立淘技术框架及核心算法,日均UV超千万

https://mp.weixin.qq.com/s/Zp3ULgogMNVoqw6EO_KoBA

高性能分布式PaaS平台基本原理

https://mp.weixin.qq.com/s/LMz6ru3nyld7fnDLcQOepg

如何搭建大规模机器学习平台?以阿里和蚂蚁的多个实际场景为例

https://mp.weixin.qq.com/s/Ga13C1gTSk1adYgcBeJfwA

一拍脑袋就要用MapReduce?你以为你是Google啊

https://mp.weixin.qq.com/s/QpTsZr2d_tW6X7j7Ksf3yQ

行进中换轮胎——万字长文解析美团和大众点评两大数据平台是怎么融合的

https://mp.weixin.qq.com/s/VRvPHc3v824tZ1kednFZ9Q

阿里政务云技术架构探讨

https://mp.weixin.qq.com/s/y_F6ZoqTY58xl0OnvaVpnw

大规模机器学习框架的四重境界

https://mp.weixin.qq.com/s/9BRrkSwba9IM62gMwzIuDQ

大数据相关试题

http://mp.weixin.qq.com/s/ETbHjXLJIeaWo-XIHHtMkQ

大数据告诉你:逃离北上广,他们都去了哪里?

https://mp.weixin.qq.com/s/l56o316HJL9__DmUAKoHTg

结构化存储云HBase技术架构及最佳实践

https://mp.weixin.qq.com/s/ORZ4MrCPgta8Oeg-ns8cQQ

人工智能在线特征系统中的生产调度

http://www.ibm.com/developerworks/cn/data/library/bd-1404optionanalysis/index.html

基于大数据的中文舆情分析

https://mp.weixin.qq.com/s/ZMqCwoV3CuDwGuD_rAIsbg

什么是Bitmap算法?

https://mp.weixin.qq.com/s/x_OPSwc82d1IoWPj7xb6zg

那些你不知道的王者荣耀高并发背后的故事

https://mp.weixin.qq.com/s/F0Hi5BtUBFH_9bSzgeZLhw

AIOps核心任务:任务机器人在金融领域中的落地

https://mp.weixin.qq.com/s/JNTgDjtqCukVwH6u1dp2Vg

国美11·11:大促场景下的国美智能推荐系统演进之路

https://mp.weixin.qq.com/s/EmAhBjZnLns_25gR-aVgwg

MillWheel: Google是如何在事件流处理上做到exactly one semantic的

https://mp.weixin.qq.com/s/CxUGWhJZ1ST_Xq3H02c_Ww

翼支付平台数据上云实践

https://mp.weixin.qq.com/s/QjKQcFnbMxBBxFgIQ_f5lw

流处理引擎的不同语义处理:严格一次未必严格一致

https://mp.weixin.qq.com/s/p5NxvhpfYmoKMVnbAK6-zA

如何降低90%Java垃圾回收时间?以阿里HBase的GC优化实践为例

https://mp.weixin.qq.com/s/_uxuYvPbTnGY6XwSp9Lr2Q

达观数据文辉:Hadoop和Hive使用经验

https://mp.weixin.qq.com/s/q9FYOzu_UWbiAg_V4zy4-g

6个月清洗近千亿条微信支付交易记录,他们要搞什么大事情?

https://mp.weixin.qq.com/s/5pyKKD80jyXvn-brxBKV4g

中国民生银行天眼日志平台架构演进的平凡之路

https://mp.weixin.qq.com/s/3oQ2yYGNuEz1cuEo4xLZzA

如何解决大规模机器学习的三大痛点?

http://www.jianshu.com/p/7a720bd7d6b5

如何架构一个数据工程

https://mp.weixin.qq.com/s/znr_oRlG_Y30K1XUwupwpg

技术如何秒懂你?阿里百万级QPS资源调度系统揭秘

https://mp.weixin.qq.com/s/jMWuMuIvI1cFThC-WQGbHQ

大家一直在谈的领域驱动设计(DDD),我们在互联网业务系统是这么实践的

https://mp.weixin.qq.com/s/dVK64_v60qEUAX7kQnfSxw

基于DDD的golang实现

https://mp.weixin.qq.com/s/WzfzTIPAYlQjkHwmNjiInA

Shield:支撑美团点评品类最丰富业务的移动端模块化框架开源了

https://mp.weixin.qq.com/s/Zockp0wCfL6t-LckaLCQlg

如何实现金服业务流程动态化

https://mp.weixin.qq.com/s/HhabrgpbWSn_f2Q-QfgaAA

智能投放系统之场景分析最佳实践

https://mp.weixin.qq.com/s/nXYrUgEhaCo4patd1YovOw

微信亿级用户异常检测框架的设计与实践

https://mp.weixin.qq.com/s/Ju4d71VrL0omGkV3s3U_1Q

聊聊MyBatis缓存机制

https://juejin.cn/post/6844904003394863118

如何设计一个本地缓存

https://mp.weixin.qq.com/s/rVfoSk3HCEEHvdlKz7A2xA

一家创业公司的5年架构变迁史

http://mp.weixin.qq.com/s/uLVRxLHIq8zfoskC_TtbxQ

携程软件SBC实践

https://mp.weixin.qq.com/s/bpdCwZbkHKmDJcHRhLsygA

图床上传系统设计分析

https://mp.weixin.qq.com/s/Me3hrYmyiongCD2ZZT9Ltg

流量运营数据产品最佳实践——美团旅行流量罗盘

https://mp.weixin.qq.com/s/lccktISXLLfKzT_ZuNTdpg

阿里数据中心大幅降低成本的核心技术:混部技术

https://mp.weixin.qq.com/s/Zo1iBzAY1dBAa2pRTf-BbA

如何使用Keras、Redis、Flask和Apache把深度学习模型部署到生产环境

https://mp.weixin.qq.com/s/uxsmwT-nvTga7tWiMLrrvw

用Python实现一个大数据搜索引擎

https://mp.weixin.qq.com/s/fx6XfBpuzozsJCvllMcCqw

战狼项目:美团点评金融核心交易系统可用性7个9是这样炼成的

http://www.cnblogs.com/zhangweizhong/category/879056.html

如何打造一个小而精的电商网站架构

https://mp.weixin.qq.com/s/zlPZr1hsyUN3lUo9WzIDbg

Service Mesh实践指南:从单体应用到Service Mesh的曲折历程

https://mp.weixin.qq.com/s/S_JsSAp-bZdJ4cemoKFVCw

Service Mesh是大方向,那Database Mesh呢?

https://mp.weixin.qq.com/s/Db6Am-bAyufg3m67Ta5GBQ

当你和天猫精灵对话时,它在想什么?阿里智能对话技术深度解读

https://mp.weixin.qq.com/s/EM9EVZYeqd5eJ3YbvgiyEw

亿级Web系统的容错性实践

https://mp.weixin.qq.com/s/AhNIvlKNba8ls9loM1CZ-w

阿里再开源!基于JAVA的模块化开发框架JarsLink

https://mp.weixin.qq.com/s/BL5wV_-Glte4Xno6GKwyYg

外卖也智能!美团骑手智能助手的技术与实践

https://mp.weixin.qq.com/s/wQPvJs6D0026Fv7kMntESg

美团配送资金安全治理之对账体系建设

https://mp.weixin.qq.com/s/x49kdBKtkSyYF8DyGmrK-Q

DataMan:美团旅行数据质量监管平台实践

https://mp.weixin.qq.com/s/iCJ9IeAPnaqatEWzgXONfg

每天数百亿用户行为数据,美团点评怎么实现秒级转化分析?

Fork me on GitHub