<- home

Learn distributed systems

分散システムについて学ぶためのリソースを単純に列挙する。全てを読む必要はなくて (無理だと思う) 一通りさらって見て気になったのを読み込むのが良いと思う。 随時更新。

書籍:

• 分散システム (第2版) (未来へつなぐデジタルシリーズ) | 忠則, 水野 |本 | 通販 | Amazon
• 分散処理システム (情報工学レクチャーシリーズ) | 真鍋 義文 |本 | 通販 | Amazon
  • 大学で使う教科書。かなり基礎的で良い。
• 分散システム　第二版 | アンドリュー・S・タネンバウム, マールティン・ファン・スティーン, Andrew S. Tanenbaum, Maarten van Steen, 水野 忠則, 佐藤 文明, 鈴木 健二, 竹中 友哉, 西山 智, 峰野 博史, 宮西 洋太郎 |本 | 通販 | Amazon
  • 所謂タネンバウム本。個人的にはさらっと読むくらいで良いと思う
• Amazon | Replication: Theory and Practice (Lecture Notes in Computer Science / Theoretical Computer Science and General Issues) (Lecture Notes in Computer Science, 5959) | Charron-Bost, Bernadette | Cryptography
  • 個人的に一番おすすめはこれ (ただし英語)
• ZooKeeperによる分散システム管理 | Flavio Junqueira, Benjamin Reed, 中田 秀基 |本 | 通販 | Amazon
  • ZooKeeper本なんだけど、ZooKeeperを通して分散システムについて学べるので良いと思う
• Amazon | Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems | Kleppmann, Martin | Accounting
  • Designing Data-Intensive Applicationsもかなり良い本
• 佐藤一郎: Web日記 (2010年)
  • 後はこちらのブログを読んで気になった本を読むとか

Webサイト

• Readings in distributed systems
• papers-we-love/distributed_systems at master · papers-we-love/papers-we-love
• system-design-primer/README-ja.md at master · donnemartin/system-design-primer
  • system-design-primer、分散システムに特化はしていないが、一通り読んでおくのがおすすめ。
• Patterns of Distributed Systems
  • リファレンス的に使う。
• The Amazon Builders’ Library
  • AmazonがAWS作る時に得た知見をシェアするサイトで、かなりおすすめ。
• Designs, Lessons and Advice from Building Large Distributed Systems by Jeff Dean
  • GoogleのJeff Deanさんが書いたスライド
• Consistency Models
  • jepsen.ioのconsistency modelsの章。これだけは最低限読んでおいたほうが良いと思う
• 分散システムについて語るときに我々の語ること ― 分散システムにまつわる重要な概念について | POSTD
  • MQTT作った人の講演を文字に興したもの (たぶん) 。とっかかりはこれが良いかも。
• baseds – Medium
  • たぶん学生の人が書いてるんだと思うけど、絵が可愛いので良い。
• aphyr/distsys-class: Class materials for a distributed systems lecture series
  • jepsen.ioが提供する分散システムの講義のマテリアルだと思う。基礎的な内容
• How We’ve Scaled Dropbox - YouTube
  • Dropboxのアーキテクチャについての動画。かなりおすすめ
• pingcap/talent-plan: open source training courses about distributed database and distributed systemes
  • PingCapが提供してる分散システムを学ぶためのやつ
• 分散システムについて語らせてくれ
  • 故障モデルのところわかりやすい
• Enterprise Integration Patterns - Messaging Patterns Overview
  • 分散システム基盤とか作る場合におそらく必要になるメッセージング処理のパターン

Paper

• Scaling Memcache at Facebook
  • FacebookのMemcachedアーキテクチャ
• Amazon Aurora: Design Considerations for High Throughput Cloud-Native Relational Databasesを読む(その1 Introduction) - CubicLouve
  • AWS Auroraのアーキテクチャ、難しい
• SQLServer 2014 “Hekaton”再考 - 急がば回れ、選ぶなら近道
  • Hekatonの話、かなり難しい

OSS

• geohot/minikeyvalue: A distributed key value store in under 1000 lines. Used in production at comma.ai
  • comma.ai が本番で使っている、1000行以下で書かれた分散KVS
• chrislusf/vasto: A distributed key-value store. On Disk. Able to grow or shrink without service interruption.
  • 極めて基本的な (たぶん) 構成で分散KVS
  • 分散システムのことわかってくると分散KVS作りたくなるっぽくて、調べるとたくさん出てくる
• go-redsync/redsync: Distributed mutual exclusion lock using Redis for Go
  • Redisで分散ロックするやつ
  • 分散ロックとはなにかというのはこれを読む
    • https://kumagi.hatenablog.com/entry/distributed_lock

その他色々

• Tail Latencyに関する論文読み - 勘と経験と読経
• 今度こそ絶対あなたに理解させるPaxos - Qiita
  • この方の記事は全部読むと良いと思う
• Rendezvous Hashingについての雑感. 先日、 Rendezvous… | by sile | Medium
• CRDT (Conflict-free Replicated Data Type)を15分で説明してみる - Qiita
• Apache Mesos - The Mesos Replicated Log
• Consistency levels in Azure Cosmos DB | Microsoft Docs
• 実践TLA+（Hillel Wayne 株式会社クイープ 株式会社クイープ）｜翔泳社の本
  • TLA+の本。最初に読む本ではない

並行並列プログラミング

たぶんやってると並行並列プログラミングについてだんだん学びたくなってくる (と思う) ので、そのへんも

• O’Reilly Japan - 並行プログラミング入門
  • 素晴らしい本
• 一人トランザクション技術 Advent Calendar 2016 - Qiita
  • トランザクション
• research!rsc: Hardware Memory Models (Memory Models, Part 1)
  • rscさんが書いたメモリモデルのハードウェアの方
• 「強いメモリモデル」と「弱いメモリモデル」 - yamasaのネタ帳
  • これもハードウェアメモリモデルの話
• メモリモデル？なにそれ？おいしいの？ - yohhoyの日記（別館）
  • これはソフトウェアメモリモデル。C++をベースにしている
• Lock-free入門
  • Lockfree
• Ruby に Software Transactional Memory (STM) を入れようと思った話 - クックパッド開発者ブログ
  • STM
• Survey of Transactional Memory - Speaker Deck
  • これもSTM

Tweet