1.6k 字 1 分钟

这玩意有点像我之前写过的 MapReduce，也是单 master 负责调度，多 worker 负责执行 task。并且一个 worker 只允许执行一个任务，但执行完任务后可以重新申请 task。 Artur 就是负责之前 perceval 任务的调度，分为 arthurd 和 arthurw 。 arthurd 也就是服务端，负责 assign task。而 arturw 负责申请 task 然后执行。 # 配置文件 Arturd...
1.3k 字 1 分钟

Graal leverages on the Git backend of Perceval and enhances it to set up ad-hoc source code analysis. Thus, it fetches the commits from a Git repository and provides a mechanism to plug third party tools/libraries focused on source code analysis. Graal 就是使用了之前提到的 perceval 组件的 git backend。拉取 repo 的...
632 字 1 分钟

# 错误容忍 # 论文 # primary/backup 这篇 paper 提出了一种 VM 错误容忍的方法，简单来说就是设置 Primary/backup。primary 用于提供服务，而 backup 用于做 primary 的备份。如果 primary 挂掉之后，那么 backup 能够自动地接管服务，给外界 client 一种没有发生过故障的错觉。 该方法的核心思想就是保证 primary 和 backup 状态相同，方法也很简单。primary 执行什么操作，backup 也执行什么操作。如果有一个不确定的信息，那么这些信息会被 primary 传送给 backup。这样保证若...
14k 字 13 分钟

# 数据采集组件 ——Perceval # 官方文档 https://perceval.readthedocs.io/en/latest/ # 介绍 Perceval is a Python module for retrieving data from repositories related to software development. It works with many data sources, from git repositories and GitHub projects to mailing lists, Gerrit or StackOverflow, In this...
2.2k 字 2 分钟

# GFS（Google File System） In this paper, we present file system interface extensions designed to support distributed applications, discuss many aspects of our design, and report measurements from both micro-benchmarks and real world...
2.9k 字 3 分钟

# 开新坑了！ 令人感叹，自己虽然开了很多个坑，但是能够完成的却很少，这次的 MIT6.824 是我确定学的一门课程，要想入门分布式绕不开的一门课，没办法，老老实实学一次，把所有的 lab 做完，这就是我的目标！ # 论文阅读 因为这门课必须要看论文，所以就很痛苦。。。 # 问题 原有的计算是很简单的，但是因为数据很大需要做成分布式系统，所以如何 并行化计算 、 分发数据 和 处理故障 等问题使得原本简单的计算变得晦涩难懂，需要大量复杂的代码来处理这些问题。 # MapReduce 函数 map(String key, String value): // key: document name...
1.1k 字 1 分钟

# 筛选账号 我的初始想法是先获取头部前 10000 名活跃的 github 账号。 github 日志数据有的 action 种类： [ { "type": "PublicEvent", "action": "" }, { "type": "WatchEvent", "action": "started" }, {...
639 字 1 分钟

这个文章用于记录我的 node 设置 # 安装 nvm cd ~/ git clone https://github.com/nvm-sh/nvm.git .nvm cd ~/.nvm source ~/.nvm/nvm.sh export NVM_DIR="$HOME/.nvm" [ -s "$NVM_DIR/nvm.sh" ] && \. "$NVM_DIR/nvm.sh" # This loads nvm [ -s...
48 字 1 分钟

# 对称加密 证明 OTP 是 prefect secrecy。 前缀预测： 可忽略与不可忽略： Salsa20：
1.1k 字 1 分钟

# Var # 定义变量 # var var a // 定义了 aa = 2var 是定义变量的一种方式，它的作用于就是当前的局部环境，可以是函数里的局部变量。 a = 2这样的未声明变量就是全局变量 var x =0; function f(){ var x=y=0}f();console.log(x);console.log(y);来看这段代码，打印是是 0 1 而不是报错未定义。因为 x 在全局被定义，而 y 虽然在函数 f 里被定义，但被声明为了全部变量。 但是注意，如果这样写： function f(){ var...