## 处理翻译数据

需要以下三步

#### 分词
将数据按照sentence piece切词，默认会在source和target序列的开头，添加 lang tag和task tag (tran)

```bash tokenizeTran.sh /home/tiger/wmt14 en en_XX```

#### 拼接和shuffle

将双向的数据拼接成.src和.tgt文件的形式，并且shuffle，shuffle过程中会保持src和tgt的相对顺序

```bash concatTran.sh```
记得手动改$DIR

#### binary

```bash binary.sh /home/tiger EnFr MSPM```

需要手动改'--trainpref'和'--validpref'
