#!/usr/bin/env bash

DIR="/home/tiger/wmt14/MSPM"
# LANG="de en fr zh ru"

get_seeded_random()
{
  seed="$1"
  openssl enc -aes-256-ctr -pass pass:"$seed" -nosalt \
    </dev/zero 2>/dev/null
}

mkdir $DIR/EnFr

for split in train dev
do
    cat $DIR/en/joint.shuffle.${split}.spm.en $DIR/fr/joint.shuffle.${split}.spm.fr > $DIR/EnFr/joint.noshuffle.${split}.spm.src
    cat $DIR/fr/joint.shuffle.${split}.spm.fr $DIR/en/joint.shuffle.${split}.spm.en > $DIR/EnFr/joint.noshuffle.${split}.spm.tgt
    echo "shuffling"
    shuf --random-source=<(get_seeded_random 66) $DIR/EnFr/joint.noshuffle.${split}.spm.src > $DIR/EnFr/joint.shuffle.${split}.spm.src
    shuf --random-source=<(get_seeded_random 66) $DIR/EnFr/joint.noshuffle.${split}.spm.tgt > $DIR/EnFr/joint.shuffle.${split}.spm.tgt
done

cat $DIR/en/joint.shuffle.test.spm.en $DIR/fr/joint.shuffle.test.spm.fr > $DIR/EnFr/joint.noshuffle.test.enfr.spm.src
cat $DIR/fr/joint.shuffle.test.spm.fr $DIR/en/joint.shuffle.test.spm.en > $DIR/EnFr/joint.noshuffle.test.enfr.spm.tgt
echo "shuffling"
shuf --random-source=<(get_seeded_random 66) $DIR/EnFr/joint.noshuffle.test.enfr.spm.src > $DIR/EnFr/joint.shuffle.test.enfr.spm.src
shuf --random-source=<(get_seeded_random 66) $DIR/EnFr/joint.noshuffle.test.enfr.spm.tgt > $DIR/EnFr/joint.shuffle.test.enfr.spm.tgt
