{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import warnings\n",
    "warnings.filterwarnings('ignore')\n",
    "\n",
    "import os\n",
    "import re\n",
    "import pandas as pd\n",
    "from html import unescape\n",
    "import numpy as np"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "         k0                                             k0.sys     k1  \\\n0     37.47  c' est un blog que vous pouvez voir sur la faç...  31.49   \n1     67.24  voici la dernière carte postale que je dois pa...  56.68   \n2     30.99                       \" mieux dans le business \" .  45.97   \n3     61.77  eh bien bill , je suppose que je parle au nom ...  65.04   \n4     47.86  remui vivait dans son propre monde , avec ses ...  48.93   \n...     ...                                                ...    ...   \n5932  25.46  mais le cinquième commandement m' a donné une ...  43.79   \n5933  59.41  maintenant , si vous regardez hong kong , ils ...  62.07   \n5934  17.74  j' ai fait tous les devoirs de tous les enfant...  11.56   \n5935  81.27  et ce qu' ils ont fait c' est mettre un pannea...  53.66   \n5936  74.70  nous allons construire des voitures intelligen...  72.15   \n\n                                                 k1.sys     k3  \\\n0     c' est un blog que vous pouvez regarder commen...  31.49   \n1     c' est la dernière carte que je dois partager ...  56.68   \n2                       \" le mieux dans le business . \"  45.97   \n3     et bien bill , je suppose que je parle au nom ...  61.77   \n4     remuei vivait dans son propre monde , avec ses...  43.98   \n...                                                 ...    ...   \n5932  mais le cinquième commandement m' a donné une ...  43.79   \n5933  maintenant , si vous regardez hong kong , ils ...  62.07   \n5934  j' ai fait tous les devoirs de tous les enfant...  11.12   \n5935  et ce qu' ils ont fait , c' est qu' ils metten...  53.66   \n5936  nous allons construire des voitures intelligen...  77.45   \n\n                                                 k3.sys     k5  \\\n0     c' est un blog que vous pouvez regarder commen...  31.49   \n1     c' est la dernière carte que je veux partager ...  56.68   \n2                       \" le mieux dans le business . \"  45.97   \n3     eh bien bill , je suppose que je parle au nom ...  58.45   \n4     je vivais et je me suis enfermé dans son propr...  38.95   \n...                                                 ...    ...   \n5932  mais le cinquième commandement m' a donné une ...  43.79   \n5933  maintenant , si vous regardez hong kong , ils ...  62.07   \n5934  j' ai fait tous les devoirs de tous les enfant...  17.02   \n5935  et ce qu' ils ont fait , c' est qu' ils metten...  53.66   \n5936  nous allons construire des voitures intelligen...  77.45   \n\n                                                 k5.sys     k7  \\\n0     c' est un blog que vous pouvez regarder commen...  31.49   \n1     c' est la dernière carte que je veux partager ...  56.68   \n2                       \" le mieux dans le business . \"  45.97   \n3     bill , je suppose que je parle au nom de la pl...  61.77   \n4     je vivais et je me suis enfermé dans son propr...  38.95   \n...                                                 ...    ...   \n5932  mais le cinquième commandement m' a donné une ...  43.79   \n5933  maintenant , si vous regardez hong kong , ils ...  62.07   \n5934  j' ai fait tous les devoirs de tous les enfant...  17.02   \n5935  et ce qu' ils ont fait , c' est qu' ils metten...  51.10   \n5936  nous allons construire des voitures intelligen...  77.45   \n\n                                                 k7.sys  \\\n0     c' est un blog que vous pouvez regarder commen...   \n1     c' est la dernière carte que je veux partager ...   \n2                       \" le mieux dans le business . \"   \n3     eh bien bill , je suppose que je parle au nom ...   \n4     je vivais et je me suis enfermé dans son propr...   \n...                                                 ...   \n5932  mais le cinquième commandement m' a donné une ...   \n5933  maintenant , si vous regardez hong kong , ils ...   \n5934  j' ai fait tous les devoirs de tous les enfant...   \n5935  et ce qu' ils ont fait , c' est qu' ils metten...   \n5936  nous allons construire des voitures intelligen...   \n\n                                                    ref  \\\n0     c' est un blog que vous pouvez consulter sur l...   \n1     ceci est la dernière carte postale que je voud...   \n2        <<unk>> le meilleur dans le business . <<unk>>   \n3     et bien bill , je pense que je parle au nom de...   \n4     remi habitait et régnait dans son propre monde...   \n...                                                 ...   \n5932  mais le cinquième commandement fût une révélat...   \n5933  et si on regarde hong kong , ils ont un systèm...   \n5934  je faisais les devoirs des enfants pas très in...   \n5935  et ce qu' ils ont fait c' est mettre un pannea...   \n5936  nous allons construire des voitures intelligen...   \n\n                                                    src  \n0     it 's a blog that you can look at how to build...  \n1     this is the last postcard i have to share with...  \n2                            \" best in the business . \"  \n3     well bill , i suspect i speak on the behalf of...  \n4     remi lived and reigned in his own world , with...  \n...                                                 ...  \n5932  but the fifth commandment gave me an epiphany ...  \n5933  now if you look at hong kong , they have a ver...  \n5934  i did all the less-than-intelligent kids ' hom...  \n5935  and what they 've done is they put a warning s...  \n5936  we are going to build smart cars , but we also...  \n\n[5937 rows x 12 columns]",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>k0</th>\n      <th>k0.sys</th>\n      <th>k1</th>\n      <th>k1.sys</th>\n      <th>k3</th>\n      <th>k3.sys</th>\n      <th>k5</th>\n      <th>k5.sys</th>\n      <th>k7</th>\n      <th>k7.sys</th>\n      <th>ref</th>\n      <th>src</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>0</th>\n      <td>37.47</td>\n      <td>c' est un blog que vous pouvez voir sur la faç...</td>\n      <td>31.49</td>\n      <td>c' est un blog que vous pouvez regarder commen...</td>\n      <td>31.49</td>\n      <td>c' est un blog que vous pouvez regarder commen...</td>\n      <td>31.49</td>\n      <td>c' est un blog que vous pouvez regarder commen...</td>\n      <td>31.49</td>\n      <td>c' est un blog que vous pouvez regarder commen...</td>\n      <td>c' est un blog que vous pouvez consulter sur l...</td>\n      <td>it 's a blog that you can look at how to build...</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>67.24</td>\n      <td>voici la dernière carte postale que je dois pa...</td>\n      <td>56.68</td>\n      <td>c' est la dernière carte que je dois partager ...</td>\n      <td>56.68</td>\n      <td>c' est la dernière carte que je veux partager ...</td>\n      <td>56.68</td>\n      <td>c' est la dernière carte que je veux partager ...</td>\n      <td>56.68</td>\n      <td>c' est la dernière carte que je veux partager ...</td>\n      <td>ceci est la dernière carte postale que je voud...</td>\n      <td>this is the last postcard i have to share with...</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>30.99</td>\n      <td>\" mieux dans le business \" .</td>\n      <td>45.97</td>\n      <td>\" le mieux dans le business . \"</td>\n      <td>45.97</td>\n      <td>\" le mieux dans le business . \"</td>\n      <td>45.97</td>\n      <td>\" le mieux dans le business . \"</td>\n      <td>45.97</td>\n      <td>\" le mieux dans le business . \"</td>\n      <td>&lt;&lt;unk&gt;&gt; le meilleur dans le business . &lt;&lt;unk&gt;&gt;</td>\n      <td>\" best in the business . \"</td>\n    </tr>\n    <tr>\n      <th>3</th>\n      <td>61.77</td>\n      <td>eh bien bill , je suppose que je parle au nom ...</td>\n      <td>65.04</td>\n      <td>et bien bill , je suppose que je parle au nom ...</td>\n      <td>61.77</td>\n      <td>eh bien bill , je suppose que je parle au nom ...</td>\n      <td>58.45</td>\n      <td>bill , je suppose que je parle au nom de la pl...</td>\n      <td>61.77</td>\n      <td>eh bien bill , je suppose que je parle au nom ...</td>\n      <td>et bien bill , je pense que je parle au nom de...</td>\n      <td>well bill , i suspect i speak on the behalf of...</td>\n    </tr>\n    <tr>\n      <th>4</th>\n      <td>47.86</td>\n      <td>remui vivait dans son propre monde , avec ses ...</td>\n      <td>48.93</td>\n      <td>remuei vivait dans son propre monde , avec ses...</td>\n      <td>43.98</td>\n      <td>je vivais et je me suis enfermé dans son propr...</td>\n      <td>38.95</td>\n      <td>je vivais et je me suis enfermé dans son propr...</td>\n      <td>38.95</td>\n      <td>je vivais et je me suis enfermé dans son propr...</td>\n      <td>remi habitait et régnait dans son propre monde...</td>\n      <td>remi lived and reigned in his own world , with...</td>\n    </tr>\n    <tr>\n      <th>...</th>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n    </tr>\n    <tr>\n      <th>5932</th>\n      <td>25.46</td>\n      <td>mais le cinquième commandement m' a donné une ...</td>\n      <td>43.79</td>\n      <td>mais le cinquième commandement m' a donné une ...</td>\n      <td>43.79</td>\n      <td>mais le cinquième commandement m' a donné une ...</td>\n      <td>43.79</td>\n      <td>mais le cinquième commandement m' a donné une ...</td>\n      <td>43.79</td>\n      <td>mais le cinquième commandement m' a donné une ...</td>\n      <td>mais le cinquième commandement fût une révélat...</td>\n      <td>but the fifth commandment gave me an epiphany ...</td>\n    </tr>\n    <tr>\n      <th>5933</th>\n      <td>59.41</td>\n      <td>maintenant , si vous regardez hong kong , ils ...</td>\n      <td>62.07</td>\n      <td>maintenant , si vous regardez hong kong , ils ...</td>\n      <td>62.07</td>\n      <td>maintenant , si vous regardez hong kong , ils ...</td>\n      <td>62.07</td>\n      <td>maintenant , si vous regardez hong kong , ils ...</td>\n      <td>62.07</td>\n      <td>maintenant , si vous regardez hong kong , ils ...</td>\n      <td>et si on regarde hong kong , ils ont un systèm...</td>\n      <td>now if you look at hong kong , they have a ver...</td>\n    </tr>\n    <tr>\n      <th>5934</th>\n      <td>17.74</td>\n      <td>j' ai fait tous les devoirs de tous les enfant...</td>\n      <td>11.56</td>\n      <td>j' ai fait tous les devoirs de tous les enfant...</td>\n      <td>11.12</td>\n      <td>j' ai fait tous les devoirs de tous les enfant...</td>\n      <td>17.02</td>\n      <td>j' ai fait tous les devoirs de tous les enfant...</td>\n      <td>17.02</td>\n      <td>j' ai fait tous les devoirs de tous les enfant...</td>\n      <td>je faisais les devoirs des enfants pas très in...</td>\n      <td>i did all the less-than-intelligent kids ' hom...</td>\n    </tr>\n    <tr>\n      <th>5935</th>\n      <td>81.27</td>\n      <td>et ce qu' ils ont fait c' est mettre un pannea...</td>\n      <td>53.66</td>\n      <td>et ce qu' ils ont fait , c' est qu' ils metten...</td>\n      <td>53.66</td>\n      <td>et ce qu' ils ont fait , c' est qu' ils metten...</td>\n      <td>53.66</td>\n      <td>et ce qu' ils ont fait , c' est qu' ils metten...</td>\n      <td>51.10</td>\n      <td>et ce qu' ils ont fait , c' est qu' ils metten...</td>\n      <td>et ce qu' ils ont fait c' est mettre un pannea...</td>\n      <td>and what they 've done is they put a warning s...</td>\n    </tr>\n    <tr>\n      <th>5936</th>\n      <td>74.70</td>\n      <td>nous allons construire des voitures intelligen...</td>\n      <td>72.15</td>\n      <td>nous allons construire des voitures intelligen...</td>\n      <td>77.45</td>\n      <td>nous allons construire des voitures intelligen...</td>\n      <td>77.45</td>\n      <td>nous allons construire des voitures intelligen...</td>\n      <td>77.45</td>\n      <td>nous allons construire des voitures intelligen...</td>\n      <td>nous allons construire des voitures intelligen...</td>\n      <td>we are going to build smart cars , but we also...</td>\n    </tr>\n  </tbody>\n</table>\n<p>5937 rows × 12 columns</p>\n</div>"
     },
     "metadata": {}
    }
   ],
   "source": [
    "path = \"../results/en_fr/iwslt16_wmt14_big/shuffled_sent_scores/\"\n",
    "# path = \"../results/en_fr/iwslt16_wmt14_big/sent_scores/\"\n",
    "# path = \"../results/en_fr/iwslt16/sent_scores/\"\n",
    "# path = \"../results/en_fr/iwslt16/shuffled_sent_scores/\"\n",
    "# path = \"../results/fr_en/iwslt16/sent_scores/\"\n",
    "# path = \"../results/fr_en/iwslt16/shuffled_sent_scores/\"\n",
    "udf = pd.read_csv(path + \"result.csv\", delimiter=\"\\t\", header=0)\n",
    "# clean from bad columns\n",
    "drop_col = [c for c in udf.columns if \"Unnamed\" in c]\n",
    "udf = udf.drop(columns=drop_col)\n",
    "# decode html strings\n",
    "unescape_cols = [c for c in udf.columns if len(c) > 2]\n",
    "df = pd.DataFrame()\n",
    "for c in udf.columns:\n",
    "    if c in unescape_cols:\n",
    "        df[c] = udf[c].apply(unescape)\n",
    "    else:\n",
    "        df[c] = udf[c]\n",
    "# display the resulting df \n",
    "display(df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "# create df with texts and the reference's length\n",
    "txt_cols = [c for c in df.columns if len(c)>2]\n",
    "dft = df[txt_cols]\n",
    "dft['len'] = dft['ref'].str.split().apply(len)\n",
    "\n",
    "dfs_dict = {}\n",
    "# create df with blue scores only\n",
    "score_cols = [c for c in df.columns if len(c)==2]\n",
    "dfs_bleu = df[score_cols]\n",
    "dfs_dict['bleu']=dfs_bleu"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "Scoring k0.sys\ncalculating scores...\ncomputing bert embedding.\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "HBox(children=(FloatProgress(value=0.0, max=180.0), HTML(value='')))",
      "application/vnd.jupyter.widget-view+json": {
       "version_major": 2,
       "version_minor": 0,
       "model_id": "699d9938e49d45b285710a11c00c33cb"
      }
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "\ncomputing greedy matching.\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "HBox(children=(FloatProgress(value=0.0, max=93.0), HTML(value='')))",
      "application/vnd.jupyter.widget-view+json": {
       "version_major": 2,
       "version_minor": 0,
       "model_id": "1cfc59ed43fe4b2f8356ebf4dee33272"
      }
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "\ndone in 44.77 seconds, 132.60 sentences/sec\nScoring k1.sys\ncalculating scores...\ncomputing bert embedding.\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "HBox(children=(FloatProgress(value=0.0, max=180.0), HTML(value='')))",
      "application/vnd.jupyter.widget-view+json": {
       "version_major": 2,
       "version_minor": 0,
       "model_id": "01878a12a7804a278369a12d11ce4e5f"
      }
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "\ncomputing greedy matching.\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "HBox(children=(FloatProgress(value=0.0, max=93.0), HTML(value='')))",
      "application/vnd.jupyter.widget-view+json": {
       "version_major": 2,
       "version_minor": 0,
       "model_id": "fc282dab982545e0ba3f0a6466cf4d97"
      }
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "\ndone in 45.13 seconds, 131.56 sentences/sec\nScoring k3.sys\ncalculating scores...\ncomputing bert embedding.\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "HBox(children=(FloatProgress(value=0.0, max=180.0), HTML(value='')))",
      "application/vnd.jupyter.widget-view+json": {
       "version_major": 2,
       "version_minor": 0,
       "model_id": "4e83e3886d7a411fa151791fe627bc7b"
      }
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "\ncomputing greedy matching.\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "HBox(children=(FloatProgress(value=0.0, max=93.0), HTML(value='')))",
      "application/vnd.jupyter.widget-view+json": {
       "version_major": 2,
       "version_minor": 0,
       "model_id": "b92e54c84675493fb0f5d9569d8f55c4"
      }
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "\ndone in 44.14 seconds, 134.51 sentences/sec\nScoring k5.sys\ncalculating scores...\ncomputing bert embedding.\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "HBox(children=(FloatProgress(value=0.0, max=180.0), HTML(value='')))",
      "application/vnd.jupyter.widget-view+json": {
       "version_major": 2,
       "version_minor": 0,
       "model_id": "2737a9a120294ca4a65af87db7dd3baa"
      }
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "\ncomputing greedy matching.\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "HBox(children=(FloatProgress(value=0.0, max=93.0), HTML(value='')))",
      "application/vnd.jupyter.widget-view+json": {
       "version_major": 2,
       "version_minor": 0,
       "model_id": "b60ae1525f2f49d49311ebbbfa20a21f"
      }
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "\ndone in 43.96 seconds, 135.04 sentences/sec\nScoring k7.sys\ncalculating scores...\ncomputing bert embedding.\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "HBox(children=(FloatProgress(value=0.0, max=180.0), HTML(value='')))",
      "application/vnd.jupyter.widget-view+json": {
       "version_major": 2,
       "version_minor": 0,
       "model_id": "dcdc071638da4148a350a506962581cb"
      }
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "\ncomputing greedy matching.\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "HBox(children=(FloatProgress(value=0.0, max=93.0), HTML(value='')))",
      "application/vnd.jupyter.widget-view+json": {
       "version_major": 2,
       "version_minor": 0,
       "model_id": "9f84a2264300462ab01c7d2b3dbb8a8e"
      }
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "\ndone in 44.26 seconds, 134.13 sentences/sec\n"
    }
   ],
   "source": [
    "ref = list(dft[\"ref\"])\n",
    "\n",
    "# create dfs with bertscores\n",
    "if not os.path.exists(path + 'bertscore_f.csv'):\n",
    "    from bert_score import score\n",
    "    columns_p = {}\n",
    "    columns_r = {}\n",
    "    columns_f = {}\n",
    "    sys_out_cols = [c for c in dft.columns if \"k\" in c]\n",
    "    for c in sys_out_cols:\n",
    "        print(\"Scoring {}\".format(c))\n",
    "        sys = list(dft[c])\n",
    "        P, R, F1 = score(sys, ref, lang='fr', verbose=True)\n",
    "        columns_p[c[:-4]] = P\n",
    "        columns_r[c[:-4]] = R\n",
    "        columns_f[c[:-4]] = F1\n",
    "    dfs_bert_p = pd.DataFrame(columns_p)\n",
    "    dfs_bert_r = pd.DataFrame(columns_r)\n",
    "    dfs_bert_f = pd.DataFrame(columns_f)\n",
    "    dfs_bert_p.to_csv(path + 'bertscore_p.csv', index=False)\n",
    "    dfs_bert_r.to_csv(path + 'bertscore_r.csv', index=False)\n",
    "    dfs_bert_f.to_csv(path + 'bertscore_f.csv', index=False)\n",
    "else:\n",
    "    dfs_bert_p = pd.read_csv(path + 'bertscore_p.csv')\n",
    "    dfs_bert_r = pd.read_csv(path + 'bertscore_r.csv')\n",
    "    dfs_bert_f = pd.read_csv(path + 'bertscore_f.csv')\n",
    "\n",
    "dfs_dict['bert_f']=dfs_bert_f\n",
    "dfs_dict['bert_p']=dfs_bert_p\n",
    "dfs_dict['bert_r']=dfs_bert_r\n",
    "\n",
    "# create dfs with meteor scores only\n",
    "# from datasets import load_metric\n",
    "# import nltk\n",
    "# nltk.download('wordnet')\n",
    "# meteor = load_metric(\"meteor\")\n",
    "# meteor.add_batch(predictions=sys, references=ref)\n",
    "# meteor.compute()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "scrolled": true,
    "tags": []
   },
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "How often k context is optimal with bleu ?\n---------------------------------------\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "  opt_k  \\%_sents  avg_sent_len\n0    k0  0.658919     18.077710\n1    k1  0.207681     24.236821\n2    k3  0.068048     26.599010\n3    k5  0.035708     30.929245\n4    k7  0.029645     33.113636",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>opt_k</th>\n      <th>\\%_sents</th>\n      <th>avg_sent_len</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>0</th>\n      <td>k0</td>\n      <td>0.658919</td>\n      <td>18.077710</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>k1</td>\n      <td>0.207681</td>\n      <td>24.236821</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>k3</td>\n      <td>0.068048</td>\n      <td>26.599010</td>\n    </tr>\n    <tr>\n      <th>3</th>\n      <td>k5</td>\n      <td>0.035708</td>\n      <td>30.929245</td>\n    </tr>\n    <tr>\n      <th>4</th>\n      <td>k7</td>\n      <td>0.029645</td>\n      <td>33.113636</td>\n    </tr>\n  </tbody>\n</table>\n</div>"
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "How often k context gives the best result with bleu ?\n---------------------------------------\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "           best_ks  \\%_sents  avg_sent_len\n6   k0,k1,k3,k5,k7  0.369210     13.384124\n0               k0  0.208018     25.880162\n1      k1,k3,k5,k7  0.109651     20.777266\n2               k1  0.043288     31.478599\n4               k3  0.030655     30.126374\n3               k7  0.029645     33.113636\n10        k3,k5,k7  0.022233     23.053030\n22              k5  0.020718     33.495935\n14           k1,k3  0.014991     25.314607\n7            k5,k7  0.014991     27.382022\n12    k0,,k3,k5,k7  0.014822     17.852273\n13       k1,,k5,k7  0.010106     25.450000\n5            k0,k1  0.009938     22.440678\n8         k1,k3,k5  0.009432     24.321429\n23           k3,k5  0.008422     25.920000\n20       k1,k3,,k7  0.007580     26.555556\n17         k0,,,k5  0.007074     22.833333\n9          k1,,,k7  0.006737     25.550000\n18        k0,,,,k7  0.006737     19.550000\n29          k3,,k7  0.006737     23.100000\n19      k0,,,k5,k7  0.006232     18.513514\n24          k1,,k5  0.005895     25.971429\n15    k0,k1,,k5,k7  0.005221     18.580645\n11          k0,,k3  0.005221     19.645161\n16    k0,k1,k3,,k7  0.005053     19.033333\n21        k0,k1,k3  0.004716     14.392857\n25       k0,,k3,k5  0.004211     17.320000\n26     k0,k1,k3,k5  0.004211     20.600000\n27      k0,k1,,,k7  0.003874     18.739130\n28       k0,k1,,k5  0.002190     19.923077\n30      k0,,k3,,k7  0.002190     23.230769",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>best_ks</th>\n      <th>\\%_sents</th>\n      <th>avg_sent_len</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>6</th>\n      <td>k0,k1,k3,k5,k7</td>\n      <td>0.369210</td>\n      <td>13.384124</td>\n    </tr>\n    <tr>\n      <th>0</th>\n      <td>k0</td>\n      <td>0.208018</td>\n      <td>25.880162</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>k1,k3,k5,k7</td>\n      <td>0.109651</td>\n      <td>20.777266</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>k1</td>\n      <td>0.043288</td>\n      <td>31.478599</td>\n    </tr>\n    <tr>\n      <th>4</th>\n      <td>k3</td>\n      <td>0.030655</td>\n      <td>30.126374</td>\n    </tr>\n    <tr>\n      <th>3</th>\n      <td>k7</td>\n      <td>0.029645</td>\n      <td>33.113636</td>\n    </tr>\n    <tr>\n      <th>10</th>\n      <td>k3,k5,k7</td>\n      <td>0.022233</td>\n      <td>23.053030</td>\n    </tr>\n    <tr>\n      <th>22</th>\n      <td>k5</td>\n      <td>0.020718</td>\n      <td>33.495935</td>\n    </tr>\n    <tr>\n      <th>14</th>\n      <td>k1,k3</td>\n      <td>0.014991</td>\n      <td>25.314607</td>\n    </tr>\n    <tr>\n      <th>7</th>\n      <td>k5,k7</td>\n      <td>0.014991</td>\n      <td>27.382022</td>\n    </tr>\n    <tr>\n      <th>12</th>\n      <td>k0,,k3,k5,k7</td>\n      <td>0.014822</td>\n      <td>17.852273</td>\n    </tr>\n    <tr>\n      <th>13</th>\n      <td>k1,,k5,k7</td>\n      <td>0.010106</td>\n      <td>25.450000</td>\n    </tr>\n    <tr>\n      <th>5</th>\n      <td>k0,k1</td>\n      <td>0.009938</td>\n      <td>22.440678</td>\n    </tr>\n    <tr>\n      <th>8</th>\n      <td>k1,k3,k5</td>\n      <td>0.009432</td>\n      <td>24.321429</td>\n    </tr>\n    <tr>\n      <th>23</th>\n      <td>k3,k5</td>\n      <td>0.008422</td>\n      <td>25.920000</td>\n    </tr>\n    <tr>\n      <th>20</th>\n      <td>k1,k3,,k7</td>\n      <td>0.007580</td>\n      <td>26.555556</td>\n    </tr>\n    <tr>\n      <th>17</th>\n      <td>k0,,,k5</td>\n      <td>0.007074</td>\n      <td>22.833333</td>\n    </tr>\n    <tr>\n      <th>9</th>\n      <td>k1,,,k7</td>\n      <td>0.006737</td>\n      <td>25.550000</td>\n    </tr>\n    <tr>\n      <th>18</th>\n      <td>k0,,,,k7</td>\n      <td>0.006737</td>\n      <td>19.550000</td>\n    </tr>\n    <tr>\n      <th>29</th>\n      <td>k3,,k7</td>\n      <td>0.006737</td>\n      <td>23.100000</td>\n    </tr>\n    <tr>\n      <th>19</th>\n      <td>k0,,,k5,k7</td>\n      <td>0.006232</td>\n      <td>18.513514</td>\n    </tr>\n    <tr>\n      <th>24</th>\n      <td>k1,,k5</td>\n      <td>0.005895</td>\n      <td>25.971429</td>\n    </tr>\n    <tr>\n      <th>15</th>\n      <td>k0,k1,,k5,k7</td>\n      <td>0.005221</td>\n      <td>18.580645</td>\n    </tr>\n    <tr>\n      <th>11</th>\n      <td>k0,,k3</td>\n      <td>0.005221</td>\n      <td>19.645161</td>\n    </tr>\n    <tr>\n      <th>16</th>\n      <td>k0,k1,k3,,k7</td>\n      <td>0.005053</td>\n      <td>19.033333</td>\n    </tr>\n    <tr>\n      <th>21</th>\n      <td>k0,k1,k3</td>\n      <td>0.004716</td>\n      <td>14.392857</td>\n    </tr>\n    <tr>\n      <th>25</th>\n      <td>k0,,k3,k5</td>\n      <td>0.004211</td>\n      <td>17.320000</td>\n    </tr>\n    <tr>\n      <th>26</th>\n      <td>k0,k1,k3,k5</td>\n      <td>0.004211</td>\n      <td>20.600000</td>\n    </tr>\n    <tr>\n      <th>27</th>\n      <td>k0,k1,,,k7</td>\n      <td>0.003874</td>\n      <td>18.739130</td>\n    </tr>\n    <tr>\n      <th>28</th>\n      <td>k0,k1,,k5</td>\n      <td>0.002190</td>\n      <td>19.923077</td>\n    </tr>\n    <tr>\n      <th>30</th>\n      <td>k0,,k3,,k7</td>\n      <td>0.002190</td>\n      <td>23.230769</td>\n    </tr>\n  </tbody>\n</table>\n</div>"
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "How often k context is optimal with bert_f ?\n---------------------------------------\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "  opt_k  \\%_sents  avg_sent_len\n0    k0  0.613610     18.591271\n1    k1  0.221998     22.430197\n2    k3  0.082870     26.672764\n3    k5  0.046657     25.667870\n4    k7  0.034866     30.004831",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>opt_k</th>\n      <th>\\%_sents</th>\n      <th>avg_sent_len</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>0</th>\n      <td>k0</td>\n      <td>0.613610</td>\n      <td>18.591271</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>k1</td>\n      <td>0.221998</td>\n      <td>22.430197</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>k3</td>\n      <td>0.082870</td>\n      <td>26.672764</td>\n    </tr>\n    <tr>\n      <th>3</th>\n      <td>k5</td>\n      <td>0.046657</td>\n      <td>25.667870</td>\n    </tr>\n    <tr>\n      <th>4</th>\n      <td>k7</td>\n      <td>0.034866</td>\n      <td>30.004831</td>\n    </tr>\n  </tbody>\n</table>\n</div>"
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "How often k context gives the best result with bert_f ?\n---------------------------------------\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "           best_ks  \\%_sents  avg_sent_len\n8   k0,k1,k3,k5,k7  0.291730     13.700924\n0               k0  0.237157     25.223011\n2      k1,k3,k5,k7  0.110830     20.139818\n3               k1  0.054068     26.657321\n5               k3  0.037898     30.288889\n4               k7  0.034866     30.004831\n1         k3,k5,k7  0.026950     22.350000\n6               k5  0.026276     27.230769\n9            k5,k7  0.020381     23.652893\n7            k1,k3  0.017012     21.930693\n14    k0,,k3,k5,k7  0.016338     14.835052\n16       k1,,k5,k7  0.011117     22.484848\n12           k3,k5  0.009938     28.796610\n22       k1,k3,,k7  0.008927     23.075472\n20        k0,k1,k3  0.008759     11.153846\n15           k0,k1  0.008590     20.588235\n18          k3,,k7  0.008085     21.520833\n21        k1,k3,k5  0.007916     21.617021\n10         k1,,,k7  0.007580     22.911111\n19         k0,,,k5  0.007074     17.785714\n24      k0,,,k5,k7  0.006232     17.081081\n11          k0,,k3  0.005558     19.454545\n17    k0,k1,k3,,k7  0.005221     16.483871\n13     k0,k1,k3,k5  0.005053     16.866667\n23        k0,,,,k7  0.004885     17.379310\n27    k0,k1,,k5,k7  0.004716     18.750000\n26          k1,,k5  0.004548     29.074074\n25       k0,,k3,k5  0.004379     16.730769\n28      k0,k1,,,k7  0.003032     19.888889\n29       k0,k1,,k5  0.002863     17.294118\n30      k0,,k3,,k7  0.002021     21.750000",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>best_ks</th>\n      <th>\\%_sents</th>\n      <th>avg_sent_len</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>8</th>\n      <td>k0,k1,k3,k5,k7</td>\n      <td>0.291730</td>\n      <td>13.700924</td>\n    </tr>\n    <tr>\n      <th>0</th>\n      <td>k0</td>\n      <td>0.237157</td>\n      <td>25.223011</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>k1,k3,k5,k7</td>\n      <td>0.110830</td>\n      <td>20.139818</td>\n    </tr>\n    <tr>\n      <th>3</th>\n      <td>k1</td>\n      <td>0.054068</td>\n      <td>26.657321</td>\n    </tr>\n    <tr>\n      <th>5</th>\n      <td>k3</td>\n      <td>0.037898</td>\n      <td>30.288889</td>\n    </tr>\n    <tr>\n      <th>4</th>\n      <td>k7</td>\n      <td>0.034866</td>\n      <td>30.004831</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>k3,k5,k7</td>\n      <td>0.026950</td>\n      <td>22.350000</td>\n    </tr>\n    <tr>\n      <th>6</th>\n      <td>k5</td>\n      <td>0.026276</td>\n      <td>27.230769</td>\n    </tr>\n    <tr>\n      <th>9</th>\n      <td>k5,k7</td>\n      <td>0.020381</td>\n      <td>23.652893</td>\n    </tr>\n    <tr>\n      <th>7</th>\n      <td>k1,k3</td>\n      <td>0.017012</td>\n      <td>21.930693</td>\n    </tr>\n    <tr>\n      <th>14</th>\n      <td>k0,,k3,k5,k7</td>\n      <td>0.016338</td>\n      <td>14.835052</td>\n    </tr>\n    <tr>\n      <th>16</th>\n      <td>k1,,k5,k7</td>\n      <td>0.011117</td>\n      <td>22.484848</td>\n    </tr>\n    <tr>\n      <th>12</th>\n      <td>k3,k5</td>\n      <td>0.009938</td>\n      <td>28.796610</td>\n    </tr>\n    <tr>\n      <th>22</th>\n      <td>k1,k3,,k7</td>\n      <td>0.008927</td>\n      <td>23.075472</td>\n    </tr>\n    <tr>\n      <th>20</th>\n      <td>k0,k1,k3</td>\n      <td>0.008759</td>\n      <td>11.153846</td>\n    </tr>\n    <tr>\n      <th>15</th>\n      <td>k0,k1</td>\n      <td>0.008590</td>\n      <td>20.588235</td>\n    </tr>\n    <tr>\n      <th>18</th>\n      <td>k3,,k7</td>\n      <td>0.008085</td>\n      <td>21.520833</td>\n    </tr>\n    <tr>\n      <th>21</th>\n      <td>k1,k3,k5</td>\n      <td>0.007916</td>\n      <td>21.617021</td>\n    </tr>\n    <tr>\n      <th>10</th>\n      <td>k1,,,k7</td>\n      <td>0.007580</td>\n      <td>22.911111</td>\n    </tr>\n    <tr>\n      <th>19</th>\n      <td>k0,,,k5</td>\n      <td>0.007074</td>\n      <td>17.785714</td>\n    </tr>\n    <tr>\n      <th>24</th>\n      <td>k0,,,k5,k7</td>\n      <td>0.006232</td>\n      <td>17.081081</td>\n    </tr>\n    <tr>\n      <th>11</th>\n      <td>k0,,k3</td>\n      <td>0.005558</td>\n      <td>19.454545</td>\n    </tr>\n    <tr>\n      <th>17</th>\n      <td>k0,k1,k3,,k7</td>\n      <td>0.005221</td>\n      <td>16.483871</td>\n    </tr>\n    <tr>\n      <th>13</th>\n      <td>k0,k1,k3,k5</td>\n      <td>0.005053</td>\n      <td>16.866667</td>\n    </tr>\n    <tr>\n      <th>23</th>\n      <td>k0,,,,k7</td>\n      <td>0.004885</td>\n      <td>17.379310</td>\n    </tr>\n    <tr>\n      <th>27</th>\n      <td>k0,k1,,k5,k7</td>\n      <td>0.004716</td>\n      <td>18.750000</td>\n    </tr>\n    <tr>\n      <th>26</th>\n      <td>k1,,k5</td>\n      <td>0.004548</td>\n      <td>29.074074</td>\n    </tr>\n    <tr>\n      <th>25</th>\n      <td>k0,,k3,k5</td>\n      <td>0.004379</td>\n      <td>16.730769</td>\n    </tr>\n    <tr>\n      <th>28</th>\n      <td>k0,k1,,,k7</td>\n      <td>0.003032</td>\n      <td>19.888889</td>\n    </tr>\n    <tr>\n      <th>29</th>\n      <td>k0,k1,,k5</td>\n      <td>0.002863</td>\n      <td>17.294118</td>\n    </tr>\n    <tr>\n      <th>30</th>\n      <td>k0,,k3,,k7</td>\n      <td>0.002021</td>\n      <td>21.750000</td>\n    </tr>\n  </tbody>\n</table>\n</div>"
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "How often k context is optimal with bert_p ?\n---------------------------------------\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "  opt_k  \\%_sents  avg_sent_len\n0    k0  0.614283     18.715931\n1    k1  0.223514     22.400151\n2    k3  0.082702     26.702648\n3    k5  0.045983     24.750916\n4    k7  0.033519     29.572864",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>opt_k</th>\n      <th>\\%_sents</th>\n      <th>avg_sent_len</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>0</th>\n      <td>k0</td>\n      <td>0.614283</td>\n      <td>18.715931</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>k1</td>\n      <td>0.223514</td>\n      <td>22.400151</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>k3</td>\n      <td>0.082702</td>\n      <td>26.702648</td>\n    </tr>\n    <tr>\n      <th>3</th>\n      <td>k5</td>\n      <td>0.045983</td>\n      <td>24.750916</td>\n    </tr>\n    <tr>\n      <th>4</th>\n      <td>k7</td>\n      <td>0.033519</td>\n      <td>29.572864</td>\n    </tr>\n  </tbody>\n</table>\n</div>"
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "How often k context gives the best result with bert_p ?\n---------------------------------------\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "           best_ks  \\%_sents  avg_sent_len\n7   k0,k1,k3,k5,k7  0.292909     13.669350\n0               k0  0.237831     25.578612\n2      k1,k3,k5,k7  0.113020     19.782414\n3               k1  0.053899     27.034375\n5               k3  0.038740     30.034783\n4               k7  0.033519     29.572864\n21              k5  0.025939     26.142857\n1         k3,k5,k7  0.025771     22.209150\n8            k5,k7  0.020044     22.949580\n6            k1,k3  0.016507     22.714286\n13    k0,,k3,k5,k7  0.016001     15.336842\n15       k1,,k5,k7  0.010948     23.415385\n11           k3,k5  0.010106     29.400000\n23       k1,k3,,k7  0.008759     22.250000\n14           k0,k1  0.008422     19.600000\n19        k0,k1,k3  0.008422     12.260000\n17          k3,,k7  0.008085     21.687500\n18         k0,,,k5  0.008085     16.354167\n22        k1,k3,k5  0.007916     21.042553\n9          k1,,,k7  0.007748     22.565217\n24      k0,,,k5,k7  0.006232     16.405405\n10          k0,,k3  0.006064     18.722222\n27    k0,k1,,k5,k7  0.005053     18.733333\n26          k1,,k5  0.004716     31.000000\n29    k0,k1,k3,,k7  0.004716     16.785714\n12     k0,k1,k3,k5  0.004548     17.925926\n20        k0,,,,k7  0.004548     19.407407\n25       k0,,k3,k5  0.004211     16.480000\n28      k0,k1,,,k7  0.002695     19.125000\n30       k0,k1,,k5  0.002527     15.533333\n16      k0,,k3,,k7  0.002021     21.833333",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>best_ks</th>\n      <th>\\%_sents</th>\n      <th>avg_sent_len</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>7</th>\n      <td>k0,k1,k3,k5,k7</td>\n      <td>0.292909</td>\n      <td>13.669350</td>\n    </tr>\n    <tr>\n      <th>0</th>\n      <td>k0</td>\n      <td>0.237831</td>\n      <td>25.578612</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>k1,k3,k5,k7</td>\n      <td>0.113020</td>\n      <td>19.782414</td>\n    </tr>\n    <tr>\n      <th>3</th>\n      <td>k1</td>\n      <td>0.053899</td>\n      <td>27.034375</td>\n    </tr>\n    <tr>\n      <th>5</th>\n      <td>k3</td>\n      <td>0.038740</td>\n      <td>30.034783</td>\n    </tr>\n    <tr>\n      <th>4</th>\n      <td>k7</td>\n      <td>0.033519</td>\n      <td>29.572864</td>\n    </tr>\n    <tr>\n      <th>21</th>\n      <td>k5</td>\n      <td>0.025939</td>\n      <td>26.142857</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>k3,k5,k7</td>\n      <td>0.025771</td>\n      <td>22.209150</td>\n    </tr>\n    <tr>\n      <th>8</th>\n      <td>k5,k7</td>\n      <td>0.020044</td>\n      <td>22.949580</td>\n    </tr>\n    <tr>\n      <th>6</th>\n      <td>k1,k3</td>\n      <td>0.016507</td>\n      <td>22.714286</td>\n    </tr>\n    <tr>\n      <th>13</th>\n      <td>k0,,k3,k5,k7</td>\n      <td>0.016001</td>\n      <td>15.336842</td>\n    </tr>\n    <tr>\n      <th>15</th>\n      <td>k1,,k5,k7</td>\n      <td>0.010948</td>\n      <td>23.415385</td>\n    </tr>\n    <tr>\n      <th>11</th>\n      <td>k3,k5</td>\n      <td>0.010106</td>\n      <td>29.400000</td>\n    </tr>\n    <tr>\n      <th>23</th>\n      <td>k1,k3,,k7</td>\n      <td>0.008759</td>\n      <td>22.250000</td>\n    </tr>\n    <tr>\n      <th>14</th>\n      <td>k0,k1</td>\n      <td>0.008422</td>\n      <td>19.600000</td>\n    </tr>\n    <tr>\n      <th>19</th>\n      <td>k0,k1,k3</td>\n      <td>0.008422</td>\n      <td>12.260000</td>\n    </tr>\n    <tr>\n      <th>17</th>\n      <td>k3,,k7</td>\n      <td>0.008085</td>\n      <td>21.687500</td>\n    </tr>\n    <tr>\n      <th>18</th>\n      <td>k0,,,k5</td>\n      <td>0.008085</td>\n      <td>16.354167</td>\n    </tr>\n    <tr>\n      <th>22</th>\n      <td>k1,k3,k5</td>\n      <td>0.007916</td>\n      <td>21.042553</td>\n    </tr>\n    <tr>\n      <th>9</th>\n      <td>k1,,,k7</td>\n      <td>0.007748</td>\n      <td>22.565217</td>\n    </tr>\n    <tr>\n      <th>24</th>\n      <td>k0,,,k5,k7</td>\n      <td>0.006232</td>\n      <td>16.405405</td>\n    </tr>\n    <tr>\n      <th>10</th>\n      <td>k0,,k3</td>\n      <td>0.006064</td>\n      <td>18.722222</td>\n    </tr>\n    <tr>\n      <th>27</th>\n      <td>k0,k1,,k5,k7</td>\n      <td>0.005053</td>\n      <td>18.733333</td>\n    </tr>\n    <tr>\n      <th>26</th>\n      <td>k1,,k5</td>\n      <td>0.004716</td>\n      <td>31.000000</td>\n    </tr>\n    <tr>\n      <th>29</th>\n      <td>k0,k1,k3,,k7</td>\n      <td>0.004716</td>\n      <td>16.785714</td>\n    </tr>\n    <tr>\n      <th>12</th>\n      <td>k0,k1,k3,k5</td>\n      <td>0.004548</td>\n      <td>17.925926</td>\n    </tr>\n    <tr>\n      <th>20</th>\n      <td>k0,,,,k7</td>\n      <td>0.004548</td>\n      <td>19.407407</td>\n    </tr>\n    <tr>\n      <th>25</th>\n      <td>k0,,k3,k5</td>\n      <td>0.004211</td>\n      <td>16.480000</td>\n    </tr>\n    <tr>\n      <th>28</th>\n      <td>k0,k1,,,k7</td>\n      <td>0.002695</td>\n      <td>19.125000</td>\n    </tr>\n    <tr>\n      <th>30</th>\n      <td>k0,k1,,k5</td>\n      <td>0.002527</td>\n      <td>15.533333</td>\n    </tr>\n    <tr>\n      <th>16</th>\n      <td>k0,,k3,,k7</td>\n      <td>0.002021</td>\n      <td>21.833333</td>\n    </tr>\n  </tbody>\n</table>\n</div>"
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "How often k context is optimal with bert_r ?\n---------------------------------------\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "  opt_k  \\%_sents  avg_sent_len\n0    k0  0.604009     18.570273\n1    k1  0.230083     22.218887\n2    k3  0.080512     26.797071\n3    k5  0.049688     25.545763\n4    k7  0.035708     30.405660",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>opt_k</th>\n      <th>\\%_sents</th>\n      <th>avg_sent_len</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>0</th>\n      <td>k0</td>\n      <td>0.604009</td>\n      <td>18.570273</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>k1</td>\n      <td>0.230083</td>\n      <td>22.218887</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>k3</td>\n      <td>0.080512</td>\n      <td>26.797071</td>\n    </tr>\n    <tr>\n      <th>3</th>\n      <td>k5</td>\n      <td>0.049688</td>\n      <td>25.545763</td>\n    </tr>\n    <tr>\n      <th>4</th>\n      <td>k7</td>\n      <td>0.035708</td>\n      <td>30.405660</td>\n    </tr>\n  </tbody>\n</table>\n</div>"
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "How often k context gives the best result with bert_r ?\n---------------------------------------\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "           best_ks  \\%_sents  avg_sent_len\n8   k0,k1,k3,k5,k7  0.290214     13.741149\n0               k0  0.232441     25.168841\n2      k1,k3,k5,k7  0.112852     19.967164\n3               k1  0.056594     26.098214\n5               k3  0.036214     30.265116\n4               k7  0.035708     30.405660\n6               k5  0.027960     26.993976\n1         k3,k5,k7  0.026613     22.677215\n9            k5,k7  0.021728     23.682171\n14    k0,,k3,k5,k7  0.016001     14.452632\n7            k1,k3  0.015664     21.419355\n16       k1,,k5,k7  0.011790     23.400000\n23       k1,k3,,k7  0.010611     21.603175\n12           k3,k5  0.010275     28.426230\n15           k0,k1  0.009096     20.777778\n21        k1,k3,k5  0.008927     21.113208\n10         k1,,,k7  0.008759     24.538462\n20        k0,k1,k3  0.008422     11.300000\n18          k3,,k7  0.007411     22.386364\n19         k0,,,k5  0.006232     17.675676\n24      k0,,,k5,k7  0.005895     15.828571\n11          k0,,k3  0.005221     19.612903\n22        k0,,,,k7  0.005053     17.866667\n27    k0,k1,,k5,k7  0.005053     19.000000\n26          k1,,k5  0.004885     28.206897\n13     k0,k1,k3,k5  0.004716     18.285714\n17    k0,k1,k3,,k7  0.004716     16.785714\n25       k0,,k3,k5  0.003874     16.565217\n28      k0,k1,,,k7  0.002695     20.000000\n29       k0,k1,,k5  0.002190     17.307692\n30      k0,,k3,,k7  0.002190     22.615385",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>best_ks</th>\n      <th>\\%_sents</th>\n      <th>avg_sent_len</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>8</th>\n      <td>k0,k1,k3,k5,k7</td>\n      <td>0.290214</td>\n      <td>13.741149</td>\n    </tr>\n    <tr>\n      <th>0</th>\n      <td>k0</td>\n      <td>0.232441</td>\n      <td>25.168841</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>k1,k3,k5,k7</td>\n      <td>0.112852</td>\n      <td>19.967164</td>\n    </tr>\n    <tr>\n      <th>3</th>\n      <td>k1</td>\n      <td>0.056594</td>\n      <td>26.098214</td>\n    </tr>\n    <tr>\n      <th>5</th>\n      <td>k3</td>\n      <td>0.036214</td>\n      <td>30.265116</td>\n    </tr>\n    <tr>\n      <th>4</th>\n      <td>k7</td>\n      <td>0.035708</td>\n      <td>30.405660</td>\n    </tr>\n    <tr>\n      <th>6</th>\n      <td>k5</td>\n      <td>0.027960</td>\n      <td>26.993976</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>k3,k5,k7</td>\n      <td>0.026613</td>\n      <td>22.677215</td>\n    </tr>\n    <tr>\n      <th>9</th>\n      <td>k5,k7</td>\n      <td>0.021728</td>\n      <td>23.682171</td>\n    </tr>\n    <tr>\n      <th>14</th>\n      <td>k0,,k3,k5,k7</td>\n      <td>0.016001</td>\n      <td>14.452632</td>\n    </tr>\n    <tr>\n      <th>7</th>\n      <td>k1,k3</td>\n      <td>0.015664</td>\n      <td>21.419355</td>\n    </tr>\n    <tr>\n      <th>16</th>\n      <td>k1,,k5,k7</td>\n      <td>0.011790</td>\n      <td>23.400000</td>\n    </tr>\n    <tr>\n      <th>23</th>\n      <td>k1,k3,,k7</td>\n      <td>0.010611</td>\n      <td>21.603175</td>\n    </tr>\n    <tr>\n      <th>12</th>\n      <td>k3,k5</td>\n      <td>0.010275</td>\n      <td>28.426230</td>\n    </tr>\n    <tr>\n      <th>15</th>\n      <td>k0,k1</td>\n      <td>0.009096</td>\n      <td>20.777778</td>\n    </tr>\n    <tr>\n      <th>21</th>\n      <td>k1,k3,k5</td>\n      <td>0.008927</td>\n      <td>21.113208</td>\n    </tr>\n    <tr>\n      <th>10</th>\n      <td>k1,,,k7</td>\n      <td>0.008759</td>\n      <td>24.538462</td>\n    </tr>\n    <tr>\n      <th>20</th>\n      <td>k0,k1,k3</td>\n      <td>0.008422</td>\n      <td>11.300000</td>\n    </tr>\n    <tr>\n      <th>18</th>\n      <td>k3,,k7</td>\n      <td>0.007411</td>\n      <td>22.386364</td>\n    </tr>\n    <tr>\n      <th>19</th>\n      <td>k0,,,k5</td>\n      <td>0.006232</td>\n      <td>17.675676</td>\n    </tr>\n    <tr>\n      <th>24</th>\n      <td>k0,,,k5,k7</td>\n      <td>0.005895</td>\n      <td>15.828571</td>\n    </tr>\n    <tr>\n      <th>11</th>\n      <td>k0,,k3</td>\n      <td>0.005221</td>\n      <td>19.612903</td>\n    </tr>\n    <tr>\n      <th>22</th>\n      <td>k0,,,,k7</td>\n      <td>0.005053</td>\n      <td>17.866667</td>\n    </tr>\n    <tr>\n      <th>27</th>\n      <td>k0,k1,,k5,k7</td>\n      <td>0.005053</td>\n      <td>19.000000</td>\n    </tr>\n    <tr>\n      <th>26</th>\n      <td>k1,,k5</td>\n      <td>0.004885</td>\n      <td>28.206897</td>\n    </tr>\n    <tr>\n      <th>13</th>\n      <td>k0,k1,k3,k5</td>\n      <td>0.004716</td>\n      <td>18.285714</td>\n    </tr>\n    <tr>\n      <th>17</th>\n      <td>k0,k1,k3,,k7</td>\n      <td>0.004716</td>\n      <td>16.785714</td>\n    </tr>\n    <tr>\n      <th>25</th>\n      <td>k0,,k3,k5</td>\n      <td>0.003874</td>\n      <td>16.565217</td>\n    </tr>\n    <tr>\n      <th>28</th>\n      <td>k0,k1,,,k7</td>\n      <td>0.002695</td>\n      <td>20.000000</td>\n    </tr>\n    <tr>\n      <th>29</th>\n      <td>k0,k1,,k5</td>\n      <td>0.002190</td>\n      <td>17.307692</td>\n    </tr>\n    <tr>\n      <th>30</th>\n      <td>k0,,k3,,k7</td>\n      <td>0.002190</td>\n      <td>22.615385</td>\n    </tr>\n  </tbody>\n</table>\n</div>"
     },
     "metadata": {}
    }
   ],
   "source": [
    "df_opt_k_dict = {}\n",
    "df_buk_dict = {}\n",
    "\n",
    "for key in dfs_dict.keys():\n",
    "    dfs = dfs_dict[key]\n",
    "    # smallest context with best result\n",
    "    print('How often k context is optimal with {} ?'.format(key))\n",
    "    print('---------------------------------------')\n",
    "    # take the lowest k if score is the same for any of them\n",
    "    opt_k = dfs.idxmax(axis=1)\n",
    "    n_tot = opt_k.count()\n",
    "    df_opt_k = pd.DataFrame(columns = ['opt_k', '\\%_sents', 'avg_sent_len'])\n",
    "    #\n",
    "    for k in dfs.columns.values:\n",
    "        opt_k_mask = (opt_k == k)\n",
    "        n_k = opt_k_mask.sum()\n",
    "        p_k = n_k/n_tot\n",
    "        # avg len of sentences for which k context is optimal\n",
    "        len_k = dft['len'].mask(~opt_k_mask).sum()\n",
    "        avg_len_k = len_k / n_k\n",
    "        # store vars into df\n",
    "        df_opt_k.loc[len(df_opt_k)] = [k, p_k, avg_len_k]\n",
    "        #\n",
    "    df_opt_k_dict[key] = df_opt_k\n",
    "    display(df_opt_k)\n",
    "    \n",
    "    \n",
    "\n",
    "    print('How often k context gives the best result with {} ?'.format(key))\n",
    "    print('---------------------------------------')\n",
    "    #\n",
    "    dfs_max = dfs.eq(dfs.max(axis=1), axis=0)\n",
    "    best_ks = dfs_max.mul(dfs_max.columns.to_series()).apply(','.join, axis=1).str.strip(',')\n",
    "    dft['best_ks'] = best_ks\n",
    "    #\n",
    "    df_buk = pd.DataFrame(columns = ['best_ks', '\\%_sents', 'avg_sent_len'])\n",
    "    unique_ks = best_ks.unique()\n",
    "    for ks in unique_ks:\n",
    "        best_ks_mask = (best_ks == ks)\n",
    "        n = best_ks_mask.sum()\n",
    "        p = n / n_tot\n",
    "        l = dft['len'].mask(~best_ks_mask).sum()\n",
    "        avg_len = l / n\n",
    "        df_buk.loc[len(df_buk)] = [ks, p, avg_len]\n",
    "    #\n",
    "    df_buk = df_buk.sort_values(\"\\%_sents\", ascending=False)\n",
    "    df_buk_dict[key] = df_buk\n",
    "    display(df_buk)\n",
    "    # test df_buk\n",
    "    assert df_buk['\\%_sents'][df_buk['best_ks'].str.contains('k0')].sum().round(5) == df_opt_k['\\%_sents'][0].round(5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "scrolled": false,
    "tags": []
   },
   "outputs": [
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "                                                                                                                                                k0.sys  \\\n3  eh bien bill , je suppose que je parle au nom de la plupart des gens ici pour dire , j' espère vraiment que ton souhait est vrai . merci beaucoup .   \n2                                                                                                                         \" mieux dans le business \" .   \n1                                                                        voici la dernière carte postale que je dois partager avec vous aujourd' hui .   \n0                                                                    c' est un blog que vous pouvez voir sur la façon de construire les marshmallows .   \n\n                                                                                                                                                k1.sys  \\\n3  et bien bill , je suppose que je parle au nom de la plupart des gens ici pour dire , j' espère vraiment que ton souhait est vrai . merci beaucoup .   \n2                                                                                                                      \" le mieux dans le business . \"   \n1                                                                               c' est la dernière carte que je dois partager avec vous aujourd' hui .   \n0                                                                        c' est un blog que vous pouvez regarder comment construire les marshmallows .   \n\n                                                                                                                                                k3.sys  \\\n3  eh bien bill , je suppose que je parle au nom de la plupart des gens ici pour dire , j' espère vraiment que ton souhait est vrai . merci beaucoup .   \n2                                                                                                                      \" le mieux dans le business . \"   \n1                                                                               c' est la dernière carte que je veux partager avec vous aujourd' hui .   \n0                                                                        c' est un blog que vous pouvez regarder comment construire les marshmallows .   \n\n                                                                                                                                        k5.sys  \\\n3  bill , je suppose que je parle au nom de la plupart des gens ici pour dire , j' espère vraiment que ton souhait est vrai . merci beaucoup .   \n2                                                                                                              \" le mieux dans le business . \"   \n1                                                                       c' est la dernière carte que je veux partager avec vous aujourd' hui .   \n0                                                                c' est un blog que vous pouvez regarder comment construire les marshmallows .   \n\n                                                                                                                                                k7.sys  \\\n3  eh bien bill , je suppose que je parle au nom de la plupart des gens ici pour dire , j' espère vraiment que ton souhait est vrai . merci beaucoup .   \n2                                                                                                                      \" le mieux dans le business . \"   \n1                                                                               c' est la dernière carte que je veux partager avec vous aujourd' hui .   \n0                                                                        c' est un blog que vous pouvez regarder comment construire les marshmallows .   \n\n                                                                                                                                                           ref  \\\n3  et bien bill , je pense que je parle au nom de la plupart des gens ici en disant que j' espère vraiment que ton souhait devienne réalité . merci beaucoup .   \n2                                                                                                               <<unk>> le meilleur dans le business . <<unk>>   \n1                                                                         ceci est la dernière carte postale que je voudrais partager avec vous aujourd' hui .   \n0                                                       c' est un blog que vous pouvez consulter sur la manière de conduire les \" épreuves du marshamallow \" .   \n\n                                                                                                                                 src  \\\n3  well bill , i suspect i speak on the behalf of most people here to say , i really hope your wish comes true . thank you so much .   \n2                                                                                                         \" best in the business . \"   \n1                                                                         this is the last postcard i have to share with you today .   \n0                                                                  it 's a blog that you can look at how to build the marshmallows .   \n\n   len      best_ks  \n3   32           k1  \n2    8  k1,k3,k5,k7  \n1   15     k3,k5,k7  \n0   20           k0  ",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>k0.sys</th>\n      <th>k1.sys</th>\n      <th>k3.sys</th>\n      <th>k5.sys</th>\n      <th>k7.sys</th>\n      <th>ref</th>\n      <th>src</th>\n      <th>len</th>\n      <th>best_ks</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>3</th>\n      <td>eh bien bill , je suppose que je parle au nom de la plupart des gens ici pour dire , j' espère vraiment que ton souhait est vrai . merci beaucoup .</td>\n      <td>et bien bill , je suppose que je parle au nom de la plupart des gens ici pour dire , j' espère vraiment que ton souhait est vrai . merci beaucoup .</td>\n      <td>eh bien bill , je suppose que je parle au nom de la plupart des gens ici pour dire , j' espère vraiment que ton souhait est vrai . merci beaucoup .</td>\n      <td>bill , je suppose que je parle au nom de la plupart des gens ici pour dire , j' espère vraiment que ton souhait est vrai . merci beaucoup .</td>\n      <td>eh bien bill , je suppose que je parle au nom de la plupart des gens ici pour dire , j' espère vraiment que ton souhait est vrai . merci beaucoup .</td>\n      <td>et bien bill , je pense que je parle au nom de la plupart des gens ici en disant que j' espère vraiment que ton souhait devienne réalité . merci beaucoup .</td>\n      <td>well bill , i suspect i speak on the behalf of most people here to say , i really hope your wish comes true . thank you so much .</td>\n      <td>32</td>\n      <td>k1</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>\" mieux dans le business \" .</td>\n      <td>\" le mieux dans le business . \"</td>\n      <td>\" le mieux dans le business . \"</td>\n      <td>\" le mieux dans le business . \"</td>\n      <td>\" le mieux dans le business . \"</td>\n      <td>&lt;&lt;unk&gt;&gt; le meilleur dans le business . &lt;&lt;unk&gt;&gt;</td>\n      <td>\" best in the business . \"</td>\n      <td>8</td>\n      <td>k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>voici la dernière carte postale que je dois partager avec vous aujourd' hui .</td>\n      <td>c' est la dernière carte que je dois partager avec vous aujourd' hui .</td>\n      <td>c' est la dernière carte que je veux partager avec vous aujourd' hui .</td>\n      <td>c' est la dernière carte que je veux partager avec vous aujourd' hui .</td>\n      <td>c' est la dernière carte que je veux partager avec vous aujourd' hui .</td>\n      <td>ceci est la dernière carte postale que je voudrais partager avec vous aujourd' hui .</td>\n      <td>this is the last postcard i have to share with you today .</td>\n      <td>15</td>\n      <td>k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>0</th>\n      <td>c' est un blog que vous pouvez voir sur la façon de construire les marshmallows .</td>\n      <td>c' est un blog que vous pouvez regarder comment construire les marshmallows .</td>\n      <td>c' est un blog que vous pouvez regarder comment construire les marshmallows .</td>\n      <td>c' est un blog que vous pouvez regarder comment construire les marshmallows .</td>\n      <td>c' est un blog que vous pouvez regarder comment construire les marshmallows .</td>\n      <td>c' est un blog que vous pouvez consulter sur la manière de conduire les \" épreuves du marshamallow \" .</td>\n      <td>it 's a blog that you can look at how to build the marshmallows .</td>\n      <td>20</td>\n      <td>k0</td>\n    </tr>\n  </tbody>\n</table>\n</div>"
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "##############################################################################################\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "                                                                                                                                                                   k0.sys  \\\n110                                                                                         jusqu' à finalement , j' ai pris le téléphone avec le biologiste de la tête .   \n109  et environ une seconde après avoir pris l' image , ils se sont rassemblés dans la fourchette de l' arbre et ils ont embrassé et se sont embêtés les uns les autres .   \n108                                                                                je crois que nous sommes au mieux quand nous sommes confrontés à de grands problèmes .   \n107                                                                             mais la détermination de soi et de vivre dans l' ère numérique n' est pas contradiction .   \n106                                                                               nous avons pris des petits bots que nous avions créés qui ont gâché une fibre optique .   \n105                                                                                                                 c' est comme lancer une pierre dans un étang d' eau .   \n104                                                                                        après secret , le blog le plus vendu au monde est celui qui a le plus visité .   \n\n                                                                                                                                                                   k1.sys  \\\n110                                                                                             jusqu' à ce que finalement , j' ai pris le téléphone avec le biologiste .   \n109  et environ une seconde après avoir pris l' image , ils se sont rassemblés dans la fourchette de l' arbre et ils ont embrassé et se sont embêtés les uns les autres .   \n108                                                                                je crois que nous sommes au mieux quand nous sommes confrontés à de grands problèmes .   \n107                                                                           mais la détermination de soi et de vie dans l' ère numérique n' est pas une contradiction .   \n106                                                                            nous avons pris des petits bots que nous avions créés qui ont olptique une fibre optique .   \n105                                                                                                                c' est comme lancer une pierre dans un bassin d' eau .   \n104                                                                                            après secret , le blog le plus vendu au monde est le plus vendu au monde .   \n\n                                                                                                                                                                   k3.sys  \\\n110                                                                                              jusqu' à ce que finalement , j' arrive au téléphone avec le biologiste .   \n109  et environ une seconde après avoir pris l' image , ils se sont rassemblés dans la fourchette de l' arbre et ils ont embrassé et se sont embêtés les uns les autres .   \n108                                                                                je crois que nous sommes au mieux quand nous sommes confrontés à de grands problèmes .   \n107                                                                           mais la détermination de soi et de vie dans l' ère numérique n' est pas une contradiction .   \n106                                                                            nous avons pris des petits bots que nous avions créés qui ont olptique une fibre optique .   \n105                                                                                                                c' est comme lancer une pierre dans un bassin d' eau .   \n104                                                                                                          le chef d' après.com est le blog le plus condamné au monde .   \n\n                                                                                                                                                                   k5.sys  \\\n110                                                                                                  jusqu' à ce que finalement , j' ai allumé le biologiste de la tête .   \n109  et environ une seconde après avoir pris l' image , ils se sont rassemblés dans la fourchette de l' arbre et ils ont embrassé et se sont embêtés les uns les autres .   \n108                                                                                je crois que nous sommes au mieux quand nous sommes confrontés à de grands problèmes .   \n107                                                                           mais la détermination de soi et de vie dans l' ère numérique n' est pas une contradiction .   \n106                                                                            nous avons pris des petits bots que nous avions créés qui ont olptique une fibre optique .   \n105                                                                                                                c' est comme lancer une pierre dans un bassin d' eau .   \n104                                                                                                après secret , le blog le plus vendu au monde n' est pas le meilleur .   \n\n                                                                                                                                                                     k7.sys  \\\n110                                                                                              jusqu' à ce que finalement , j' ai reçu mon téléphone avec le biologiste .   \n109  et environ une seconde après avoir pris l' image , ils se sont rassemblés dans la fourchette de l' arbre et ils ont embrassé et se sont embrassés les uns les autres .   \n108                                                                                  je crois que nous sommes au mieux quand nous sommes confrontés à de grands problèmes .   \n107                                                                             mais la détermination de soi et de vie dans l' ère numérique n' est pas une contradiction .   \n106                                                                              nous avons pris des petits bots que nous avions créés qui ont olptique une fibre optique .   \n105                                                                                                                  c' est comme lancer une pierre dans un bassin d' eau .   \n104                                                                                                  après secret , le blog le plus vendu au monde n' est pas le meilleur .   \n\n                                                                                                                 ref  \\\n110                                         jusqu' à ce que finalement , j' aie au téléphone le biologiste en chef .   \n109  une seconde après que j' ai pris la photo , ils se sont réunis à la base de l' arbre et ils se sont embrassés .   \n108                 je crois que nous sommes les plus performants quand nous sommes confrontés à de gros problèmes .   \n107                            mais l' autodétermination et la vie à l' ère numérique ne sont pas en contradiction .   \n106             nous avons pris les petits robots que nous avions créés , ceux qui déroulaient de la fibre optique .   \n105                                                            c' est un peu comme lancer un caillou dans un étang .   \n104                                             postsecret.com est le blog sans publicités le plus visité au monde .   \n\n                                                                                                                                    src  \\\n110                                                                        until finally , i got on the phone with the head biologist .   \n109  and about a second after i took the picture , they came together in the fork of the tree and they kissed and embraced each other .   \n108                                                               i believe we 're at our best when we 're confronted with big issues .   \n107                                                          but self-determination and living in the digital age is no contradiction .   \n106                                                                we took little bots that we had created that spooled a fiber optic .   \n105                                                                                    it 's like throwing a stone in a pond of water .   \n104                                                           postsecret.com is the most visited advertisement-free blog in the world .   \n\n     len         best_ks  \n110   15              k1  \n109   26     k0,k1,k3,k5  \n108   17  k0,k1,k3,k5,k7  \n107   16     k1,k3,k5,k7  \n106   19              k0  \n105   12              k0  \n104   12              k3  ",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>k0.sys</th>\n      <th>k1.sys</th>\n      <th>k3.sys</th>\n      <th>k5.sys</th>\n      <th>k7.sys</th>\n      <th>ref</th>\n      <th>src</th>\n      <th>len</th>\n      <th>best_ks</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>110</th>\n      <td>jusqu' à finalement , j' ai pris le téléphone avec le biologiste de la tête .</td>\n      <td>jusqu' à ce que finalement , j' ai pris le téléphone avec le biologiste .</td>\n      <td>jusqu' à ce que finalement , j' arrive au téléphone avec le biologiste .</td>\n      <td>jusqu' à ce que finalement , j' ai allumé le biologiste de la tête .</td>\n      <td>jusqu' à ce que finalement , j' ai reçu mon téléphone avec le biologiste .</td>\n      <td>jusqu' à ce que finalement , j' aie au téléphone le biologiste en chef .</td>\n      <td>until finally , i got on the phone with the head biologist .</td>\n      <td>15</td>\n      <td>k1</td>\n    </tr>\n    <tr>\n      <th>109</th>\n      <td>et environ une seconde après avoir pris l' image , ils se sont rassemblés dans la fourchette de l' arbre et ils ont embrassé et se sont embêtés les uns les autres .</td>\n      <td>et environ une seconde après avoir pris l' image , ils se sont rassemblés dans la fourchette de l' arbre et ils ont embrassé et se sont embêtés les uns les autres .</td>\n      <td>et environ une seconde après avoir pris l' image , ils se sont rassemblés dans la fourchette de l' arbre et ils ont embrassé et se sont embêtés les uns les autres .</td>\n      <td>et environ une seconde après avoir pris l' image , ils se sont rassemblés dans la fourchette de l' arbre et ils ont embrassé et se sont embêtés les uns les autres .</td>\n      <td>et environ une seconde après avoir pris l' image , ils se sont rassemblés dans la fourchette de l' arbre et ils ont embrassé et se sont embrassés les uns les autres .</td>\n      <td>une seconde après que j' ai pris la photo , ils se sont réunis à la base de l' arbre et ils se sont embrassés .</td>\n      <td>and about a second after i took the picture , they came together in the fork of the tree and they kissed and embraced each other .</td>\n      <td>26</td>\n      <td>k0,k1,k3,k5</td>\n    </tr>\n    <tr>\n      <th>108</th>\n      <td>je crois que nous sommes au mieux quand nous sommes confrontés à de grands problèmes .</td>\n      <td>je crois que nous sommes au mieux quand nous sommes confrontés à de grands problèmes .</td>\n      <td>je crois que nous sommes au mieux quand nous sommes confrontés à de grands problèmes .</td>\n      <td>je crois que nous sommes au mieux quand nous sommes confrontés à de grands problèmes .</td>\n      <td>je crois que nous sommes au mieux quand nous sommes confrontés à de grands problèmes .</td>\n      <td>je crois que nous sommes les plus performants quand nous sommes confrontés à de gros problèmes .</td>\n      <td>i believe we 're at our best when we 're confronted with big issues .</td>\n      <td>17</td>\n      <td>k0,k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>107</th>\n      <td>mais la détermination de soi et de vivre dans l' ère numérique n' est pas contradiction .</td>\n      <td>mais la détermination de soi et de vie dans l' ère numérique n' est pas une contradiction .</td>\n      <td>mais la détermination de soi et de vie dans l' ère numérique n' est pas une contradiction .</td>\n      <td>mais la détermination de soi et de vie dans l' ère numérique n' est pas une contradiction .</td>\n      <td>mais la détermination de soi et de vie dans l' ère numérique n' est pas une contradiction .</td>\n      <td>mais l' autodétermination et la vie à l' ère numérique ne sont pas en contradiction .</td>\n      <td>but self-determination and living in the digital age is no contradiction .</td>\n      <td>16</td>\n      <td>k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>106</th>\n      <td>nous avons pris des petits bots que nous avions créés qui ont gâché une fibre optique .</td>\n      <td>nous avons pris des petits bots que nous avions créés qui ont olptique une fibre optique .</td>\n      <td>nous avons pris des petits bots que nous avions créés qui ont olptique une fibre optique .</td>\n      <td>nous avons pris des petits bots que nous avions créés qui ont olptique une fibre optique .</td>\n      <td>nous avons pris des petits bots que nous avions créés qui ont olptique une fibre optique .</td>\n      <td>nous avons pris les petits robots que nous avions créés , ceux qui déroulaient de la fibre optique .</td>\n      <td>we took little bots that we had created that spooled a fiber optic .</td>\n      <td>19</td>\n      <td>k0</td>\n    </tr>\n    <tr>\n      <th>105</th>\n      <td>c' est comme lancer une pierre dans un étang d' eau .</td>\n      <td>c' est comme lancer une pierre dans un bassin d' eau .</td>\n      <td>c' est comme lancer une pierre dans un bassin d' eau .</td>\n      <td>c' est comme lancer une pierre dans un bassin d' eau .</td>\n      <td>c' est comme lancer une pierre dans un bassin d' eau .</td>\n      <td>c' est un peu comme lancer un caillou dans un étang .</td>\n      <td>it 's like throwing a stone in a pond of water .</td>\n      <td>12</td>\n      <td>k0</td>\n    </tr>\n    <tr>\n      <th>104</th>\n      <td>après secret , le blog le plus vendu au monde est celui qui a le plus visité .</td>\n      <td>après secret , le blog le plus vendu au monde est le plus vendu au monde .</td>\n      <td>le chef d' après.com est le blog le plus condamné au monde .</td>\n      <td>après secret , le blog le plus vendu au monde n' est pas le meilleur .</td>\n      <td>après secret , le blog le plus vendu au monde n' est pas le meilleur .</td>\n      <td>postsecret.com est le blog sans publicités le plus visité au monde .</td>\n      <td>postsecret.com is the most visited advertisement-free blog in the world .</td>\n      <td>12</td>\n      <td>k3</td>\n    </tr>\n  </tbody>\n</table>\n</div>"
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "##############################################################################################\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "                                                                                                                                                                             k0.sys  \\\n134        et la raison en est que j' aide à créer des outils numériques et des processus pour aider les équipes à construire des voitures , des jeux vidéo , des effets spéciaux .   \n133                           parce qu' aujourd' hui , les agences d' état et les entreprises veulent stocker autant d' informations que possible sur nous , en ligne et en ligne .   \n132                                                                                                                                      vous devez créer une nouvelle profession .   \n131                                                                                                                           trente-cinq cent mille lignes d' information trente .   \n130                                                                                                                                                cela pourrait prendre des mois .   \n129                                                                         on m' a enlevé la garde quand stephen colbert m' a posé une question profonde , une question profonde .   \n128  premièrement , nous pouvons mettre notre attention partout où nous le voulons ; deux , que nous serons toujours entendus ; et trois , que nous n' aurons jamais à être seuls .   \n\n                                                                                                                                                                                   k1.sys  \\\n134             et la raison en est que j' aide à créer des outils numériques et des processus pour aider les équipes à construire des voitures , des jeux vidéo et des effets spéciaux .   \n133                 parce qu' aujourd <unk> hui , les agences d <unk> état et les entreprises veulent stocker autant d <unk> informations que possible pour nous , en ligne et en ligne .   \n132                                                                                                                                            vous devez créer une nouvelle profession .   \n131                                                                                                                     trente-cinq mille trente-huit cent trente lignes d' information .   \n130                                                                                                                                                        ça pourrait prendre des mois .   \n129                                                                               on m' a enlevé la garde quand stephen colbert m' a posé une question profonde , une question profonde .   \n128  premièrement , que nous pouvons mettre notre attention partout où nous le voulons ; deux , que nous serons toujours entendues ; et trois , que nous n' aurons jamais à être seules .   \n\n                                                                                                                                                                                   k3.sys  \\\n134            et la raison est que j' ai aidé à créer des outils numériques et des processus pour aider les équipes à construire des voitures et des jeux vidéo et des effets spéciaux .   \n133                 parce qu' aujourd <unk> hui , les agences d <unk> état et les entreprises veulent stocker autant d <unk> informations que possible pour nous , en ligne et en ligne .   \n132                                                                                                                                            vous devez créer une nouvelle profession .   \n131                                                                                                                                 trente-cinq mille cent trente lignes d' information .   \n130                                                                                                                                                        ça pourrait prendre des mois .   \n129                                                                               on m' a enlevé la garde quand stephen colbert m' a posé une question profonde , une question profonde .   \n128  premièrement , que nous pouvons mettre notre attention partout où nous le voulons ; deux , que nous serons toujours entendues ; et trois , que nous n' aurons jamais à être seules .   \n\n                                                                                                                                                                                   k5.sys  \\\n134             et la raison est que j' ai aidé à créer des outils numériques et des processus pour aider les équipes à construire des voitures , des jeux vidéo et des effets spéciaux .   \n133                                parce qu' aujourd' hui , les agences d' état et les entreprises veulent stocker autant d' informations que possible pour nous , en ligne et en ligne .   \n132                                                                                                                                            vous devez créer une nouvelle profession .   \n131                                                                                                                           trente-cinq mille trente-huit cents lignes d' information .   \n130                                                                                                                                                        ça pourrait prendre des mois .   \n129                                                                               on m' a enlevé la garde quand stephen colbert m' a posé une question profonde , une question profonde .   \n128  premièrement , que nous pouvons mettre notre attention partout où nous le voulons ; deux , que nous serons toujours entendues ; et trois , que nous n' aurons jamais à être seules .   \n\n                                                                                                                                                                                              k7.sys  \\\n134                     et la raison en est que j' ai aidé à créer des outils numériques et des processus pour aider les équipes à construire des voitures , des jeux vidéo et des effets spéciaux .   \n133  parce qu' aujourd <unk> hui , les agences d <unk> état et les entreprises veulent stocker autant d <unk> informations qu <unk> elles peuvent s <unk> approcher de nous , en ligne et en ligne .   \n132                                                                                                                                                       vous devez créer une nouvelle profession .   \n131                                                                                                                                            trente-cinq mille cent trente lignes d' information .   \n130                                                                                                                                                                   ça pourrait prendre des mois .   \n129                                                                                          on m' a enlevé la garde quand stephen colbert m' a posé une question profonde , une question profonde .   \n128             premièrement , que nous pouvons mettre notre attention partout où nous le voulons ; deux , que nous serons toujours entendues ; et trois , que nous n' aurons jamais à être seules .   \n\n                                                                                                                                                                                     ref  \\\n134               la raison est que j' aide à créer des outils numériques et des processus qui aident des équipes à réaliser des automobiles , des jeux vidéo , et des effets spéciaux .   \n133                                          car aujourd' hui , les organismes et sociétés d' état veulent stocker le plus d' informations possibles sur nous , en ligne et hors ligne .   \n132                                                                                                                                              il faut créer une nouvelle profession .   \n131                                                                                                                                                      35 830 lignes d' informations .   \n130                                                                                                                                                        ça pouvait prendre des mois .   \n129                                                                          j' ai été prise au dépourvu quand stephen colbert m' a posé une question profonde , une question profonde .   \n128  un , que nous pouvons mettre notre attention partout où nous voulons qu' elle soit ; deux , que nous serons toujours entendus ; et trois , que nous n' aurons jamais à être seuls .   \n\n                                                                                                                                                        src  \\\n134                             and the reason is , i help create digital tools and processes to help teams build cars and video games and visual effects .   \n133                          because today , state agencies and companies want to store as much information as they can get about us , online and offline .   \n132                                                                                                                   you have to create a new profession .   \n131                                                                                        thirty-five thousand eight hundred thirty lines of information .   \n130                                                                                                                                  it could take months .   \n129                                                        i was caught off guard when stephen colbert asked me a profound question , a profound question .   \n128  one , that we can put our attention wherever we want it to be ; two , that we will always be heard ; and three , that we will never have to be alone .   \n\n     len         best_ks  \n134   32              k1  \n133   26              k0  \n132    7  k0,k1,k3,k5,k7  \n131    6              k5  \n130    6     k1,k3,k5,k7  \n129   20  k0,k1,k3,k5,k7  \n128   36              k0  ",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>k0.sys</th>\n      <th>k1.sys</th>\n      <th>k3.sys</th>\n      <th>k5.sys</th>\n      <th>k7.sys</th>\n      <th>ref</th>\n      <th>src</th>\n      <th>len</th>\n      <th>best_ks</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>134</th>\n      <td>et la raison en est que j' aide à créer des outils numériques et des processus pour aider les équipes à construire des voitures , des jeux vidéo , des effets spéciaux .</td>\n      <td>et la raison en est que j' aide à créer des outils numériques et des processus pour aider les équipes à construire des voitures , des jeux vidéo et des effets spéciaux .</td>\n      <td>et la raison est que j' ai aidé à créer des outils numériques et des processus pour aider les équipes à construire des voitures et des jeux vidéo et des effets spéciaux .</td>\n      <td>et la raison est que j' ai aidé à créer des outils numériques et des processus pour aider les équipes à construire des voitures , des jeux vidéo et des effets spéciaux .</td>\n      <td>et la raison en est que j' ai aidé à créer des outils numériques et des processus pour aider les équipes à construire des voitures , des jeux vidéo et des effets spéciaux .</td>\n      <td>la raison est que j' aide à créer des outils numériques et des processus qui aident des équipes à réaliser des automobiles , des jeux vidéo , et des effets spéciaux .</td>\n      <td>and the reason is , i help create digital tools and processes to help teams build cars and video games and visual effects .</td>\n      <td>32</td>\n      <td>k1</td>\n    </tr>\n    <tr>\n      <th>133</th>\n      <td>parce qu' aujourd' hui , les agences d' état et les entreprises veulent stocker autant d' informations que possible sur nous , en ligne et en ligne .</td>\n      <td>parce qu' aujourd &lt;unk&gt; hui , les agences d &lt;unk&gt; état et les entreprises veulent stocker autant d &lt;unk&gt; informations que possible pour nous , en ligne et en ligne .</td>\n      <td>parce qu' aujourd &lt;unk&gt; hui , les agences d &lt;unk&gt; état et les entreprises veulent stocker autant d &lt;unk&gt; informations que possible pour nous , en ligne et en ligne .</td>\n      <td>parce qu' aujourd' hui , les agences d' état et les entreprises veulent stocker autant d' informations que possible pour nous , en ligne et en ligne .</td>\n      <td>parce qu' aujourd &lt;unk&gt; hui , les agences d &lt;unk&gt; état et les entreprises veulent stocker autant d &lt;unk&gt; informations qu &lt;unk&gt; elles peuvent s &lt;unk&gt; approcher de nous , en ligne et en ligne .</td>\n      <td>car aujourd' hui , les organismes et sociétés d' état veulent stocker le plus d' informations possibles sur nous , en ligne et hors ligne .</td>\n      <td>because today , state agencies and companies want to store as much information as they can get about us , online and offline .</td>\n      <td>26</td>\n      <td>k0</td>\n    </tr>\n    <tr>\n      <th>132</th>\n      <td>vous devez créer une nouvelle profession .</td>\n      <td>vous devez créer une nouvelle profession .</td>\n      <td>vous devez créer une nouvelle profession .</td>\n      <td>vous devez créer une nouvelle profession .</td>\n      <td>vous devez créer une nouvelle profession .</td>\n      <td>il faut créer une nouvelle profession .</td>\n      <td>you have to create a new profession .</td>\n      <td>7</td>\n      <td>k0,k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>131</th>\n      <td>trente-cinq cent mille lignes d' information trente .</td>\n      <td>trente-cinq mille trente-huit cent trente lignes d' information .</td>\n      <td>trente-cinq mille cent trente lignes d' information .</td>\n      <td>trente-cinq mille trente-huit cents lignes d' information .</td>\n      <td>trente-cinq mille cent trente lignes d' information .</td>\n      <td>35 830 lignes d' informations .</td>\n      <td>thirty-five thousand eight hundred thirty lines of information .</td>\n      <td>6</td>\n      <td>k5</td>\n    </tr>\n    <tr>\n      <th>130</th>\n      <td>cela pourrait prendre des mois .</td>\n      <td>ça pourrait prendre des mois .</td>\n      <td>ça pourrait prendre des mois .</td>\n      <td>ça pourrait prendre des mois .</td>\n      <td>ça pourrait prendre des mois .</td>\n      <td>ça pouvait prendre des mois .</td>\n      <td>it could take months .</td>\n      <td>6</td>\n      <td>k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>129</th>\n      <td>on m' a enlevé la garde quand stephen colbert m' a posé une question profonde , une question profonde .</td>\n      <td>on m' a enlevé la garde quand stephen colbert m' a posé une question profonde , une question profonde .</td>\n      <td>on m' a enlevé la garde quand stephen colbert m' a posé une question profonde , une question profonde .</td>\n      <td>on m' a enlevé la garde quand stephen colbert m' a posé une question profonde , une question profonde .</td>\n      <td>on m' a enlevé la garde quand stephen colbert m' a posé une question profonde , une question profonde .</td>\n      <td>j' ai été prise au dépourvu quand stephen colbert m' a posé une question profonde , une question profonde .</td>\n      <td>i was caught off guard when stephen colbert asked me a profound question , a profound question .</td>\n      <td>20</td>\n      <td>k0,k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>128</th>\n      <td>premièrement , nous pouvons mettre notre attention partout où nous le voulons ; deux , que nous serons toujours entendus ; et trois , que nous n' aurons jamais à être seuls .</td>\n      <td>premièrement , que nous pouvons mettre notre attention partout où nous le voulons ; deux , que nous serons toujours entendues ; et trois , que nous n' aurons jamais à être seules .</td>\n      <td>premièrement , que nous pouvons mettre notre attention partout où nous le voulons ; deux , que nous serons toujours entendues ; et trois , que nous n' aurons jamais à être seules .</td>\n      <td>premièrement , que nous pouvons mettre notre attention partout où nous le voulons ; deux , que nous serons toujours entendues ; et trois , que nous n' aurons jamais à être seules .</td>\n      <td>premièrement , que nous pouvons mettre notre attention partout où nous le voulons ; deux , que nous serons toujours entendues ; et trois , que nous n' aurons jamais à être seules .</td>\n      <td>un , que nous pouvons mettre notre attention partout où nous voulons qu' elle soit ; deux , que nous serons toujours entendus ; et trois , que nous n' aurons jamais à être seuls .</td>\n      <td>one , that we can put our attention wherever we want it to be ; two , that we will always be heard ; and three , that we will never have to be alone .</td>\n      <td>36</td>\n      <td>k0</td>\n    </tr>\n  </tbody>\n</table>\n</div>"
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "##############################################################################################\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "                                                                                                                                                                                                                                                                              k0.sys  \\\n151  le manque de pétrole est fictif , mais nous avons mis assez de contenu en ligne pour croire que c' est vrai , et pour vivre votre vie comme si nous n' en sommes plus sortis du pétrole . donc , quand vous arrivez au signe que vous vous arrêtez , dites-nous où vous vivez .   \n150                                                                                                                                                                        <unk> honneur <unk> , j' ai dit . <unk> c' est tellement différent , et meilleur , que obéissance . <unk>   \n149                                                                                                                                                                                                               mais maintenant , savez-vous combien de nations ont un président ?   \n148                                                                                                                                                                                         et tout d' abord , je vous recommande sur votre modèle de modèle . très impressionnant .   \n147                                                                                                                                                                                                       et puis j' ai réalisé un jour qu' il y a une solution plus simple à cela .   \n146                                                                                                                                                                                                          ce nombre augmente , et augmente très rapidement , et c' est gracieux .   \n145                                                                                                                                                 oui . donc ce qui arrivera c' est que , pendant que vous devez indiquer si oui ou non vous avez la maladie ou pas , vous voyez .   \n\n                                                                                                                                                                                                                                                                  k1.sys  \\\n151  la pénurie du pétrole est fictif , mais nous avons mis assez de contenu en ligne pour que vous croyiez que c' est vrai , et que vous viviez votre vie comme si nous n' avons plus d' huile . donc , quand vous arrivez au panneau , vous nous dites où vous vivez .   \n150                                                                                                                                                            <unk> honneur <unk> , j' ai dit . <unk> c' est tellement différent , et meilleur , qu' obéissance . <unk>   \n149                                                                                                                                                                                                   mais maintenant , savez-vous combien de nations ont un président ?   \n148                                                                                                                                                                             et d' abord , je vous recommande de modéliser votre connaissance . très impressionnant .   \n147                                                                                                                                                                                 et puis je me suis rendu compte qu' un jour , il y a une solution plus facile à ça .   \n146                                                                                                                                                                            c' est en augmentation , et c' est en augmentation très rapidement , et c' est gracieux .   \n145                                                                                                                            oui . oui . donc ce qui va arriver , c' est que pendant que l' on demande d' indiquer si oui ou non on a la maladie ou pas , vous voyez .   \n\n                                                                                                                                                                                                                                                                    k3.sys  \\\n151  la pénurie du pétrole est fictif , mais nous avons mis assez de contenu en ligne pour que vous croyiez que c' est réel , et que vous viviez votre vie comme si nous n' avons plus de pétrole . donc , quand vous arrivez au panneau , vous nous dites où vous vivez .   \n150                                                                                                                                                              <unk> honneur <unk> , j' ai dit . <unk> c' est tellement différent , et meilleur , que obéissance . <unk>   \n149                                                                                                                                                                                                     mais maintenant , savez-vous combien de nations ont un président ?   \n148                                                                                                                                                                               et d' abord , je vous recommande de modéliser votre connaissance . très impressionnant .   \n147                                                                                                                                                                                         et puis j' ai réalisé un jour qu' il y a une solution plus facile à résoudre .   \n146                                                                                                                                                                               ce nombre est en augmentation , et il s' accélère très rapidement , et c' est gracieux .   \n145                                                                                                                              oui . oui . donc ce qui va arriver , c' est que pendant que l' on demande d' indiquer si oui ou non on a la maladie ou pas , vous voyez .   \n\n                                                                                                                                                                                                                                                               k5.sys  \\\n151  la pénurie du pétrole est fictif , mais nous mettons assez de contenu en ligne pour que vous y croyiez que c' est réel , et que vous viviez votre vie comme si nous n' avons plus de pétrole . donc , quand vous arrivez au panneau , dites-vous où vous vivez .   \n150                                                                                                                                                                                 \" honneur , \" j' ai dit . \" c' est tellement différent , et mieux , que obéir . \"   \n149                                                                                                                                                                                                mais maintenant , savez-vous combien de nations ont un président ?   \n148                                                                                                                                                                          et d' abord , je vous recommande de modéliser votre connaissance . très impressionnant .   \n147                                                                                                                                                                                  et puis j' ai réalisé qu' un jour , il y a une solution plus facile à résoudre .   \n146                                                                                                                                                                             ce nombre est en augmentation , et il augmente très rapidement , et c' est gracieux .   \n145                                                                                                                         oui . oui . donc ce qui va arriver , c' est que pendant que l' on demande d' indiquer si oui ou non on a la maladie ou pas , vous voyez .   \n\n                                                                                                                                                                                                                                                                      k7.sys  \\\n151  la pénurie du pétrole est fictif , mais nous avons mis assez de contenu en ligne pour que vous y croyiez que c' est réel , et que vous viviez votre vie comme si nous n' avons plus de pétrole . donc , quand vous arrivez au panneau , vous nous dites où vous vivez .   \n150                                                                                                                                                                <unk> honneur <unk> , j' ai dit . <unk> c' est tellement différent , et meilleur , qu' obéissance . <unk>   \n149                                                                                                                                                                                                       mais maintenant , savez-vous combien de nations ont un président ?   \n148                                                                                                                                                                                 et d' abord , je vous recommande de modéliser votre connaissance . très impressionnant .   \n147                                                                                                                                                                                           et puis j' ai réalisé un jour qu' il y a une solution plus facile à résoudre .   \n146                                                                                                                                                                                       ce nombre est en augmentation , et il monte très rapidement , et c' est gracieux .   \n145                                                                                                                                 oui . oui . donc ce qui va arriver , c' est que pendant que vous devez indiquer si oui ou non vous avez la maladie ou pas , vous voyez .   \n\n                                                                                                                                                                                                                                                                             ref  \\\n151  la pénurie d' essence est fictive , mais nous avons incorporé suffisamment de contenu pour que vous croyiez que c' est vrai et pour que viviez comme s' il n' y avait plus d' essence . quand vous commencez le jeu , vous vous inscrivez , vous nous dites où vous vivez .   \n150                                                                                                                                                                 <<unk>> honorer <<unk>> , je me suis dit , <<unk>> c' est tellement différent , et mieux qu' obéir . <<unk>>   \n149                                                                                                                                                                                                            mais à présent , savez-vous combien de nations ont un président ?   \n148                                                                                                                                                                              et je tiens à vous féliciter pour votre connaissance des mannequins . vraiment impressionnant .   \n147                                                                                                                                                                                                            et puis j' ai réalisé un jour , il y a une solution plus facile .   \n146                                                                                                                                                                                                                   ce nombre augmente , très rapidement , et c' est indigne .   \n145                                                                                                             max little : oui . oui . ce qui va se passer , c' est que lors de l' appel , vous devrez indiquer si vous avez la maladie ou pas , vous voyez . tr : d' accord .   \n\n                                                                                                                                                                                                                                                    src  \\\n151  the oil shortage is fictional , but we put enough online content out there for you to believe that it 's real , and to live your real life as if we 've run out of oil . so , when you come to the game you sign up , you tell us where you live .   \n150                                                                                                                                                                            \" honor , \" i said . \" that 's so different , and better , than obey . \"   \n149                                                                                                                                                                                           but now , do you know how many nations have a president ?   \n148                                                                                                                                                                               and first , i commend you on your model knowledge . very impressive .   \n147                                                                                                                                                                                 and then i realized one day , there 's an easier solution to this .   \n146                                                                                                                                                                   that number 's rising , and it 's rising really rapidly , and it 's disgraceful .   \n145                                                                                                     yeah . yeah . so what will happen is that , during the call you have to indicate whether or not you have the disease or not , you see . right .   \n\n     len         best_ks  \n151   53              k1  \n150   21         k1,,,k7  \n149   12  k0,k1,k3,k5,k7  \n148   15     k1,k3,k5,k7  \n147   16              k5  \n146   12              k0  \n145   40              k7  ",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>k0.sys</th>\n      <th>k1.sys</th>\n      <th>k3.sys</th>\n      <th>k5.sys</th>\n      <th>k7.sys</th>\n      <th>ref</th>\n      <th>src</th>\n      <th>len</th>\n      <th>best_ks</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>151</th>\n      <td>le manque de pétrole est fictif , mais nous avons mis assez de contenu en ligne pour croire que c' est vrai , et pour vivre votre vie comme si nous n' en sommes plus sortis du pétrole . donc , quand vous arrivez au signe que vous vous arrêtez , dites-nous où vous vivez .</td>\n      <td>la pénurie du pétrole est fictif , mais nous avons mis assez de contenu en ligne pour que vous croyiez que c' est vrai , et que vous viviez votre vie comme si nous n' avons plus d' huile . donc , quand vous arrivez au panneau , vous nous dites où vous vivez .</td>\n      <td>la pénurie du pétrole est fictif , mais nous avons mis assez de contenu en ligne pour que vous croyiez que c' est réel , et que vous viviez votre vie comme si nous n' avons plus de pétrole . donc , quand vous arrivez au panneau , vous nous dites où vous vivez .</td>\n      <td>la pénurie du pétrole est fictif , mais nous mettons assez de contenu en ligne pour que vous y croyiez que c' est réel , et que vous viviez votre vie comme si nous n' avons plus de pétrole . donc , quand vous arrivez au panneau , dites-vous où vous vivez .</td>\n      <td>la pénurie du pétrole est fictif , mais nous avons mis assez de contenu en ligne pour que vous y croyiez que c' est réel , et que vous viviez votre vie comme si nous n' avons plus de pétrole . donc , quand vous arrivez au panneau , vous nous dites où vous vivez .</td>\n      <td>la pénurie d' essence est fictive , mais nous avons incorporé suffisamment de contenu pour que vous croyiez que c' est vrai et pour que viviez comme s' il n' y avait plus d' essence . quand vous commencez le jeu , vous vous inscrivez , vous nous dites où vous vivez .</td>\n      <td>the oil shortage is fictional , but we put enough online content out there for you to believe that it 's real , and to live your real life as if we 've run out of oil . so , when you come to the game you sign up , you tell us where you live .</td>\n      <td>53</td>\n      <td>k1</td>\n    </tr>\n    <tr>\n      <th>150</th>\n      <td>&lt;unk&gt; honneur &lt;unk&gt; , j' ai dit . &lt;unk&gt; c' est tellement différent , et meilleur , que obéissance . &lt;unk&gt;</td>\n      <td>&lt;unk&gt; honneur &lt;unk&gt; , j' ai dit . &lt;unk&gt; c' est tellement différent , et meilleur , qu' obéissance . &lt;unk&gt;</td>\n      <td>&lt;unk&gt; honneur &lt;unk&gt; , j' ai dit . &lt;unk&gt; c' est tellement différent , et meilleur , que obéissance . &lt;unk&gt;</td>\n      <td>\" honneur , \" j' ai dit . \" c' est tellement différent , et mieux , que obéir . \"</td>\n      <td>&lt;unk&gt; honneur &lt;unk&gt; , j' ai dit . &lt;unk&gt; c' est tellement différent , et meilleur , qu' obéissance . &lt;unk&gt;</td>\n      <td>&lt;&lt;unk&gt;&gt; honorer &lt;&lt;unk&gt;&gt; , je me suis dit , &lt;&lt;unk&gt;&gt; c' est tellement différent , et mieux qu' obéir . &lt;&lt;unk&gt;&gt;</td>\n      <td>\" honor , \" i said . \" that 's so different , and better , than obey . \"</td>\n      <td>21</td>\n      <td>k1,,,k7</td>\n    </tr>\n    <tr>\n      <th>149</th>\n      <td>mais maintenant , savez-vous combien de nations ont un président ?</td>\n      <td>mais maintenant , savez-vous combien de nations ont un président ?</td>\n      <td>mais maintenant , savez-vous combien de nations ont un président ?</td>\n      <td>mais maintenant , savez-vous combien de nations ont un président ?</td>\n      <td>mais maintenant , savez-vous combien de nations ont un président ?</td>\n      <td>mais à présent , savez-vous combien de nations ont un président ?</td>\n      <td>but now , do you know how many nations have a president ?</td>\n      <td>12</td>\n      <td>k0,k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>148</th>\n      <td>et tout d' abord , je vous recommande sur votre modèle de modèle . très impressionnant .</td>\n      <td>et d' abord , je vous recommande de modéliser votre connaissance . très impressionnant .</td>\n      <td>et d' abord , je vous recommande de modéliser votre connaissance . très impressionnant .</td>\n      <td>et d' abord , je vous recommande de modéliser votre connaissance . très impressionnant .</td>\n      <td>et d' abord , je vous recommande de modéliser votre connaissance . très impressionnant .</td>\n      <td>et je tiens à vous féliciter pour votre connaissance des mannequins . vraiment impressionnant .</td>\n      <td>and first , i commend you on your model knowledge . very impressive .</td>\n      <td>15</td>\n      <td>k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>147</th>\n      <td>et puis j' ai réalisé un jour qu' il y a une solution plus simple à cela .</td>\n      <td>et puis je me suis rendu compte qu' un jour , il y a une solution plus facile à ça .</td>\n      <td>et puis j' ai réalisé un jour qu' il y a une solution plus facile à résoudre .</td>\n      <td>et puis j' ai réalisé qu' un jour , il y a une solution plus facile à résoudre .</td>\n      <td>et puis j' ai réalisé un jour qu' il y a une solution plus facile à résoudre .</td>\n      <td>et puis j' ai réalisé un jour , il y a une solution plus facile .</td>\n      <td>and then i realized one day , there 's an easier solution to this .</td>\n      <td>16</td>\n      <td>k5</td>\n    </tr>\n    <tr>\n      <th>146</th>\n      <td>ce nombre augmente , et augmente très rapidement , et c' est gracieux .</td>\n      <td>c' est en augmentation , et c' est en augmentation très rapidement , et c' est gracieux .</td>\n      <td>ce nombre est en augmentation , et il s' accélère très rapidement , et c' est gracieux .</td>\n      <td>ce nombre est en augmentation , et il augmente très rapidement , et c' est gracieux .</td>\n      <td>ce nombre est en augmentation , et il monte très rapidement , et c' est gracieux .</td>\n      <td>ce nombre augmente , très rapidement , et c' est indigne .</td>\n      <td>that number 's rising , and it 's rising really rapidly , and it 's disgraceful .</td>\n      <td>12</td>\n      <td>k0</td>\n    </tr>\n    <tr>\n      <th>145</th>\n      <td>oui . donc ce qui arrivera c' est que , pendant que vous devez indiquer si oui ou non vous avez la maladie ou pas , vous voyez .</td>\n      <td>oui . oui . donc ce qui va arriver , c' est que pendant que l' on demande d' indiquer si oui ou non on a la maladie ou pas , vous voyez .</td>\n      <td>oui . oui . donc ce qui va arriver , c' est que pendant que l' on demande d' indiquer si oui ou non on a la maladie ou pas , vous voyez .</td>\n      <td>oui . oui . donc ce qui va arriver , c' est que pendant que l' on demande d' indiquer si oui ou non on a la maladie ou pas , vous voyez .</td>\n      <td>oui . oui . donc ce qui va arriver , c' est que pendant que vous devez indiquer si oui ou non vous avez la maladie ou pas , vous voyez .</td>\n      <td>max little : oui . oui . ce qui va se passer , c' est que lors de l' appel , vous devrez indiquer si vous avez la maladie ou pas , vous voyez . tr : d' accord .</td>\n      <td>yeah . yeah . so what will happen is that , during the call you have to indicate whether or not you have the disease or not , you see . right .</td>\n      <td>40</td>\n      <td>k7</td>\n    </tr>\n  </tbody>\n</table>\n</div>"
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "##############################################################################################\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "                                                                                                                                                                                                                                                                                                                         k0.sys  \\\n159                                                                                                                                                                                                                                              et au cours de notre vie , ce nombre va grandir jusqu' à environ 9 milliards .   \n158                                                                                                                                                                                                                                                       aujourd' hui , le chauffeur moyen à pékin a un trajet à cinq heures .   \n157  dans un sens , les ingénieurs en tissus ont un peu de crise d' identité ici , parce que les ingénieurs structurelles construisent des ponts et de grandes choses , des ingénieurs informatiques , des ordinateurs , mais ce que nous faisons , c' est de construire des technologies permettant aux cellules elles-mêmes .   \n156                                                                                                                                                                                                                                                                                               donc , vous pouvez le faire .   \n155                                                                                                                                                       parce que cela signifie que pour la première fois dans l' histoire de l' espèce , la majorité des bébés nés dans les pays développés ont l' opportunité de vieillir .   \n154                                                                                                                                                                                                                                                                                  donc vous avez obtenu cette bourse . oui .   \n153                                                                                                                                                                                               il s' avère que le mot bonheur n' est plus seulement un mot utile parce que nous l' appliquons à trop de choses différentes .   \n\n                                                                                                                                                                                                                                                                                     k1.sys  \\\n159                                                                                                                                                                                                        et au cours de notre vie , ce nombre va augmenter jusqu' à environ 9 milliards .   \n158                                                                                                                                                                                                                 aujourd' hui , le chauffeur moyen à beijing a un trajet à cinq heures .   \n157  dans un sens , les ingénieurs de tissus ont une sorte de crise d' identité , parce que les ingénieurs en forme de ponts et de choses formidables , les ingénieurs , les ordinateurs , mais ce que nous faisons , c' est de construire des technologies pour les cellules elles-mêmes .   \n156                                                                                                                                                                                                                                                           donc , vous pouvez le faire .   \n155                                                                                                                   parce que cela signifie que pour la première fois dans l' histoire de l' espèce , la majorité des bébés nés dans les pays développés ont l' opportunité de vieillir .   \n154                                                                                                                                                                                                                                              donc vous avez obtenu cette bourse . oui .   \n153                                                                                                                                                                     il s' avère que le bonheur n' est plus qu' un mot utile parce que nous l' appliquons à trop de choses différentes .   \n\n                                                                                                                                                                                                                                                                                     k3.sys  \\\n159                                                                                                                                                                                                          et au cours de notre vie , ce nombre va grandir jusqu' à environ 9 milliards .   \n158                                                                                                                                                                                                                 aujourd' hui , le chauffeur moyen à beijing a un trajet à cinq heures .   \n157  dans un sens , les ingénieurs de tissus ont une sorte de crise d' identité , parce que les ingénieurs en forme de ponts et de choses formidables , les ingénieurs , les ordinateurs , mais ce que nous faisons , c' est de construire des technologies pour les cellules elles-mêmes .   \n156                                                                                                                                                                                                                                                           donc , vous pouvez le faire .   \n155                                                                                                                   parce que cela signifie que pour la première fois dans l' histoire de l' espèce , la majorité des bébés nés dans les pays développés ont l' opportunité de vieillir .   \n154                                                                                                                                                                                                                                              donc vous avez obtenu cette bourse . oui .   \n153                                                                                                                                                                 il s' avère que le mot bonheur n' est plus qu' un mot utile parce que nous l' appliquons à trop de choses différentes .   \n\n                                                                                                                                                                                                                                                                                            k5.sys  \\\n159                                                                                                                                                                                                                 et au cours de notre vie , ce nombre va grandir jusqu' à environ 9 milliards .   \n158                                                                                                                                                                                                                        aujourd' hui , le chauffeur moyen à beijing a un trajet à cinq heures .   \n157  dans un sens , les ingénieurs de tissus ont une sorte de crise d' identité , parce que les ingénieurs en forme de construction et de choses formidables , les ingénieurs , les ordinateurs , mais ce que nous faisons , c' est de construire des technologies pour les cellules elles-mêmes .   \n156                                                                                                                                                                                                                                                                  donc , vous pouvez le faire .   \n155                                                                                                                          parce que cela signifie que pour la première fois dans l' histoire de l' espèce , la majorité des bébés nés dans les pays développés ont l' opportunité de vieillir .   \n154                                                                                                                                                                                                                                                     donc vous avez obtenu cette bourse . oui .   \n153                                                                                                                                                                        il s' avère que le mot bonheur n' est plus qu' un mot utile parce que nous l' appliquons à trop de choses différentes .   \n\n                                                                                                                                                                                                                                                                                     k7.sys  \\\n159                                                                                                                                                                                                          et au cours de notre vie , ce nombre va grandir jusqu' à environ 9 milliards .   \n158                                                                                                                                                                                                                 aujourd' hui , le chauffeur moyen à beijing a un trajet à cinq heures .   \n157  dans un sens , les ingénieurs de tissus ont une sorte de crise d' identité , parce que les ingénieurs en forme de ponts et de choses formidables , les ingénieurs , les ordinateurs , mais ce que nous faisons , c' est de construire des technologies pour les cellules elles-mêmes .   \n156                                                                                                                                                                                                                                                           donc , vous pouvez le faire .   \n155                                                                                                                   parce que cela signifie que pour la première fois dans l' histoire de l' espèce , la majorité des bébés nés dans les pays développés ont l' opportunité de vieillir .   \n154                                                                                                                                                                                                                                              donc vous avez obtenu cette bourse . oui .   \n153                                                                                                                                                                 il s' avère que le mot bonheur n' est plus qu' un mot utile parce que nous l' appliquons à trop de choses différentes .   \n\n                                                                                                                                                                                                                                                                                                                   ref  \\\n159                                                                                                                                                                                                                                  et au cours de notre vie , ce chiffre va augmenter jusqu' à environ 9 milliards .   \n158                                                                                                                                                                                                                               aujourd' hui , le conducteur moyen à pékin passe 5 heures par jour dans sa voiture .   \n157  dans un sens , les ingénieurs des tissus ont une petite crise d' identité ici , parce que les ingénieurs des structures construisent des ponts et des grandes choses , les informaticiens , des ordinateurs , mais nous , en fait , nous construisons des technologies innovantes pour les cellules elles-mêmes .   \n156                                                                                                                                                                                                                                                                                             vous pouvez le faire .   \n155                                                                                                                              parce que ce que ça signifie que pour la première fois dans l' histoire de notre espèce , la majorité des bébés qui naissent dans le monde développé ont l' opportunité de vieillir .   \n154                                                                                                                                                                                                                                                                               donc tu as reçu cette bourse . oui .   \n153                                                                                                                                                                               cela provient du fait que le mot \" bonheur \" n' est simplement plus un mot utile , parce que nous l' utilisons pour trop de choses .   \n\n                                                                                                                                                                                                                                                                src  \\\n159                                                                                                                                                                                  and within our lifetime , that number 's going to grow to about nine billion .   \n158                                                                                                                                                                                                   today the average driver in beijing has a five-hour commute .   \n157  in a sense , tissue engineers have a bit of an identity crisis here , because structural engineers build bridges and big things , computer engineers , computers , but what we are doing is actually building enabling technologies for the cells themselves .   \n156                                                                                                                                                                                                                                            so , you can do it .   \n155                                                                                  because what that means is that for the first time in the history of the species , the majority of babies born in the developed world are having the opportunity to grow old .   \n154                                                                                                                                                                                                                             so you got this scholarship . yep .   \n153                                                                                                                                       it turns out that the word happiness is just not a useful word anymore because we apply it to too many different things .   \n\n     len         best_ks  \n159   17              k1  \n158   17              k0  \n157   52              k0  \n156    5  k0,k1,k3,k5,k7  \n155   34  k0,k1,k3,k5,k7  \n154    9  k0,k1,k3,k5,k7  \n153   28              k0  ",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>k0.sys</th>\n      <th>k1.sys</th>\n      <th>k3.sys</th>\n      <th>k5.sys</th>\n      <th>k7.sys</th>\n      <th>ref</th>\n      <th>src</th>\n      <th>len</th>\n      <th>best_ks</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>159</th>\n      <td>et au cours de notre vie , ce nombre va grandir jusqu' à environ 9 milliards .</td>\n      <td>et au cours de notre vie , ce nombre va augmenter jusqu' à environ 9 milliards .</td>\n      <td>et au cours de notre vie , ce nombre va grandir jusqu' à environ 9 milliards .</td>\n      <td>et au cours de notre vie , ce nombre va grandir jusqu' à environ 9 milliards .</td>\n      <td>et au cours de notre vie , ce nombre va grandir jusqu' à environ 9 milliards .</td>\n      <td>et au cours de notre vie , ce chiffre va augmenter jusqu' à environ 9 milliards .</td>\n      <td>and within our lifetime , that number 's going to grow to about nine billion .</td>\n      <td>17</td>\n      <td>k1</td>\n    </tr>\n    <tr>\n      <th>158</th>\n      <td>aujourd' hui , le chauffeur moyen à pékin a un trajet à cinq heures .</td>\n      <td>aujourd' hui , le chauffeur moyen à beijing a un trajet à cinq heures .</td>\n      <td>aujourd' hui , le chauffeur moyen à beijing a un trajet à cinq heures .</td>\n      <td>aujourd' hui , le chauffeur moyen à beijing a un trajet à cinq heures .</td>\n      <td>aujourd' hui , le chauffeur moyen à beijing a un trajet à cinq heures .</td>\n      <td>aujourd' hui , le conducteur moyen à pékin passe 5 heures par jour dans sa voiture .</td>\n      <td>today the average driver in beijing has a five-hour commute .</td>\n      <td>17</td>\n      <td>k0</td>\n    </tr>\n    <tr>\n      <th>157</th>\n      <td>dans un sens , les ingénieurs en tissus ont un peu de crise d' identité ici , parce que les ingénieurs structurelles construisent des ponts et de grandes choses , des ingénieurs informatiques , des ordinateurs , mais ce que nous faisons , c' est de construire des technologies permettant aux cellules elles-mêmes .</td>\n      <td>dans un sens , les ingénieurs de tissus ont une sorte de crise d' identité , parce que les ingénieurs en forme de ponts et de choses formidables , les ingénieurs , les ordinateurs , mais ce que nous faisons , c' est de construire des technologies pour les cellules elles-mêmes .</td>\n      <td>dans un sens , les ingénieurs de tissus ont une sorte de crise d' identité , parce que les ingénieurs en forme de ponts et de choses formidables , les ingénieurs , les ordinateurs , mais ce que nous faisons , c' est de construire des technologies pour les cellules elles-mêmes .</td>\n      <td>dans un sens , les ingénieurs de tissus ont une sorte de crise d' identité , parce que les ingénieurs en forme de construction et de choses formidables , les ingénieurs , les ordinateurs , mais ce que nous faisons , c' est de construire des technologies pour les cellules elles-mêmes .</td>\n      <td>dans un sens , les ingénieurs de tissus ont une sorte de crise d' identité , parce que les ingénieurs en forme de ponts et de choses formidables , les ingénieurs , les ordinateurs , mais ce que nous faisons , c' est de construire des technologies pour les cellules elles-mêmes .</td>\n      <td>dans un sens , les ingénieurs des tissus ont une petite crise d' identité ici , parce que les ingénieurs des structures construisent des ponts et des grandes choses , les informaticiens , des ordinateurs , mais nous , en fait , nous construisons des technologies innovantes pour les cellules elles-mêmes .</td>\n      <td>in a sense , tissue engineers have a bit of an identity crisis here , because structural engineers build bridges and big things , computer engineers , computers , but what we are doing is actually building enabling technologies for the cells themselves .</td>\n      <td>52</td>\n      <td>k0</td>\n    </tr>\n    <tr>\n      <th>156</th>\n      <td>donc , vous pouvez le faire .</td>\n      <td>donc , vous pouvez le faire .</td>\n      <td>donc , vous pouvez le faire .</td>\n      <td>donc , vous pouvez le faire .</td>\n      <td>donc , vous pouvez le faire .</td>\n      <td>vous pouvez le faire .</td>\n      <td>so , you can do it .</td>\n      <td>5</td>\n      <td>k0,k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>155</th>\n      <td>parce que cela signifie que pour la première fois dans l' histoire de l' espèce , la majorité des bébés nés dans les pays développés ont l' opportunité de vieillir .</td>\n      <td>parce que cela signifie que pour la première fois dans l' histoire de l' espèce , la majorité des bébés nés dans les pays développés ont l' opportunité de vieillir .</td>\n      <td>parce que cela signifie que pour la première fois dans l' histoire de l' espèce , la majorité des bébés nés dans les pays développés ont l' opportunité de vieillir .</td>\n      <td>parce que cela signifie que pour la première fois dans l' histoire de l' espèce , la majorité des bébés nés dans les pays développés ont l' opportunité de vieillir .</td>\n      <td>parce que cela signifie que pour la première fois dans l' histoire de l' espèce , la majorité des bébés nés dans les pays développés ont l' opportunité de vieillir .</td>\n      <td>parce que ce que ça signifie que pour la première fois dans l' histoire de notre espèce , la majorité des bébés qui naissent dans le monde développé ont l' opportunité de vieillir .</td>\n      <td>because what that means is that for the first time in the history of the species , the majority of babies born in the developed world are having the opportunity to grow old .</td>\n      <td>34</td>\n      <td>k0,k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>154</th>\n      <td>donc vous avez obtenu cette bourse . oui .</td>\n      <td>donc vous avez obtenu cette bourse . oui .</td>\n      <td>donc vous avez obtenu cette bourse . oui .</td>\n      <td>donc vous avez obtenu cette bourse . oui .</td>\n      <td>donc vous avez obtenu cette bourse . oui .</td>\n      <td>donc tu as reçu cette bourse . oui .</td>\n      <td>so you got this scholarship . yep .</td>\n      <td>9</td>\n      <td>k0,k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>153</th>\n      <td>il s' avère que le mot bonheur n' est plus seulement un mot utile parce que nous l' appliquons à trop de choses différentes .</td>\n      <td>il s' avère que le bonheur n' est plus qu' un mot utile parce que nous l' appliquons à trop de choses différentes .</td>\n      <td>il s' avère que le mot bonheur n' est plus qu' un mot utile parce que nous l' appliquons à trop de choses différentes .</td>\n      <td>il s' avère que le mot bonheur n' est plus qu' un mot utile parce que nous l' appliquons à trop de choses différentes .</td>\n      <td>il s' avère que le mot bonheur n' est plus qu' un mot utile parce que nous l' appliquons à trop de choses différentes .</td>\n      <td>cela provient du fait que le mot \" bonheur \" n' est simplement plus un mot utile , parce que nous l' utilisons pour trop de choses .</td>\n      <td>it turns out that the word happiness is just not a useful word anymore because we apply it to too many different things .</td>\n      <td>28</td>\n      <td>k0</td>\n    </tr>\n  </tbody>\n</table>\n</div>"
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "##############################################################################################\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "                                                                                                                                                                                                k0.sys  \\\n209  aucune jalousie , non . et maintenant , je veux dire , je sais que c' est à la mode de dire que le proust a les réponses à tout , mais dans le cas de la jalousie , il le fait en quelque sorte .   \n208                                                                                                                                                            qu' en est-il des nombres plus grands ?   \n207                                                                        c' est noël , vous êtes au centre commercial , vous conduisez dans des cercles cherchant des parkings , et que voyez-vous ?   \n206                                                                                                                       le personnage à gauche est deux montagnes empilées les unes sur les autres .   \n205                                                                                                                                                                   diphtheria , rubella , polio ...   \n204                                                                                                                            et cela vous rappelle que vous voudriez introduire votre ami cuisiner .   \n203                                                                                                                                                              ça n' a pas commencé cette tendance .   \n\n                                                                                                                                                                                                       k1.sys  \\\n209  pas de jalousie , pas de proust . maintenant , je veux dire , je sais que c' est à la mode de dire que le proust a les réponses à tout , mais dans le cas de la jalousie , il le fait en quelque sorte .   \n208                                                                                                                                                                   qu' en est-il des nombres plus grands ?   \n207                                                                                  c' est la noël de noël , vous êtes au centre commercial , vous conduisez à la recherche de cercles , et que voyez-vous ?   \n206                                                                                                                              le personnage à gauche est deux montagnes empilées les unes sur les autres .   \n205                                                                                                                                                                             dieu , rubella , la polio ...   \n204                                                                                                                              et cela vous rappelle que vous voudriez alors présenter votre ami cuisiner .   \n203                                                                                                                                                                     ça n' a pas commencé cette tendance .   \n\n                                                                                                                                                                                                          k3.sys  \\\n209  pas de jalousie , pas de proust . et maintenant , je veux dire , je sais que c' est à la mode de dire que le proust a les réponses à tout , mais dans le cas de la jalousie , il le fait en quelque sorte .   \n208                                                                                                                                                                      qu' en est-il des nombres plus grands ?   \n207                                                                   c' est la noël de noël , vous êtes au centre commercial , vous conduisez dans des cercles pour chercher des parkings , et que voyez-vous ?   \n206                                                                                                                                 le personnage à gauche est deux montagnes empilées les unes sur les autres .   \n205                                                                                                                                                                          diphtheria , rubella , la polio ...   \n204                                                                                                                                 et cela vous rappelle que vous voudriez alors présenter votre ami cuisiner .   \n203                                                                                                                                                                        ça n' a pas commencé cette tendance .   \n\n                                                                                                                                                                                                          k5.sys  \\\n209  pas de jalousie , pas de proust . et maintenant , je veux dire , je sais que c' est à la mode de dire que le proust a les réponses à tout , mais dans le cas de la jalousie , il le fait en quelque sorte .   \n208                                                                                                                                                                      qu' en est-il des nombres plus grands ?   \n207                                                                    c' est la noël de noël , vous êtes au centre commercial , vous conduisez dans des cercles à la recherche de parking , et que voyez-vous ?   \n206                                                                                                                                 le personnage à gauche est deux montagnes empilées les unes sur les autres .   \n205                                                                                                                                                                                dieu , rubella , la polio ...   \n204                                                                                                                                 et cela vous rappelle que vous voudriez alors présenter votre ami cuisiner .   \n203                                                                                                                                                                        ça n' a pas commencé cette tendance .   \n\n                                                                                                                                                                                                k7.sys  \\\n209  aucune jalousie , non . et maintenant , je veux dire , je sais que c' est à la mode de dire que le proust a les réponses à tout , mais dans le cas de la jalousie , il le fait en quelque sorte .   \n208                                                                                                                                                            qu' en est-il des nombres plus grands ?   \n207                                                                           c' est la noël de noël , tu es au centre commercial , tu conduis à la recherche de cercles , et qu' est-ce que tu vois ?   \n206                                                                                                                       le personnage à gauche est deux montagnes empilées les unes sur les autres .   \n205                                                                                                                                                                      dieu , rubella , la polio ...   \n204                                                                                                                       et cela vous rappelle que vous voudriez alors présenter votre ami cuisiner .   \n203                                                                                                                                                              ça n' a pas commencé cette tendance .   \n\n                                                                                                                                                                                 ref  \\\n209  pas de jalousie , pas de proust . bien sûr , je sais que c' est à la mode de dire que proust détient la réponse à tout . mais dans le cas de la jalousie , c' est un peu vrai .   \n208                                                                                                                                                          et les grands nombres ?   \n207                              c' est la veille de noël , vous êtes au centre commercial , vous tournez en rond pour trouver une place de parking , et qu' est-ce que vous voyez ?   \n206                                                                                                  le caractère sur la gauche c' est deux montagnes l' une au-dessus de l' autre .   \n205                                                                                                                                         la diphtérie , la rubéole , la polio ...   \n204                                                                                                         et cela vous rappellerait que vous voulez introduire votre ami ed cook .   \n203                                                                                                                                              il n' a pas initié cette tendance .   \n\n                                                                                                                                                                          src  \\\n209  no jealousy , no proust . and now , i mean , i know it 's fashionable to say that proust has the answers to everything , but in the case of jealousy , he kind of does .   \n208                                                                                                                                               what about bigger numbers ?   \n207                                                 it 's christmas eve , you 're at the mall , you 're driving around in circles looking for parking , and what do you see ?   \n206                                                                                                 the character on the left is two mountains stacked on top of each other .   \n205                                                                                                                                          diphtheria , rubella , polio ...   \n204                                                                                     and that would remind you that you would want to then introduce your friend ed cook .   \n203                                                                                                                                             it did not start that trend .   \n\n     len         best_ks  \n209   43              k1  \n208    5  k0,k1,k3,k5,k7  \n207   31              k3  \n206   16  k0,k1,k3,k5,k7  \n205    9              k3  \n204   13              k0  \n203    8  k0,k1,k3,k5,k7  ",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>k0.sys</th>\n      <th>k1.sys</th>\n      <th>k3.sys</th>\n      <th>k5.sys</th>\n      <th>k7.sys</th>\n      <th>ref</th>\n      <th>src</th>\n      <th>len</th>\n      <th>best_ks</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>209</th>\n      <td>aucune jalousie , non . et maintenant , je veux dire , je sais que c' est à la mode de dire que le proust a les réponses à tout , mais dans le cas de la jalousie , il le fait en quelque sorte .</td>\n      <td>pas de jalousie , pas de proust . maintenant , je veux dire , je sais que c' est à la mode de dire que le proust a les réponses à tout , mais dans le cas de la jalousie , il le fait en quelque sorte .</td>\n      <td>pas de jalousie , pas de proust . et maintenant , je veux dire , je sais que c' est à la mode de dire que le proust a les réponses à tout , mais dans le cas de la jalousie , il le fait en quelque sorte .</td>\n      <td>pas de jalousie , pas de proust . et maintenant , je veux dire , je sais que c' est à la mode de dire que le proust a les réponses à tout , mais dans le cas de la jalousie , il le fait en quelque sorte .</td>\n      <td>aucune jalousie , non . et maintenant , je veux dire , je sais que c' est à la mode de dire que le proust a les réponses à tout , mais dans le cas de la jalousie , il le fait en quelque sorte .</td>\n      <td>pas de jalousie , pas de proust . bien sûr , je sais que c' est à la mode de dire que proust détient la réponse à tout . mais dans le cas de la jalousie , c' est un peu vrai .</td>\n      <td>no jealousy , no proust . and now , i mean , i know it 's fashionable to say that proust has the answers to everything , but in the case of jealousy , he kind of does .</td>\n      <td>43</td>\n      <td>k1</td>\n    </tr>\n    <tr>\n      <th>208</th>\n      <td>qu' en est-il des nombres plus grands ?</td>\n      <td>qu' en est-il des nombres plus grands ?</td>\n      <td>qu' en est-il des nombres plus grands ?</td>\n      <td>qu' en est-il des nombres plus grands ?</td>\n      <td>qu' en est-il des nombres plus grands ?</td>\n      <td>et les grands nombres ?</td>\n      <td>what about bigger numbers ?</td>\n      <td>5</td>\n      <td>k0,k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>207</th>\n      <td>c' est noël , vous êtes au centre commercial , vous conduisez dans des cercles cherchant des parkings , et que voyez-vous ?</td>\n      <td>c' est la noël de noël , vous êtes au centre commercial , vous conduisez à la recherche de cercles , et que voyez-vous ?</td>\n      <td>c' est la noël de noël , vous êtes au centre commercial , vous conduisez dans des cercles pour chercher des parkings , et que voyez-vous ?</td>\n      <td>c' est la noël de noël , vous êtes au centre commercial , vous conduisez dans des cercles à la recherche de parking , et que voyez-vous ?</td>\n      <td>c' est la noël de noël , tu es au centre commercial , tu conduis à la recherche de cercles , et qu' est-ce que tu vois ?</td>\n      <td>c' est la veille de noël , vous êtes au centre commercial , vous tournez en rond pour trouver une place de parking , et qu' est-ce que vous voyez ?</td>\n      <td>it 's christmas eve , you 're at the mall , you 're driving around in circles looking for parking , and what do you see ?</td>\n      <td>31</td>\n      <td>k3</td>\n    </tr>\n    <tr>\n      <th>206</th>\n      <td>le personnage à gauche est deux montagnes empilées les unes sur les autres .</td>\n      <td>le personnage à gauche est deux montagnes empilées les unes sur les autres .</td>\n      <td>le personnage à gauche est deux montagnes empilées les unes sur les autres .</td>\n      <td>le personnage à gauche est deux montagnes empilées les unes sur les autres .</td>\n      <td>le personnage à gauche est deux montagnes empilées les unes sur les autres .</td>\n      <td>le caractère sur la gauche c' est deux montagnes l' une au-dessus de l' autre .</td>\n      <td>the character on the left is two mountains stacked on top of each other .</td>\n      <td>16</td>\n      <td>k0,k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>205</th>\n      <td>diphtheria , rubella , polio ...</td>\n      <td>dieu , rubella , la polio ...</td>\n      <td>diphtheria , rubella , la polio ...</td>\n      <td>dieu , rubella , la polio ...</td>\n      <td>dieu , rubella , la polio ...</td>\n      <td>la diphtérie , la rubéole , la polio ...</td>\n      <td>diphtheria , rubella , polio ...</td>\n      <td>9</td>\n      <td>k3</td>\n    </tr>\n    <tr>\n      <th>204</th>\n      <td>et cela vous rappelle que vous voudriez introduire votre ami cuisiner .</td>\n      <td>et cela vous rappelle que vous voudriez alors présenter votre ami cuisiner .</td>\n      <td>et cela vous rappelle que vous voudriez alors présenter votre ami cuisiner .</td>\n      <td>et cela vous rappelle que vous voudriez alors présenter votre ami cuisiner .</td>\n      <td>et cela vous rappelle que vous voudriez alors présenter votre ami cuisiner .</td>\n      <td>et cela vous rappellerait que vous voulez introduire votre ami ed cook .</td>\n      <td>and that would remind you that you would want to then introduce your friend ed cook .</td>\n      <td>13</td>\n      <td>k0</td>\n    </tr>\n    <tr>\n      <th>203</th>\n      <td>ça n' a pas commencé cette tendance .</td>\n      <td>ça n' a pas commencé cette tendance .</td>\n      <td>ça n' a pas commencé cette tendance .</td>\n      <td>ça n' a pas commencé cette tendance .</td>\n      <td>ça n' a pas commencé cette tendance .</td>\n      <td>il n' a pas initié cette tendance .</td>\n      <td>it did not start that trend .</td>\n      <td>8</td>\n      <td>k0,k1,k3,k5,k7</td>\n    </tr>\n  </tbody>\n</table>\n</div>"
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "##############################################################################################\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "                                                                                                                                                                                                   k0.sys  \\\n228  parce que je soupçonne qu' il y a des traitements chirurgiens classiques probablement aux etats-unis qui coûtent plus cher d' un patient que le coût d' entre nous venant de mon rêve à ma réalité .   \n227                                                                                                                                                                                               merci .   \n226                                                                                    et si jamais vous vous demandez , \" si j' ai des cheveux plus mince et plus brillants , serais-je plus heureux ? \"   \n225                                                                                      mais vous pouvez vous cacher les uns des autres , même si nous sommes constamment connectés les uns aux autres .   \n224                                                                                                                                                                            ils tuent donc les lions .   \n223                                                                                                                                                                               c' est une idée folle .   \n222                                                                                                                                                                               et c' est plus limité .   \n\n                                                                                                                                                                                                                 k1.sys  \\\n228  parce que je soupçonne qu' il y a des traitements chirurgiens classiques probablement aux etats-unis qui coûtent plus cher que le coût d' un patient unique que celui que nous recevons de mon rêve à ma réalité .   \n227                                                                                                                                                                                                             merci .   \n226                                                                                      et si jamais vous vous demandez , \" si j' ai de plus en plus de cheveux et de cheveux plus petits , serais-je plus heureux ? \"   \n225                                                                                                             mais on peut se cacher les uns des autres , même quand on est constamment connecté les uns aux autres .   \n224                                                                                                                                                                                          ils tuent donc les lions .   \n223                                                                                                                                                                                             c' est une idée folle .   \n222                                                                                                                                                                                             et c' est plus limité .   \n\n                                                                                                                                                                                         k3.sys  \\\n228  parce que je soupçonne qu' il y a des traitements chirurgiens classiques probablement aux etats-unis qui coûtent plus cher que le coût de chacun d' entre nous de mes rêves à ma réalité .   \n227                                                                                                                                                                                     merci .   \n226                                                              et si jamais vous vous demandez , \" si j' ai de plus en plus de cheveux et de cheveux plus petits , serais-je plus heureux ? \"   \n225                                                                                     mais on peut se cacher les uns des autres , même quand on est constamment connecté les uns aux autres .   \n224                                                                                                                                                                  ils tuent donc les lions .   \n223                                                                                                                                                                     c' est une idée folle .   \n222                                                                                                                                                                     et c' est plus limité .   \n\n                                                                                                                                                                                                          k5.sys  \\\n228  parce que je soupçonne qu' il y a des traitements chirurgiens classiques probablement aux etats-unis qui coûtent plus cher que le coût d' un patient que celui que nous obtenons de mon rêve à ma réalité .   \n227                                                                                                                                                                                                      merci .   \n226                                                                       et si jamais vous vous demandez , \" si j' ai des cheveux plus grands et des cheveux plus petits , est-ce que je serai plus heureux ? \"   \n225                                                                                             mais vous pouvez vous cacher les uns des autres , même si nous sommes constamment connectés les uns aux autres .   \n224                                                                                                                                                                                   ils tuent donc les lions .   \n223                                                                                                                                                                                      c' est une idée folle .   \n222                                                                                                                                                                                      et c' est plus limité .   \n\n                                                                                                                                                                                                         k7.sys  \\\n228  parce que je soupçonne qu' il y a des traitements chirurgiens classiques probablement aux etats-unis qui coûtent plus cher que le coût d' un seul patient que celui d' entre nous qui rêve de ma réalité .   \n227                                                                                                                                                                                                     merci .   \n226                                                                             et si jamais vous vous demandez , \" si j' ai des cheveux plus grands et des cheveux plus brillants , serais-je plus heureux ? \"   \n225                                                                                            mais vous pouvez vous cacher les uns des autres , même si nous sommes constamment connectés les uns aux autres .   \n224                                                                                                                                                                                  ils tuent donc les lions .   \n223                                                                                                                                                                                     c' est une idée folle .   \n222                                                                                                                                                                                     et c' est plus limité .   \n\n                                                                                                                                                                                                                      ref  \\\n228  parce que je soupçonne qu' il y a des traitements chirurgicaux absolument classiques sans doute aux etats-unis qui coûtent plus pour un patient unique que le coût pour nous de transformer mon rêve en ma réalité .   \n227                                                                                                                                                                                                               merci .   \n226                                                                                                                  et si vous vous demandez si vous seriez plus heureux plus mince et avec des cheveux plus brillants ,   \n225                                                                        mais vous pouvez vous retrouver à vous cacher l' un de l' autre , alors même que nous sommes tous connectés en permanence les uns aux autres .   \n224                                                                                                                                                                                           alors ils tuent les lions .   \n223                                                                                                                                                                                        c' est une idée un peu folle .   \n222                                                                                                                                                                                               et c' est plus limité .   \n\n                                                                                                                                                                                         src  \\\n228  because i suspect there are absolutely standard surgical treatments probably in the usa which cost more for a one-off patient than the cost of us getting from my dream to my reality .   \n227                                                                                                                                                                              thank you .   \n226                                                                                      and if you ever are wondering , \" if i have thinner thighs and shinier hair , will i be happier ? \"   \n225                                                                                      but you can end up hiding from each other , even as we 're all constantly connected to each other .   \n224                                                                                                                                                                 so they kill the lions .   \n223                                                                                                                                                             it is kind of a crazy idea .   \n222                                                                                                                                                               and that 's more limited .   \n\n     len         best_ks  \n228   37              k1  \n227    2  k0,k1,k3,k5,k7  \n226   19              k0  \n225   28      k0,,,k5,k7  \n224    6  k0,k1,k3,k5,k7  \n223    8  k0,k1,k3,k5,k7  \n222    6           k5,k7  ",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>k0.sys</th>\n      <th>k1.sys</th>\n      <th>k3.sys</th>\n      <th>k5.sys</th>\n      <th>k7.sys</th>\n      <th>ref</th>\n      <th>src</th>\n      <th>len</th>\n      <th>best_ks</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>228</th>\n      <td>parce que je soupçonne qu' il y a des traitements chirurgiens classiques probablement aux etats-unis qui coûtent plus cher d' un patient que le coût d' entre nous venant de mon rêve à ma réalité .</td>\n      <td>parce que je soupçonne qu' il y a des traitements chirurgiens classiques probablement aux etats-unis qui coûtent plus cher que le coût d' un patient unique que celui que nous recevons de mon rêve à ma réalité .</td>\n      <td>parce que je soupçonne qu' il y a des traitements chirurgiens classiques probablement aux etats-unis qui coûtent plus cher que le coût de chacun d' entre nous de mes rêves à ma réalité .</td>\n      <td>parce que je soupçonne qu' il y a des traitements chirurgiens classiques probablement aux etats-unis qui coûtent plus cher que le coût d' un patient que celui que nous obtenons de mon rêve à ma réalité .</td>\n      <td>parce que je soupçonne qu' il y a des traitements chirurgiens classiques probablement aux etats-unis qui coûtent plus cher que le coût d' un seul patient que celui d' entre nous qui rêve de ma réalité .</td>\n      <td>parce que je soupçonne qu' il y a des traitements chirurgicaux absolument classiques sans doute aux etats-unis qui coûtent plus pour un patient unique que le coût pour nous de transformer mon rêve en ma réalité .</td>\n      <td>because i suspect there are absolutely standard surgical treatments probably in the usa which cost more for a one-off patient than the cost of us getting from my dream to my reality .</td>\n      <td>37</td>\n      <td>k1</td>\n    </tr>\n    <tr>\n      <th>227</th>\n      <td>merci .</td>\n      <td>merci .</td>\n      <td>merci .</td>\n      <td>merci .</td>\n      <td>merci .</td>\n      <td>merci .</td>\n      <td>thank you .</td>\n      <td>2</td>\n      <td>k0,k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>226</th>\n      <td>et si jamais vous vous demandez , \" si j' ai des cheveux plus mince et plus brillants , serais-je plus heureux ? \"</td>\n      <td>et si jamais vous vous demandez , \" si j' ai de plus en plus de cheveux et de cheveux plus petits , serais-je plus heureux ? \"</td>\n      <td>et si jamais vous vous demandez , \" si j' ai de plus en plus de cheveux et de cheveux plus petits , serais-je plus heureux ? \"</td>\n      <td>et si jamais vous vous demandez , \" si j' ai des cheveux plus grands et des cheveux plus petits , est-ce que je serai plus heureux ? \"</td>\n      <td>et si jamais vous vous demandez , \" si j' ai des cheveux plus grands et des cheveux plus brillants , serais-je plus heureux ? \"</td>\n      <td>et si vous vous demandez si vous seriez plus heureux plus mince et avec des cheveux plus brillants ,</td>\n      <td>and if you ever are wondering , \" if i have thinner thighs and shinier hair , will i be happier ? \"</td>\n      <td>19</td>\n      <td>k0</td>\n    </tr>\n    <tr>\n      <th>225</th>\n      <td>mais vous pouvez vous cacher les uns des autres , même si nous sommes constamment connectés les uns aux autres .</td>\n      <td>mais on peut se cacher les uns des autres , même quand on est constamment connecté les uns aux autres .</td>\n      <td>mais on peut se cacher les uns des autres , même quand on est constamment connecté les uns aux autres .</td>\n      <td>mais vous pouvez vous cacher les uns des autres , même si nous sommes constamment connectés les uns aux autres .</td>\n      <td>mais vous pouvez vous cacher les uns des autres , même si nous sommes constamment connectés les uns aux autres .</td>\n      <td>mais vous pouvez vous retrouver à vous cacher l' un de l' autre , alors même que nous sommes tous connectés en permanence les uns aux autres .</td>\n      <td>but you can end up hiding from each other , even as we 're all constantly connected to each other .</td>\n      <td>28</td>\n      <td>k0,,,k5,k7</td>\n    </tr>\n    <tr>\n      <th>224</th>\n      <td>ils tuent donc les lions .</td>\n      <td>ils tuent donc les lions .</td>\n      <td>ils tuent donc les lions .</td>\n      <td>ils tuent donc les lions .</td>\n      <td>ils tuent donc les lions .</td>\n      <td>alors ils tuent les lions .</td>\n      <td>so they kill the lions .</td>\n      <td>6</td>\n      <td>k0,k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>223</th>\n      <td>c' est une idée folle .</td>\n      <td>c' est une idée folle .</td>\n      <td>c' est une idée folle .</td>\n      <td>c' est une idée folle .</td>\n      <td>c' est une idée folle .</td>\n      <td>c' est une idée un peu folle .</td>\n      <td>it is kind of a crazy idea .</td>\n      <td>8</td>\n      <td>k0,k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>222</th>\n      <td>et c' est plus limité .</td>\n      <td>et c' est plus limité .</td>\n      <td>et c' est plus limité .</td>\n      <td>et c' est plus limité .</td>\n      <td>et c' est plus limité .</td>\n      <td>et c' est plus limité .</td>\n      <td>and that 's more limited .</td>\n      <td>6</td>\n      <td>k5,k7</td>\n    </tr>\n  </tbody>\n</table>\n</div>"
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "##############################################################################################\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "                                                                                                                                                                                                                                                               k0.sys  \\\n240  ce qui a débuté en tant qu' idée , c' est maintenant implémenter des millions de séquences que nous pouvons utiliser pour étudier l' évolution de l' évolution de la santé humaine et de la maladie , directement vers le code génétique des agents pathogènes .   \n239                                                                                                                                                                   et donc , nous sommes dans une situation merveilleuse avec l' électricité dans le monde riche .   \n238                                                         et il dit qu' il ne veut pas interrompre ses collègues parce qu' il dit , \" ils sont trop occupés sur leur e-mail . \" mais ensuite il s' arrête et il dit , \" vous savez , je ne vous dis pas la vérité .   \n237                                                                                                                                                                   et je voulais vraiment trouver une solution qui répondrait aux conditions climatiques locales .   \n236                                                                                                                                                                                                  et je peux vous dire que c' est une expérience transformatrice .   \n235                                                                                                                                                                                                                                                       ok ? mmmm ?   \n234                                                                                                                                                    et c' est pourquoi beaucoup d' entre vous ont un chien à la maison , qui a toutes ces caractéristiques aussi .   \n\n                                                                                                                                                                                                                                                                                               k1.sys  \\\n240  donc ce qui a débuté en tant qu' idée , c' est d' être mis en place pour produire des millions de séquences que nous pouvons utiliser pour étudier l' évolution de l' évolution à long terme de la santé humaine et de la maladie , directement jusqu' au code génétique des agents pathogènes .   \n239                                                                                                                                                                                                   et donc , nous sommes dans une situation merveilleuse avec l' électricité dans le monde riche .   \n238                                                                                     et il dit qu' il ne veut pas interrompre ses collègues parce qu' il dit , \" ils sont trop occupés pour leurs emails . \" mais ensuite il s' arrête et dit , \" vous savez , je ne vous parle pas de la vérité .   \n237                                                                                                                                                                                                   et je voulais vraiment trouver une solution qui répondrait aux conditions climatiques locales .   \n236                                                                                                                                                                                                                                  et je peux vous dire que c' est une expérience transformatrice .   \n235                                                                                                                                                                                                                                                                                      ok ? mmhmm ?   \n234                                                                                                                                                                                    et c' est pourquoi beaucoup d' entre vous ont un chien à la maison , qui a toutes ces caractéristiques aussi .   \n\n                                                                                                                                                                                                                                                                 k3.sys  \\\n240  ce qui a débuté en tant qu' idée , c' est maintenant implémenter des millions de séquences que nous pouvons utiliser pour étudier l' évolution de l' évolution de la santé et de la maladie humaine , directement jusqu' au code génétique des agents pathogènes .   \n239                                                                                                                                                                     et donc , nous sommes dans une situation merveilleuse avec l' électricité dans le monde riche .   \n238                                                            et il dit qu' il ne veut pas interrompre ses collègues parce qu' il dit , \" ils sont trop occupés pour leurs emails . \" mais ensuite il s' arrête et dit , \" vous savez , je ne vous dis pas la vérité .   \n237                                                                                                                                                                     et je voulais vraiment trouver une solution qui répondrait aux conditions climatiques locales .   \n236                                                                                                                                                                                                    et je peux vous dire que c' est une expérience transformatrice .   \n235                                                                                                                                                                                                                                                  d' accord ? mmmm ?   \n234                                                                                                                                                      et c' est pourquoi beaucoup d' entre vous ont un chien à la maison , qui a toutes ces caractéristiques aussi .   \n\n                                                                                                                                                                                                                                                                 k5.sys  \\\n240  ce qui a débuté en tant qu' idée , c' est maintenant implémenter des millions de séquences que nous pouvons utiliser pour étudier l' évolution de l' évolution de la santé et de la maladie humaine , directement jusqu' au code génétique des agents pathogènes .   \n239                                                                                                                                                                     et donc , nous sommes dans une situation merveilleuse avec l' électricité dans le monde riche .   \n238                                                            et il dit qu' il ne veut pas interrompre ses collègues parce qu' il dit , \" ils sont trop occupés pour leurs emails . \" mais ensuite il s' arrête et dit , \" vous savez , je ne vous dis pas la vérité .   \n237                                                                                                                                                                     et je voulais vraiment trouver une solution qui répondrait aux conditions climatiques locales .   \n236                                                                                                                                                                                                    et je peux vous dire que c' est une expérience transformatrice .   \n235                                                                                                                                                                                                                                                  d' accord ? mmmm ?   \n234                                                                                                                                                      et c' est pourquoi beaucoup d' entre vous ont un chien à la maison , qui a toutes ces caractéristiques aussi .   \n\n                                                                                                                                                                                                                                                                      k7.sys  \\\n240  donc ce qui a débuté en tant qu' idée , c' est maintenant implémenter des millions de séquences que nous pouvons utiliser pour étudier l' évolution de l' évolution de la santé et de la maladie humaine , directement jusqu' au code génétique des agents pathogènes .   \n239                                                                                                                                                                          et donc , nous sommes dans une situation merveilleuse avec l' électricité dans le monde riche .   \n238                                                                 et il dit qu' il ne veut pas interrompre ses collègues parce qu' il dit , \" ils sont trop occupés pour leurs emails . \" mais ensuite il s' arrête et dit , \" vous savez , je ne vous dis pas la vérité .   \n237                                                                                                                                                                          et je voulais vraiment trouver une solution qui répondrait aux conditions climatiques locales .   \n236                                                                                                                                                                                                         et je peux vous dire que c' est une expérience transformatrice .   \n235                                                                                                                                                                                                                                                             ok ? mmhmm ?   \n234                                                                                                                                                           et c' est pourquoi beaucoup d' entre vous ont un chien à la maison , qui a toutes ces caractéristiques aussi .   \n\n                                                                                                                                                                                                                                                                                      ref  \\\n240  donc ce qui a commencé comme une idée , est maintenant mis en œuvre pour produire des millions de séquences que nous pouvons utiliser pour enquêter sur l' évolution à long terme de la santé humaine et des maladies , jusqu' au code génétique des agents pathogènes individuels .   \n239                                                                                                                                                                                                                     dans le monde riche , tout va bien par rapport à l' électricité .   \n238                                                                          et il dit qu' il ne veut pas interrompre ses collègues parce que , dit-il , \" ils sont trop occupés avec leurs e-mails . \" mais alors il s' arrête et il dit : \" vous savez , je ne vous dis pas la vérité .   \n237                                                                                                                                                                                       et je voulais vraiment trouver une solution qui répondrait aux conditions climatiques locales .   \n236                                                                                                                                                                                                                 je peux vous garantir que c' est une expérience qui vous transforme .   \n235                                                                                                                                                                                                                                                                          ok ? mmhmm ?   \n234                                                                                                                                                                        voilà pourquoi beaucoup d' entre vous ont un chien à la maison , qui lui aussi a toutes ces caractéristiques .   \n\n                                                                                                                                                                                                                                                       src  \\\n240  so what started out as an idea , is now being implemented to churn out millions of sequences that we can use to investigate the long-term evolutionary history of human health and disease , right down to the genetic code of individual pathogens .   \n239                                                                                                                                                                          and so , we 're in a wonderful situation with electricity in the rich world .   \n238                                              and he says he doesn 't want to interrupt his colleagues because , he says , \" they 're too busy on their email . \" but then he stops himself and he says , \" you know , i 'm not telling you the truth .   \n237                                                                                                                                                            and i really wanted to find a solution that would respond to the local climate conditions .   \n236                                                                                                                                                                                          and i can tell you that this is a transformative experience .   \n235                                                                                                                                                                                                                                         okay ? mmhmm ?   \n234                                                                                                                                                            and that 's why many of you have a dog at home , which has all these characteristics also .   \n\n     len         best_ks  \n240   49              k1  \n239   14  k0,k1,k3,k5,k7  \n238   47              k0  \n237   14  k0,k1,k3,k5,k7  \n236   13  k0,k1,k3,k5,k7  \n235    4         k1,,,k7  \n234   21  k0,k1,k3,k5,k7  ",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>k0.sys</th>\n      <th>k1.sys</th>\n      <th>k3.sys</th>\n      <th>k5.sys</th>\n      <th>k7.sys</th>\n      <th>ref</th>\n      <th>src</th>\n      <th>len</th>\n      <th>best_ks</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>240</th>\n      <td>ce qui a débuté en tant qu' idée , c' est maintenant implémenter des millions de séquences que nous pouvons utiliser pour étudier l' évolution de l' évolution de la santé humaine et de la maladie , directement vers le code génétique des agents pathogènes .</td>\n      <td>donc ce qui a débuté en tant qu' idée , c' est d' être mis en place pour produire des millions de séquences que nous pouvons utiliser pour étudier l' évolution de l' évolution à long terme de la santé humaine et de la maladie , directement jusqu' au code génétique des agents pathogènes .</td>\n      <td>ce qui a débuté en tant qu' idée , c' est maintenant implémenter des millions de séquences que nous pouvons utiliser pour étudier l' évolution de l' évolution de la santé et de la maladie humaine , directement jusqu' au code génétique des agents pathogènes .</td>\n      <td>ce qui a débuté en tant qu' idée , c' est maintenant implémenter des millions de séquences que nous pouvons utiliser pour étudier l' évolution de l' évolution de la santé et de la maladie humaine , directement jusqu' au code génétique des agents pathogènes .</td>\n      <td>donc ce qui a débuté en tant qu' idée , c' est maintenant implémenter des millions de séquences que nous pouvons utiliser pour étudier l' évolution de l' évolution de la santé et de la maladie humaine , directement jusqu' au code génétique des agents pathogènes .</td>\n      <td>donc ce qui a commencé comme une idée , est maintenant mis en œuvre pour produire des millions de séquences que nous pouvons utiliser pour enquêter sur l' évolution à long terme de la santé humaine et des maladies , jusqu' au code génétique des agents pathogènes individuels .</td>\n      <td>so what started out as an idea , is now being implemented to churn out millions of sequences that we can use to investigate the long-term evolutionary history of human health and disease , right down to the genetic code of individual pathogens .</td>\n      <td>49</td>\n      <td>k1</td>\n    </tr>\n    <tr>\n      <th>239</th>\n      <td>et donc , nous sommes dans une situation merveilleuse avec l' électricité dans le monde riche .</td>\n      <td>et donc , nous sommes dans une situation merveilleuse avec l' électricité dans le monde riche .</td>\n      <td>et donc , nous sommes dans une situation merveilleuse avec l' électricité dans le monde riche .</td>\n      <td>et donc , nous sommes dans une situation merveilleuse avec l' électricité dans le monde riche .</td>\n      <td>et donc , nous sommes dans une situation merveilleuse avec l' électricité dans le monde riche .</td>\n      <td>dans le monde riche , tout va bien par rapport à l' électricité .</td>\n      <td>and so , we 're in a wonderful situation with electricity in the rich world .</td>\n      <td>14</td>\n      <td>k0,k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>238</th>\n      <td>et il dit qu' il ne veut pas interrompre ses collègues parce qu' il dit , \" ils sont trop occupés sur leur e-mail . \" mais ensuite il s' arrête et il dit , \" vous savez , je ne vous dis pas la vérité .</td>\n      <td>et il dit qu' il ne veut pas interrompre ses collègues parce qu' il dit , \" ils sont trop occupés pour leurs emails . \" mais ensuite il s' arrête et dit , \" vous savez , je ne vous parle pas de la vérité .</td>\n      <td>et il dit qu' il ne veut pas interrompre ses collègues parce qu' il dit , \" ils sont trop occupés pour leurs emails . \" mais ensuite il s' arrête et dit , \" vous savez , je ne vous dis pas la vérité .</td>\n      <td>et il dit qu' il ne veut pas interrompre ses collègues parce qu' il dit , \" ils sont trop occupés pour leurs emails . \" mais ensuite il s' arrête et dit , \" vous savez , je ne vous dis pas la vérité .</td>\n      <td>et il dit qu' il ne veut pas interrompre ses collègues parce qu' il dit , \" ils sont trop occupés pour leurs emails . \" mais ensuite il s' arrête et dit , \" vous savez , je ne vous dis pas la vérité .</td>\n      <td>et il dit qu' il ne veut pas interrompre ses collègues parce que , dit-il , \" ils sont trop occupés avec leurs e-mails . \" mais alors il s' arrête et il dit : \" vous savez , je ne vous dis pas la vérité .</td>\n      <td>and he says he doesn 't want to interrupt his colleagues because , he says , \" they 're too busy on their email . \" but then he stops himself and he says , \" you know , i 'm not telling you the truth .</td>\n      <td>47</td>\n      <td>k0</td>\n    </tr>\n    <tr>\n      <th>237</th>\n      <td>et je voulais vraiment trouver une solution qui répondrait aux conditions climatiques locales .</td>\n      <td>et je voulais vraiment trouver une solution qui répondrait aux conditions climatiques locales .</td>\n      <td>et je voulais vraiment trouver une solution qui répondrait aux conditions climatiques locales .</td>\n      <td>et je voulais vraiment trouver une solution qui répondrait aux conditions climatiques locales .</td>\n      <td>et je voulais vraiment trouver une solution qui répondrait aux conditions climatiques locales .</td>\n      <td>et je voulais vraiment trouver une solution qui répondrait aux conditions climatiques locales .</td>\n      <td>and i really wanted to find a solution that would respond to the local climate conditions .</td>\n      <td>14</td>\n      <td>k0,k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>236</th>\n      <td>et je peux vous dire que c' est une expérience transformatrice .</td>\n      <td>et je peux vous dire que c' est une expérience transformatrice .</td>\n      <td>et je peux vous dire que c' est une expérience transformatrice .</td>\n      <td>et je peux vous dire que c' est une expérience transformatrice .</td>\n      <td>et je peux vous dire que c' est une expérience transformatrice .</td>\n      <td>je peux vous garantir que c' est une expérience qui vous transforme .</td>\n      <td>and i can tell you that this is a transformative experience .</td>\n      <td>13</td>\n      <td>k0,k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>235</th>\n      <td>ok ? mmmm ?</td>\n      <td>ok ? mmhmm ?</td>\n      <td>d' accord ? mmmm ?</td>\n      <td>d' accord ? mmmm ?</td>\n      <td>ok ? mmhmm ?</td>\n      <td>ok ? mmhmm ?</td>\n      <td>okay ? mmhmm ?</td>\n      <td>4</td>\n      <td>k1,,,k7</td>\n    </tr>\n    <tr>\n      <th>234</th>\n      <td>et c' est pourquoi beaucoup d' entre vous ont un chien à la maison , qui a toutes ces caractéristiques aussi .</td>\n      <td>et c' est pourquoi beaucoup d' entre vous ont un chien à la maison , qui a toutes ces caractéristiques aussi .</td>\n      <td>et c' est pourquoi beaucoup d' entre vous ont un chien à la maison , qui a toutes ces caractéristiques aussi .</td>\n      <td>et c' est pourquoi beaucoup d' entre vous ont un chien à la maison , qui a toutes ces caractéristiques aussi .</td>\n      <td>et c' est pourquoi beaucoup d' entre vous ont un chien à la maison , qui a toutes ces caractéristiques aussi .</td>\n      <td>voilà pourquoi beaucoup d' entre vous ont un chien à la maison , qui lui aussi a toutes ces caractéristiques .</td>\n      <td>and that 's why many of you have a dog at home , which has all these characteristics also .</td>\n      <td>21</td>\n      <td>k0,k1,k3,k5,k7</td>\n    </tr>\n  </tbody>\n</table>\n</div>"
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "##############################################################################################\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "                                                                                                                                                                                                       k0.sys  \\\n275                                                                                                                                                        trouvez le gangsta avec votre shovel , d' accord ?   \n274                                                                                                                                                           voici une visualisation de six mois de ma vie .   \n273                                                                                                                                                                 c' est ce que nous appelons freéloquent .   \n272                                                       j' ai appris qu' il n' y a pas de limites , et si je regarde l' évolution de mon travail , je vois des fils et des connexions qui donnent du sens .   \n271                                                                                                                                                                   j' ai dit , \" quoi ? non . pourquoi ? \"   \n270  quand je faisais des recherches sur cette conférence , j' ai découvert que des filles de 13 ans aux états-unis , 53 % n' aiment pas leur corps , et ce nombre va à 78 % à l' heure où elles ont 17 ans .   \n269                                                    la reconnaissance va être lente aux états-unis , sans aucun doute là-dessus , mais au royaume-uni , ça se passe , et dans d' autres pays ça se passe .   \n\n                                                                                                                                                                                                                k1.sys  \\\n275                                                                                                                                                                  prenez le gangsta avec votre shovel , d' accord ?   \n274                                                                                                                                                                    voici une visualisation de six mois de ma vie .   \n273                                                                                                                                                                          c' est ce que nous appelons freéloquent .   \n272                                                                j' ai appris qu' il n' y a pas de limites , et si je regarde l' évolution de mon travail , je vois des fils et des connexions qui donnent du sens .   \n271                                                                                                                                                                            j' ai dit , \" quoi ? non . pourquoi ? \"   \n270  quand je faisais des recherches sur cette conférence , j' ai découvert que parmi les filles de 13 ans aux états-unis , 53 % n' aiment pas leur corps , et ce nombre va à 78 pour cent à l' heure où ils sont 17 .   \n269                                                           la reconnaissance va être lente aux états-unis , sans aucun doute là-dessus , mais au royaume-uni , ça se passe , et dans d' autres pays , ça se passe .   \n\n                                                                                                                                                                                                                k3.sys  \\\n275                                                                                                                                                         trouvez-vous des gangsters avec votre shovel , d' accord ?   \n274                                                                                                                                                                    voici une visualisation de six mois de ma vie .   \n273                                                                                                                                                                          c' est ce que nous appelons freéloquent .   \n272                                                                j' ai appris qu' il n' y a pas de limites , et si je regarde l' évolution de mon travail , je vois des fils et des connexions qui donnent du sens .   \n271                                                                                                                                                                            j' ai dit , \" quoi ? non . pourquoi ? \"   \n270  quand je faisais des recherches sur cette conférence , j' ai découvert que parmi les filles de 13 ans aux états-unis , 53 % n' aiment pas leur corps , et ce nombre va à 78 pour cent à l' heure où ils sont 17 .   \n269                                                           la reconnaissance va être lente aux états-unis , sans aucun doute là-dessus , mais au royaume-uni , ça se passe , et dans d' autres pays , ça se passe .   \n\n                                                                                                                                                                                                                k5.sys  \\\n275                                                                                                                                                         trouvez-vous des gangsters avec votre shovel , d' accord ?   \n274                                                                                                                                                                    voici une visualisation de six mois de ma vie .   \n273                                                                                                                                                                          c' est ce que nous appelons freéloquent .   \n272                                                                j' ai appris qu' il n' y a pas de limites , et si je regarde l' évolution de mon travail , je vois des fils et des connexions qui donnent du sens .   \n271                                                                                                                                                                            j' ai dit , \" quoi ? non . pourquoi ? \"   \n270  quand je faisais des recherches sur cette conférence , j' ai découvert que parmi les filles de 13 ans aux états-unis , 53 % n' aiment pas leur corps , et ce nombre va à 78 pour cent à l' heure où ils sont 17 .   \n269                                                           la reconnaissance va être lente aux états-unis , sans aucun doute là-dessus , mais au royaume-uni , ça se passe , et dans d' autres pays , ça se passe .   \n\n                                                                                                                                                                                                                k7.sys  \\\n275                                                                                                                                                         trouvez-vous des gangsters avec votre shovel , d' accord ?   \n274                                                                                                                                                                    voici une visualisation de six mois de ma vie .   \n273                                                                                                                                                                          c' est ce que nous appelons freéloquent .   \n272                                                                j' ai appris qu' il n' y a pas de limites , et si je regarde l' évolution de mon travail , je vois des fils et des connexions qui donnent du sens .   \n271                                                                                                                                                                            j' ai dit , \" quoi ? non . pourquoi ? \"   \n270  quand je faisais des recherches sur cette conférence , j' ai découvert que parmi les filles de 13 ans aux états-unis , 53 % n' aiment pas leur corps , et ce nombre va à 78 pour cent à l' heure où ils sont 17 .   \n269                                                           la reconnaissance va être lente aux états-unis , sans aucun doute là-dessus , mais au royaume-uni , ça se passe , et dans d' autres pays , ça se passe .   \n\n                                                                                                                                                                                      ref  \\\n275                                                                                                                                                         attrape ta pelle , gangster !   \n274                                                                                                                               il s' agit d' une visualisation de six mois de ma vie .   \n273                                                                                                                                     c' est ce que nous appelons profiter des autres .   \n272                                         j' ai appris qu' il n' y a pas de limites , et si je regarde l' évolution de mon travail je vois des fils et des connexions qui ont du sens .   \n271                                                                                                                                               <<unk>> quoi ? non . pourquoi ? <<unk>>   \n270  quand je préparais ce sujet , j' ai découvert que 53 % des jeunes filles de 13 ans aux etats unis n' aiment pas leur corps , et ce chiffre atteint les 78 % quand elles ont 17 ans .   \n269                                          cette reconnaissance est lente aux usa , c' est certain , mais en angleterre , c' est en train de se passer , et aussi dans d' autres pays .   \n\n                                                                                                                                                                                                             src  \\\n275                                                                                                                                                                        get gangsta with your shovel , okay ?   \n274                                                                                                                                                           this is a visualization of six months of my life .   \n273                                                                                                                                                                          so it 's what we call freeloading .   \n272                                                                    i 've learned that there 's no boundaries , and if i look at the evolution of my work i can see threads and connections that make sense .   \n271                                                                                                                                                                            i 'm like , \" what ? no . why ? \"   \n270  when i was researching this talk , i found out that of the 13-year-old girls in the united states , 53 percent don 't like their bodies , and that number goes to 78 percent by the time that they 're 17 .   \n269                                               the recognition is going to be slow in the united states , no question about that , but in the uk , it is happening , and in other countries it is happening .   \n\n     len         best_ks  \n275    6              k1  \n274   13  k0,k1,k3,k5,k7  \n273   10  k0,k1,k3,k5,k7  \n272   33  k0,k1,k3,k5,k7  \n271    8  k0,k1,k3,k5,k7  \n270   40              k0  \n269   30     k1,k3,k5,k7  ",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>k0.sys</th>\n      <th>k1.sys</th>\n      <th>k3.sys</th>\n      <th>k5.sys</th>\n      <th>k7.sys</th>\n      <th>ref</th>\n      <th>src</th>\n      <th>len</th>\n      <th>best_ks</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>275</th>\n      <td>trouvez le gangsta avec votre shovel , d' accord ?</td>\n      <td>prenez le gangsta avec votre shovel , d' accord ?</td>\n      <td>trouvez-vous des gangsters avec votre shovel , d' accord ?</td>\n      <td>trouvez-vous des gangsters avec votre shovel , d' accord ?</td>\n      <td>trouvez-vous des gangsters avec votre shovel , d' accord ?</td>\n      <td>attrape ta pelle , gangster !</td>\n      <td>get gangsta with your shovel , okay ?</td>\n      <td>6</td>\n      <td>k1</td>\n    </tr>\n    <tr>\n      <th>274</th>\n      <td>voici une visualisation de six mois de ma vie .</td>\n      <td>voici une visualisation de six mois de ma vie .</td>\n      <td>voici une visualisation de six mois de ma vie .</td>\n      <td>voici une visualisation de six mois de ma vie .</td>\n      <td>voici une visualisation de six mois de ma vie .</td>\n      <td>il s' agit d' une visualisation de six mois de ma vie .</td>\n      <td>this is a visualization of six months of my life .</td>\n      <td>13</td>\n      <td>k0,k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>273</th>\n      <td>c' est ce que nous appelons freéloquent .</td>\n      <td>c' est ce que nous appelons freéloquent .</td>\n      <td>c' est ce que nous appelons freéloquent .</td>\n      <td>c' est ce que nous appelons freéloquent .</td>\n      <td>c' est ce que nous appelons freéloquent .</td>\n      <td>c' est ce que nous appelons profiter des autres .</td>\n      <td>so it 's what we call freeloading .</td>\n      <td>10</td>\n      <td>k0,k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>272</th>\n      <td>j' ai appris qu' il n' y a pas de limites , et si je regarde l' évolution de mon travail , je vois des fils et des connexions qui donnent du sens .</td>\n      <td>j' ai appris qu' il n' y a pas de limites , et si je regarde l' évolution de mon travail , je vois des fils et des connexions qui donnent du sens .</td>\n      <td>j' ai appris qu' il n' y a pas de limites , et si je regarde l' évolution de mon travail , je vois des fils et des connexions qui donnent du sens .</td>\n      <td>j' ai appris qu' il n' y a pas de limites , et si je regarde l' évolution de mon travail , je vois des fils et des connexions qui donnent du sens .</td>\n      <td>j' ai appris qu' il n' y a pas de limites , et si je regarde l' évolution de mon travail , je vois des fils et des connexions qui donnent du sens .</td>\n      <td>j' ai appris qu' il n' y a pas de limites , et si je regarde l' évolution de mon travail je vois des fils et des connexions qui ont du sens .</td>\n      <td>i 've learned that there 's no boundaries , and if i look at the evolution of my work i can see threads and connections that make sense .</td>\n      <td>33</td>\n      <td>k0,k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>271</th>\n      <td>j' ai dit , \" quoi ? non . pourquoi ? \"</td>\n      <td>j' ai dit , \" quoi ? non . pourquoi ? \"</td>\n      <td>j' ai dit , \" quoi ? non . pourquoi ? \"</td>\n      <td>j' ai dit , \" quoi ? non . pourquoi ? \"</td>\n      <td>j' ai dit , \" quoi ? non . pourquoi ? \"</td>\n      <td>&lt;&lt;unk&gt;&gt; quoi ? non . pourquoi ? &lt;&lt;unk&gt;&gt;</td>\n      <td>i 'm like , \" what ? no . why ? \"</td>\n      <td>8</td>\n      <td>k0,k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>270</th>\n      <td>quand je faisais des recherches sur cette conférence , j' ai découvert que des filles de 13 ans aux états-unis , 53 % n' aiment pas leur corps , et ce nombre va à 78 % à l' heure où elles ont 17 ans .</td>\n      <td>quand je faisais des recherches sur cette conférence , j' ai découvert que parmi les filles de 13 ans aux états-unis , 53 % n' aiment pas leur corps , et ce nombre va à 78 pour cent à l' heure où ils sont 17 .</td>\n      <td>quand je faisais des recherches sur cette conférence , j' ai découvert que parmi les filles de 13 ans aux états-unis , 53 % n' aiment pas leur corps , et ce nombre va à 78 pour cent à l' heure où ils sont 17 .</td>\n      <td>quand je faisais des recherches sur cette conférence , j' ai découvert que parmi les filles de 13 ans aux états-unis , 53 % n' aiment pas leur corps , et ce nombre va à 78 pour cent à l' heure où ils sont 17 .</td>\n      <td>quand je faisais des recherches sur cette conférence , j' ai découvert que parmi les filles de 13 ans aux états-unis , 53 % n' aiment pas leur corps , et ce nombre va à 78 pour cent à l' heure où ils sont 17 .</td>\n      <td>quand je préparais ce sujet , j' ai découvert que 53 % des jeunes filles de 13 ans aux etats unis n' aiment pas leur corps , et ce chiffre atteint les 78 % quand elles ont 17 ans .</td>\n      <td>when i was researching this talk , i found out that of the 13-year-old girls in the united states , 53 percent don 't like their bodies , and that number goes to 78 percent by the time that they 're 17 .</td>\n      <td>40</td>\n      <td>k0</td>\n    </tr>\n    <tr>\n      <th>269</th>\n      <td>la reconnaissance va être lente aux états-unis , sans aucun doute là-dessus , mais au royaume-uni , ça se passe , et dans d' autres pays ça se passe .</td>\n      <td>la reconnaissance va être lente aux états-unis , sans aucun doute là-dessus , mais au royaume-uni , ça se passe , et dans d' autres pays , ça se passe .</td>\n      <td>la reconnaissance va être lente aux états-unis , sans aucun doute là-dessus , mais au royaume-uni , ça se passe , et dans d' autres pays , ça se passe .</td>\n      <td>la reconnaissance va être lente aux états-unis , sans aucun doute là-dessus , mais au royaume-uni , ça se passe , et dans d' autres pays , ça se passe .</td>\n      <td>la reconnaissance va être lente aux états-unis , sans aucun doute là-dessus , mais au royaume-uni , ça se passe , et dans d' autres pays , ça se passe .</td>\n      <td>cette reconnaissance est lente aux usa , c' est certain , mais en angleterre , c' est en train de se passer , et aussi dans d' autres pays .</td>\n      <td>the recognition is going to be slow in the united states , no question about that , but in the uk , it is happening , and in other countries it is happening .</td>\n      <td>30</td>\n      <td>k1,k3,k5,k7</td>\n    </tr>\n  </tbody>\n</table>\n</div>"
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "##############################################################################################\n"
    },
    {
     "output_type": "display_data",
     "data": {
      "text/plain": "                                                                                                                                                        k0.sys  \\\n283                                                             alors j' ai pensé , bon , je dois avoir quelques critères sur la façon de choisir le travail .   \n282                                                                                   ce n' est pas comme ça que ça marche du tout pour se rappeler soi-même .   \n281                                                                                                                      donc , c' est le monde sans pétrole .   \n280                           le seul vrai problème avec l' arrivée ascendante chez les gens avec le syndrome de marfan est qu' il n' y a pas de force tendu .   \n279  mettons la moitié d' entre nous d' accord pour passer une heure par jour à jouer aux jeux , jusqu' à ce que nous résolvions les problèmes du monde réel .   \n278                             et la ville a prévu -- pour le meilleur ou pour le pire -- 12 millions de mètres de développement que la high line va bouger .   \n277     ce que j' aimerais faire maintenant , c' est partager avec vous une poignée de secrets particuliers de cette collection , en commençant par celle-ci .   \n\n                                                                                                                                                     k1.sys  \\\n283                                                           alors j' ai pensé , ok , je dois avoir quelques critères sur la façon de choisir le travail .   \n282                                                                             ce n' est pas comme ça que ça marche du tout pour le souvenir de lui-même .   \n281                                                                                                                   donc , c' est le monde sans pétrole .   \n280                 le seul vrai problème avec l' arrivée de l' aorace chez les gens avec le syndrome de marfan , c' est qu' il n' y a pas de force tendu .   \n279        mettons la moitié d' entre nous d' accord pour passer une heure par jour à jouer aux jeux , jusqu' à résoudre des problèmes dans le monde réel .   \n278                   et la ville a prévu -- pour le meilleur ou pour le pire -- 12 millions de mètres carrés de développement que la high line va bouger .   \n277  ce que j' aimerais faire maintenant , c' est partager avec vous une poignée de secrets particuliers de cette collection , en commençant par celle-ci .   \n\n                                                                                                                                                     k3.sys  \\\n283                                                                alors j' ai pensé , ok , je dois avoir quelques critères de comment choisir le travail .   \n282                                                                             ce n' est pas comme ça que ça marche du tout pour le souvenir de lui-même .   \n281                                                                                                                   donc , c' est le monde sans pétrole .   \n280                 le seul vrai problème avec l' arrivée de l' aorace chez les gens avec le syndrome de marfan , c' est qu' il n' y a pas de force tendu .   \n279        mettons la moitié d' entre nous d' accord pour passer une heure par jour à jouer aux jeux , jusqu' à résoudre des problèmes dans le monde réel .   \n278                   et la ville a prévu -- pour le meilleur ou pour le pire -- 12 millions de mètres carrés de développement que la high line va bouger .   \n277  ce que j' aimerais faire maintenant , c' est partager avec vous une poignée de secrets particuliers de cette collection , en commençant par celle-ci .   \n\n                                                                                                                                                     k5.sys  \\\n283                                                                alors j' ai pensé , ok , je dois avoir quelques critères de comment choisir le travail .   \n282                                                                             ce n' est pas comme ça que ça marche du tout pour le souvenir de lui-même .   \n281                                                                                                                   donc , c' est le monde sans pétrole .   \n280                      le seul vrai problème avec l' arrivée de l' aorace chez les gens avec le syndrome de marbre est qu' il n' y a pas de force tendu .   \n279        mettons la moitié d' entre nous d' accord pour passer une heure par jour à jouer aux jeux , jusqu' à résoudre des problèmes dans le monde réel .   \n278                          et la ville a prévu -- pour le meilleur ou pour le pire -- 12 millions de mètres de développement que la high line va bouger .   \n277  ce que je voudrais faire maintenant , c' est partager avec vous une poignée de secrets particuliers de cette collection , en commençant par celle-ci .   \n\n                                                                                                                                                     k7.sys  \\\n283                                                                alors j' ai pensé , ok , je dois avoir quelques critères de comment choisir le travail .   \n282                                                                             ce n' est pas comme ça que ça marche du tout pour le souvenir de lui-même .   \n281                                                                                                                   donc , c' est le monde sans pétrole .   \n280                 le seul vrai problème avec l' arrivée de l' aorace chez les gens avec le syndrome de marfan , c' est qu' il n' y a pas de force tendu .   \n279        mettons la moitié d' entre nous d' accord pour passer une heure par jour à jouer aux jeux , jusqu' à résoudre des problèmes dans le monde réel .   \n278                          et la ville a prévu -- pour le meilleur ou pour le pire -- 12 millions de mètres de développement que la high line va bouger .   \n277  ce que je voudrais faire maintenant , c' est partager avec vous une poignée de secrets particuliers de cette collection , en commençant par celle-ci .   \n\n                                                                                                                                                                       ref  \\\n283                                                                         alors j' ai pensé , ok , je dois avoir quelques critères sur la façon de choisir les oeuvres .   \n282                                                                                        ce n' est pas du tout comme ça que ça se passe pour notre \" moi du souvenir \" .   \n281                                                                                                                                          voici le monde sans essence .   \n280                    le seul vrai problème avec l' aorte ascendante chez les personnes atteintes du syndrome de marfan est qu' elle manque de résistance à la traction .   \n279                                il faut que la moitié d' entre nous accepte de passer une heure par jour à jouer , jusqu' à ce que nous résolvions de vrais problèmes .   \n278                                   et la ville a prévu -- pour le meilleur ou pour le pire -- 3,5 million de mètres carré de développement que la highline encerclera .   \n277  ce que je voudrais faire maintenant c' est partager avec vous une poignée de ces secrets un peu spéciaux choisis dans cette collection , en commençant par celui-ci .   \n\n                                                                                                                                           src  \\\n283                                                                 so i thought , okay , i have to have some criteria of how to choose work .   \n282                                                                             that 's not the way it works at all for the remembering self .   \n281                                                                                                           so , this is world without oil .   \n280                          the only real problem with the ascending aorta in people with marfan syndrome is it lacks some tensile strength .   \n279                                 let 's get half of us to agree to spend an hour a day playing games , until we solve real-world problems .   \n278  and the city has planned -- for better or for worse -- 12 million square-feet of development that the high line is going to ring around .   \n277               what i 'd like to do now is share with you a very special handful of secrets from that collection , starting with this one .   \n\n     len         best_ks  \n283   20              k1  \n282   20     k1,k3,k5,k7  \n281    6  k0,k1,k3,k5,k7  \n280   26              k0  \n279   28              k0  \n278   26           k1,k3  \n277   29           k5,k7  ",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>k0.sys</th>\n      <th>k1.sys</th>\n      <th>k3.sys</th>\n      <th>k5.sys</th>\n      <th>k7.sys</th>\n      <th>ref</th>\n      <th>src</th>\n      <th>len</th>\n      <th>best_ks</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>283</th>\n      <td>alors j' ai pensé , bon , je dois avoir quelques critères sur la façon de choisir le travail .</td>\n      <td>alors j' ai pensé , ok , je dois avoir quelques critères sur la façon de choisir le travail .</td>\n      <td>alors j' ai pensé , ok , je dois avoir quelques critères de comment choisir le travail .</td>\n      <td>alors j' ai pensé , ok , je dois avoir quelques critères de comment choisir le travail .</td>\n      <td>alors j' ai pensé , ok , je dois avoir quelques critères de comment choisir le travail .</td>\n      <td>alors j' ai pensé , ok , je dois avoir quelques critères sur la façon de choisir les oeuvres .</td>\n      <td>so i thought , okay , i have to have some criteria of how to choose work .</td>\n      <td>20</td>\n      <td>k1</td>\n    </tr>\n    <tr>\n      <th>282</th>\n      <td>ce n' est pas comme ça que ça marche du tout pour se rappeler soi-même .</td>\n      <td>ce n' est pas comme ça que ça marche du tout pour le souvenir de lui-même .</td>\n      <td>ce n' est pas comme ça que ça marche du tout pour le souvenir de lui-même .</td>\n      <td>ce n' est pas comme ça que ça marche du tout pour le souvenir de lui-même .</td>\n      <td>ce n' est pas comme ça que ça marche du tout pour le souvenir de lui-même .</td>\n      <td>ce n' est pas du tout comme ça que ça se passe pour notre \" moi du souvenir \" .</td>\n      <td>that 's not the way it works at all for the remembering self .</td>\n      <td>20</td>\n      <td>k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>281</th>\n      <td>donc , c' est le monde sans pétrole .</td>\n      <td>donc , c' est le monde sans pétrole .</td>\n      <td>donc , c' est le monde sans pétrole .</td>\n      <td>donc , c' est le monde sans pétrole .</td>\n      <td>donc , c' est le monde sans pétrole .</td>\n      <td>voici le monde sans essence .</td>\n      <td>so , this is world without oil .</td>\n      <td>6</td>\n      <td>k0,k1,k3,k5,k7</td>\n    </tr>\n    <tr>\n      <th>280</th>\n      <td>le seul vrai problème avec l' arrivée ascendante chez les gens avec le syndrome de marfan est qu' il n' y a pas de force tendu .</td>\n      <td>le seul vrai problème avec l' arrivée de l' aorace chez les gens avec le syndrome de marfan , c' est qu' il n' y a pas de force tendu .</td>\n      <td>le seul vrai problème avec l' arrivée de l' aorace chez les gens avec le syndrome de marfan , c' est qu' il n' y a pas de force tendu .</td>\n      <td>le seul vrai problème avec l' arrivée de l' aorace chez les gens avec le syndrome de marbre est qu' il n' y a pas de force tendu .</td>\n      <td>le seul vrai problème avec l' arrivée de l' aorace chez les gens avec le syndrome de marfan , c' est qu' il n' y a pas de force tendu .</td>\n      <td>le seul vrai problème avec l' aorte ascendante chez les personnes atteintes du syndrome de marfan est qu' elle manque de résistance à la traction .</td>\n      <td>the only real problem with the ascending aorta in people with marfan syndrome is it lacks some tensile strength .</td>\n      <td>26</td>\n      <td>k0</td>\n    </tr>\n    <tr>\n      <th>279</th>\n      <td>mettons la moitié d' entre nous d' accord pour passer une heure par jour à jouer aux jeux , jusqu' à ce que nous résolvions les problèmes du monde réel .</td>\n      <td>mettons la moitié d' entre nous d' accord pour passer une heure par jour à jouer aux jeux , jusqu' à résoudre des problèmes dans le monde réel .</td>\n      <td>mettons la moitié d' entre nous d' accord pour passer une heure par jour à jouer aux jeux , jusqu' à résoudre des problèmes dans le monde réel .</td>\n      <td>mettons la moitié d' entre nous d' accord pour passer une heure par jour à jouer aux jeux , jusqu' à résoudre des problèmes dans le monde réel .</td>\n      <td>mettons la moitié d' entre nous d' accord pour passer une heure par jour à jouer aux jeux , jusqu' à résoudre des problèmes dans le monde réel .</td>\n      <td>il faut que la moitié d' entre nous accepte de passer une heure par jour à jouer , jusqu' à ce que nous résolvions de vrais problèmes .</td>\n      <td>let 's get half of us to agree to spend an hour a day playing games , until we solve real-world problems .</td>\n      <td>28</td>\n      <td>k0</td>\n    </tr>\n    <tr>\n      <th>278</th>\n      <td>et la ville a prévu -- pour le meilleur ou pour le pire -- 12 millions de mètres de développement que la high line va bouger .</td>\n      <td>et la ville a prévu -- pour le meilleur ou pour le pire -- 12 millions de mètres carrés de développement que la high line va bouger .</td>\n      <td>et la ville a prévu -- pour le meilleur ou pour le pire -- 12 millions de mètres carrés de développement que la high line va bouger .</td>\n      <td>et la ville a prévu -- pour le meilleur ou pour le pire -- 12 millions de mètres de développement que la high line va bouger .</td>\n      <td>et la ville a prévu -- pour le meilleur ou pour le pire -- 12 millions de mètres de développement que la high line va bouger .</td>\n      <td>et la ville a prévu -- pour le meilleur ou pour le pire -- 3,5 million de mètres carré de développement que la highline encerclera .</td>\n      <td>and the city has planned -- for better or for worse -- 12 million square-feet of development that the high line is going to ring around .</td>\n      <td>26</td>\n      <td>k1,k3</td>\n    </tr>\n    <tr>\n      <th>277</th>\n      <td>ce que j' aimerais faire maintenant , c' est partager avec vous une poignée de secrets particuliers de cette collection , en commençant par celle-ci .</td>\n      <td>ce que j' aimerais faire maintenant , c' est partager avec vous une poignée de secrets particuliers de cette collection , en commençant par celle-ci .</td>\n      <td>ce que j' aimerais faire maintenant , c' est partager avec vous une poignée de secrets particuliers de cette collection , en commençant par celle-ci .</td>\n      <td>ce que je voudrais faire maintenant , c' est partager avec vous une poignée de secrets particuliers de cette collection , en commençant par celle-ci .</td>\n      <td>ce que je voudrais faire maintenant , c' est partager avec vous une poignée de secrets particuliers de cette collection , en commençant par celle-ci .</td>\n      <td>ce que je voudrais faire maintenant c' est partager avec vous une poignée de ces secrets un peu spéciaux choisis dans cette collection , en commençant par celui-ci .</td>\n      <td>what i 'd like to do now is share with you a very special handful of secrets from that collection , starting with this one .</td>\n      <td>29</td>\n      <td>k5,k7</td>\n    </tr>\n  </tbody>\n</table>\n</div>"
     },
     "metadata": {}
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "##############################################################################################\n"
    }
   ],
   "source": [
    "# filter sentences given variables\n",
    "pd.set_option('display.max_colwidth', None)\n",
    "best_ks = \"k1\"\n",
    "idx_filter = dft[dft.best_ks == best_ks].index\n",
    "\n",
    "# sample first 10 sentences with given best_k and their context\n",
    "for i in idx_filter[:10]:\n",
    "    display(dft.iloc[max(0,i-6):i+1][::-1])\n",
    "    print(\"##############################################################################################\")\n",
    "\n",
    "# sample = dft[dft['best_ks'].str.contains(best_ks)].sample(n=1)\n",
    "# i = int(sample.index.values)\n",
    "# display(dft.iloc[max(0,i-6):i+1][::-1])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "['BLEU4 = 42.67, 69.2/48.5/36.2/27.5 (BP=0.998, ratio=0.998, syslen=123428, reflen=123735)']\n"
    }
   ],
   "source": [
    "# for each sentence in the test set, write to file the translation output by the k-optimal system (oracle)\n",
    "oracle_translations = path + \"gen.out.oracle\"\n",
    "\n",
    "if not os.path.exists(oracle_translations):\n",
    "    with open(oracle_translations, 'w') as fout:\n",
    "        opt_k_sys = opt_k + '.sys'\n",
    "        for i, o in enumerate(opt_k_sys):\n",
    "            # printing from to udf, which is the raw dataset (not html-decoded)\n",
    "            fout.write(udf.loc[i,o] + os.linesep)\n",
    "\n",
    "# score the oracle translations against the reference and write output to oracle.score\n",
    "oracle_score = path + \"oracle.score\"\n",
    "if not os.path.exists(oracle_score):\n",
    "    os.system('fairseq-score --sys {0}/gen.out.oracle --ref {1}/gen.out.ref | tee {2}/oracle.score'.format(path, path, path))\n",
    "\n",
    "# print score here\n",
    "with open(oracle_score, 'r') as fin:\n",
    "    text = fin.read()\n",
    "    pattern = re.findall(\".*BLEU4.*\", text)\n",
    "    print(pattern)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "\\begin{tabular}{lrr}\n\\toprule\nopt\\_k &  \\textbackslash \\%\\_sents &  avg\\_sent\\_len \\\\\n\\midrule\n   k0 &  0.658919 &     18.077710 \\\\\n   k1 &  0.207681 &     24.236821 \\\\\n   k3 &  0.068048 &     26.599010 \\\\\n   k5 &  0.035708 &     30.929245 \\\\\n   k7 &  0.029645 &     33.113636 \\\\\n\\bottomrule\n\\end{tabular}\n\n\\begin{tabular}{lrr}\n\\toprule\nopt\\_k &  \\textbackslash \\%\\_sents &  avg\\_sent\\_len \\\\\n\\midrule\n   k0 &  0.613610 &     18.591271 \\\\\n   k1 &  0.221998 &     22.430197 \\\\\n   k3 &  0.082870 &     26.672764 \\\\\n   k5 &  0.046657 &     25.667870 \\\\\n   k7 &  0.034866 &     30.004831 \\\\\n\\bottomrule\n\\end{tabular}\n\n"
    }
   ],
   "source": [
    "print(df_opt_k_dict['bleu'].to_latex(index=False))\n",
    "print(df_opt_k_dict['bert_f'].to_latex(index=False))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "\\begin{tabular}{lrr}\n\\toprule\n        best\\_ks &  \\textbackslash \\%\\_sents &  avg\\_sent\\_len \\\\\n\\midrule\n k0,k1,k3,k5,k7 &  0.369210 &     13.384124 \\\\\n             k0 &  0.208018 &     25.880162 \\\\\n    k1,k3,k5,k7 &  0.109651 &     20.777266 \\\\\n             k1 &  0.043288 &     31.478599 \\\\\n             k3 &  0.030655 &     30.126374 \\\\\n             k7 &  0.029645 &     33.113636 \\\\\n       k3,k5,k7 &  0.022233 &     23.053030 \\\\\n             k5 &  0.020718 &     33.495935 \\\\\n          k1,k3 &  0.014991 &     25.314607 \\\\\n          k5,k7 &  0.014991 &     27.382022 \\\\\n   k0,,k3,k5,k7 &  0.014822 &     17.852273 \\\\\n      k1,,k5,k7 &  0.010106 &     25.450000 \\\\\n          k0,k1 &  0.009938 &     22.440678 \\\\\n       k1,k3,k5 &  0.009432 &     24.321429 \\\\\n          k3,k5 &  0.008422 &     25.920000 \\\\\n      k1,k3,,k7 &  0.007580 &     26.555556 \\\\\n        k0,,,k5 &  0.007074 &     22.833333 \\\\\n        k1,,,k7 &  0.006737 &     25.550000 \\\\\n       k0,,,,k7 &  0.006737 &     19.550000 \\\\\n         k3,,k7 &  0.006737 &     23.100000 \\\\\n     k0,,,k5,k7 &  0.006232 &     18.513514 \\\\\n         k1,,k5 &  0.005895 &     25.971429 \\\\\n   k0,k1,,k5,k7 &  0.005221 &     18.580645 \\\\\n         k0,,k3 &  0.005221 &     19.645161 \\\\\n   k0,k1,k3,,k7 &  0.005053 &     19.033333 \\\\\n       k0,k1,k3 &  0.004716 &     14.392857 \\\\\n      k0,,k3,k5 &  0.004211 &     17.320000 \\\\\n    k0,k1,k3,k5 &  0.004211 &     20.600000 \\\\\n     k0,k1,,,k7 &  0.003874 &     18.739130 \\\\\n      k0,k1,,k5 &  0.002190 &     19.923077 \\\\\n     k0,,k3,,k7 &  0.002190 &     23.230769 \\\\\n\\bottomrule\n\\end{tabular}\n\n\\begin{tabular}{lrr}\n\\toprule\n        best\\_ks &  \\textbackslash \\%\\_sents &  avg\\_sent\\_len \\\\\n\\midrule\n k0,k1,k3,k5,k7 &  0.291730 &     13.700924 \\\\\n             k0 &  0.237157 &     25.223011 \\\\\n    k1,k3,k5,k7 &  0.110830 &     20.139818 \\\\\n             k1 &  0.054068 &     26.657321 \\\\\n             k3 &  0.037898 &     30.288889 \\\\\n             k7 &  0.034866 &     30.004831 \\\\\n       k3,k5,k7 &  0.026950 &     22.350000 \\\\\n             k5 &  0.026276 &     27.230769 \\\\\n          k5,k7 &  0.020381 &     23.652893 \\\\\n          k1,k3 &  0.017012 &     21.930693 \\\\\n   k0,,k3,k5,k7 &  0.016338 &     14.835052 \\\\\n      k1,,k5,k7 &  0.011117 &     22.484848 \\\\\n          k3,k5 &  0.009938 &     28.796610 \\\\\n      k1,k3,,k7 &  0.008927 &     23.075472 \\\\\n       k0,k1,k3 &  0.008759 &     11.153846 \\\\\n          k0,k1 &  0.008590 &     20.588235 \\\\\n         k3,,k7 &  0.008085 &     21.520833 \\\\\n       k1,k3,k5 &  0.007916 &     21.617021 \\\\\n        k1,,,k7 &  0.007580 &     22.911111 \\\\\n        k0,,,k5 &  0.007074 &     17.785714 \\\\\n     k0,,,k5,k7 &  0.006232 &     17.081081 \\\\\n         k0,,k3 &  0.005558 &     19.454545 \\\\\n   k0,k1,k3,,k7 &  0.005221 &     16.483871 \\\\\n    k0,k1,k3,k5 &  0.005053 &     16.866667 \\\\\n       k0,,,,k7 &  0.004885 &     17.379310 \\\\\n   k0,k1,,k5,k7 &  0.004716 &     18.750000 \\\\\n         k1,,k5 &  0.004548 &     29.074074 \\\\\n      k0,,k3,k5 &  0.004379 &     16.730769 \\\\\n     k0,k1,,,k7 &  0.003032 &     19.888889 \\\\\n      k0,k1,,k5 &  0.002863 &     17.294118 \\\\\n     k0,,k3,,k7 &  0.002021 &     21.750000 \\\\\n\\bottomrule\n\\end{tabular}\n\n"
    }
   ],
   "source": [
    "print(df_buk_dict['bleu'].to_latex(index=False))\n",
    "print(df_buk_dict['bert_f'].to_latex(index=False))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.3-final"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}