KuralBench

Meaning track

en_to_taEnglish to Tamil

Pick the kural that an English translation renders (4 choices).

Sample items

12 items from the dev split, chosen at even steps through the sorted item ids.

en_to_ta:tk:0001

System

Answer with one letter: A, B, C or D.

Prompt

Which Thirukkural has this English translation? As the letter A is the first of all letters, so the eternal God is first in the world

Choices

  1. Aதனக்குவமை இல்லாதான் தாள்சேர்ந்தார்க் கல்லால் மனக்கவலை மாற்றல் அரிது.
  2. Bஅகர முதல எழுத்தெல்லாம் ஆதி பகவன் முதற்றே உலகு.
  3. Cபிறவிப் பெருங்கடல் நீந்துவர் நீந்தார் இறைவன் அடிசேரா தார்.
  4. Dஅறவாழி அந்தணன் தாள்சேர்ந்தார்க் கல்லால் பிறவாழி நீந்தல் அரிது.
Show answer

Answer B: அகர முதல எழுத்தெல்லாம் ஆதி பகவன் முதற்றே உலகு.

en_to_ta:tk:0111

System

Answer with one letter: A, B, C or D.

Prompt

Which Thirukkural has this English translation? The just and the fair that giveth each man his due whether he is friend or foe, that is the good: nought else.

Choices

  1. Aசமன்செய்து சீர்தூக்குங் கோல்போல் அமைந்தொருபால் கோடாமை சான்றோர்க் கணி.
  2. Bதகுதி எனவொன்று நன்றே பகுதியால் பாற்பட்டு ஒழுகப் பெறின்.
  3. Cவாணிகம் செய்வார்க்கு வாணிகம் பேணிப் பிறவும் தமபோல் செயின்.
  4. Dசொற்கோட்டம் இல்லது செப்பம் ஒருதலையா உட்கோட்டம் இன்மை பெறின்.
Show answer

Answer B: தகுதி எனவொன்று நன்றே பகுதியால் பாற்பட்டு ஒழுகப் பெறின்.

en_to_ta:tk:0222

System

Answer with one letter: A, B, C or D.

Prompt

Which Thirukkural has this English translation? Though it lead unto heaven, receiving is bad: and though heaven should be denied to the giver, giving alms is a virtue.

Choices

  1. Aவறியார்க்கொன்று ஈவதே ஈகைமற் றெல்லாம் குறியெதிர்ப்பை நீர துடைத்து.
  2. Bபாத்தூண் மரீஇ யவனைப் பசியென்னும் தீப்பிணி தீண்டல் அரிது.
  3. Cநல்லாறு எனினும் கொளல்தீது மேலுலகம் இல்லெனினும் ஈதலே நன்று.
  4. Dஆற்றுவார் ஆற்றல் பசிஆற்றல் அப்பசியை மாற்றுவார் ஆற்றலின் பின்.
Show answer

Answer C: நல்லாறு எனினும் கொளல்தீது மேலுலகம் இல்லெனினும் ஈதலே நன்று.

How it is built

Prompt
an English translation
Choices
4 kurals of the same adhikaram
Scoring
choice

Data guard (every English and gloss task: ta_to_en, en_to_ta, paraphrase, gloss). A kural is dropped if its text in the layer used (for gloss: its joined glosses) equals, after whitespace strip, the text of another kural in that layer; an item is dropped if two choices are equal after whitespace strip, or fewer than 3 distinct distractors exist. Dropped ids per guard are listed under dropped in data/dev/MANIFEST.json. The pinned data has no duplicate rows in these layers (the upstream duplicates were fixed before the pin), so the guard drops nothing in the dev split; it is tested on constructed duplicates.

From the specification, section 2. Full text on GitHub.