Gemma के ओपन मॉडल

25-शॉट

एआरसी-सी

ARC-c मानदंड, ARC-e डेटासेट का ज़्यादा फ़ोकस किया गया सबसेट है. इसमें सिर्फ़ ऐसे सवाल शामिल हैं जिनका जवाब, सामान्य (रिट्रीवल-आधारित और शब्द के साथ-साथ होने की संभावना) एल्गोरिदम ने गलत तरीके से दिया है.

5-शॉट

GSM8K

GSM8K बेंचमार्क, भाषा मॉडल की उस क्षमता की जांच करता है जिससे वह स्कूल के लेवल के मैथ के सवालों को हल कर सकता है. इन सवालों को हल करने के लिए, अक्सर कई चरणों की ज़रूरत होती है.

3-5-शॉट

AGIEval

AGIEval बेंचमार्क, असल दुनिया की परीक्षाओं से मिले सवालों का इस्तेमाल करके, भाषा मॉडल की सामान्य बुद्धि का टेस्ट करता है. ये परीक्षाएं, इंसान की बौद्धिक क्षमताओं का आकलन करने के लिए डिज़ाइन की गई हैं.

3-शॉट, CoT

BBH

BBH (बिग-बेंच हार्ड) बेंचमार्क, उन कामों पर फ़ोकस करता है जिन्हें भाषा के मौजूदा मॉडल की क्षमताओं से बाहर माना जाता है. साथ ही, यह अलग-अलग रीज़निंग और समझ वाले डोमेन की सीमाओं की जांच करता है.

तीन शॉट, F1

नीचे झुक जाएं

DROP, पढ़ने की समझ का एक मानदंड है. इसमें पैराग्राफ़ के बारे में अलग-अलग तरीके से सोचने की ज़रूरत होती है.

5-shot

Winogrande

विनोग्रांडे बेंचमार्क, बाइनरी विकल्पों की मदद से मुश्किल भरे कामों को पूरा करने में भाषा के मॉडल की क्षमता का परीक्षण करता है, जिसके लिए सामान्य सामान्य सामान्य तर्क की ज़रूरत होती है.

10-शॉट

HellaSwag

HellaSwag बेंचमार्क, किसी कहानी के सबसे लॉजिकल आखिर को चुनकर, सामान्य समझ की रीज़निंग को समझने और लागू करने की भाषा मॉडल की क्षमता को चुनौती देता है.

4-शॉट

MATH

MATH, किसी भाषा मॉडल की गणित के जटिल सवालों को हल करने की क्षमता का आकलन करता है. इसके लिए, रीज़निंग, कई चरणों में समस्या हल करने, और गणित के कॉन्सेप्ट को समझने की ज़रूरत होती है.

0-शॉट

ARC-e

ARC-e बेंचमार्क, भाषा मॉडल की सवालों के जवाब देने की बेहतरीन क्षमताओं की जांच करता है. इसके लिए, यह विज्ञान से जुड़े कई विकल्प वाले सवालों का इस्तेमाल करता है. ये सवाल, स्कूल के ग्रेड लेवल के होते हैं.

0-शॉट

PIQA

PIQA बेंचमार्क, किसी भाषा मॉडल की इस क्षमता की जांच करता है कि वह रोज़मर्रा के कामों के बारे में पूछे गए सवालों के जवाब देकर, सामान्य ज्ञान को समझ और लागू कर सकता है या नहीं.

0-शॉट

SIQA

SIQA मानदंड, लोगों की कार्रवाइयों और उनके सामाजिक असर के बारे में सवाल पूछकर, यह आकलन करता है कि भाषा मॉडल, सामाजिक इंटरैक्शन और सामाजिक सामान्य ज्ञान को कितना समझता है.

0-शॉट

Boolq

BoolQ बेंचमार्क, भाषा के मॉडल की उस क्षमता की जांच करता है जिससे वह आम तौर पर पूछे जाने वाले 'हां/नहीं' सवालों के जवाब दे सकता है. साथ ही, यह मॉडल की उस क्षमता की भी जांच करता है जिससे वह असल ज़िंदगी में, सामान्य भाषा के अनुमान लगाने वाले टास्क को पूरा कर सकता है.

5-shot

TriviaQA

TriviaQA बेंचमार्क, सवाल-जवाब-सबूत के ट्रिपल की मदद से, पढ़कर समझने की क्षमता की जांच करता है.

5-shot

NQ

एनक्यू (नैचुरल सवाल) मानदंड की मदद से, विकिपीडिया के सभी लेखों में जवाब ढूंढने और समझने की भाषा मॉडल की क्षमता की जांच की जाती है. साथ ही, यह जांच की जाती है कि असल दुनिया में किस तरह के सवाल पूछे जाते हैं और इसका जवाब कैसे दिया जाता है.

pass@1

HumanEval

HumanEval बेंचमार्क, किसी भाषा मॉडल की कोड जनरेशन क्षमताओं की जांच करता है. इसके लिए, यह जांच की जाती है कि उसके समाधान, प्रोग्रामिंग से जुड़ी समस्याओं के लिए फ़ंक्शनल यूनिट टेस्ट पास करते हैं या नहीं.

तीन शॉट

MBPP

MBPP बेंचमार्क, भाषा मॉडल की Python प्रोग्रामिंग की बुनियादी समस्याओं को हल करने की क्षमता की जांच करता है. यह प्रोग्रामिंग के बुनियादी सिद्धांतों और स्टैंडर्ड लाइब्रेरी के इस्तेमाल पर फ़ोकस करता है.