cuadron11/jina-reranker-v2-base-multilingual-contrastive-parl-4-10ep

CrossEncoder based on jinaai/jina-reranker-v2-base-multilingual

This is a Cross Encoder model finetuned from jinaai/jina-reranker-v2-base-multilingual using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.

Model Details

Model Description

• Model Type: Cross Encoder
• Base model: jinaai/jina-reranker-v2-base-multilingual
• Maximum Sequence Length: 1024 tokens
• Number of Output Labels: 1 label

Model Sources

• Documentation: Sentence Transformers Documentation
• Documentation: Cross Encoder Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Cross Encoders on Hugging Face

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import CrossEncoder

# Download from the 🤗 Hub
model = CrossEncoder("cuadron11/jina-reranker-v2-base-multilingual-contrastive-parl-4-10ep")
# Get scores for pairs of texts
pairs = [
    ['Zer gertatu zen martxoaren 3an Euskal Autonomia Erkidegoan?', '[TOPIC: Honako ekimen hauek batera eztabaidatu eta behin betiko ebazpena hartzea: ]\n[UNZALU HERMOSA, (SV-ES)]:\nSekula. Gertatzen dena da uste dugula martxoaren 3ko jokaerak baduela zer hobetua. Eta hobetzeko abiapuntu bakarra gogoeta egitea da, aztertzea eta hasieratik aitortzea hutsegiteak egin zirela. Izan ere, nire lehenengo hitzaldian esan dudanez, triskantzak gertatu izanak pentsarazi behar liguke zerbaitek huts egin zuela egun hartako dispositiboa edo operazioa planifikatzean eta zuzentzean. Horixe sartu nahi dugu guk: eztabaida-elementuak, hobekuntzarako kritika-elementuak, eta UPyDrekin eta Alderdi Popularrarekin sinatu dugun zuzenketan hori esaten da, onar dadila gauzak hobetu egin daitezkeela. Izan ere, Iturrate jauna, zuk egin dizkiguzun galderei nik beste batzuekin erantzungo nieke. Posible da hutsegiteetatik ikastea eta herritarren segurtasuna hobetzea? Posible da? Edo, besterik gabe, "Ahal zen modu bakarrean jokatu dugu" esatera mugatu behar dugu? Posible da herritarrei kalte gutxiago eragitea horrelako istiluak gertatzen direnean? Horixe planteatu nahi dugu guk, beharrezkoa dela… Eta uste osoa dugunez hobetu daitekeela, eta uste osoa dugunez hobeto joka zitekeela, horregatik nahi dugu eta horregatik planteatzen dugu hutsegiteak aztertzea, gogoeta egitea, eta elementu zuzentzaileak martxan jartzea horrelako egoerarik berriro gerta ez dadin. Eta, begira, sailarekin batera dispositiboari babesa eman dioten bakarrak dira, hain justu, Ertzaintzaren jokaerak inoiz babesten ez dituztenak; lehen esan dudanez, Ertzaintzaren kontrako ekintzak ere gaitzetsi ez dituztenak. Eta horrek kezkatu egiten gaitu. Nik ez dakit zu, Iturrate jauna, eta sailburu andrea kezkatzen zaituzten; baina, (Date: 03.04.2014)'],
    ['Zenbat denbora behar da Ertzaintzako promozio baten deialdia egiten denetik agenteak kalera irteten diren arte?', '[TOPIC: Interpelazioa, Javier Ruiz de Arbulo Cerio Euskal Talde Popularreko legebiltzarkideak Segurtasuneko sailburuari egina, Arabako Miñoien Atalari buruz]\n[SEGURTASUNEKO SAILBURUAK (BELTRÁN DE HEREDIA ARRONIZ), (EA-NV)]:\nhoriek aldatu egiten dira egun batetik bestera, unitate batetik bestera, kontuan hartuta zer bilakaera duten erretiroek, kontuan hartuta nola gertatzen diren baja horiek… Baina, batez ere, nik bezain ondo dakizu Ertzaintzan defizit handia daukagula, eta ezin hobeto dakizu zergatia zein den. Ez dakit defizit horren zergatia zein den errepika diezazudan etorri zaren hona, baina ez daukat inolako eragozpenik Legebiltzar honetan berriro azaltzeko eta zuek berriro entzun behar izateko. Honela gaude Espainiako Gobernuak, Alderdi Popularraren Gobernuak, denbora asko behar izan zuelako, denbora gehiegi, zuk behar izan duzun be- zala, ulertzeko premia geneukala Ertzaintzan gertatzen ari ziren erretiro-bajak estaltzeko promozio berriak deitzeko –gero eta gehiago dira erretiroak eragindako bajak–; logikoa denez, baja horiek eragina zeukaten eta daukate Miñoien Atalean ere, bajak oraindik ere gertatzen ari baitira. 26. promozioa hautatzeko prozesua urtebete baino gehiago atzeratu da, errekurtsoek mehatxatu egin zituztelako 25. promozioaren bilakaera normala eta amaiera. Nik uste dut orain bide onetik goazela, baina ez duzu ahaztu behar promozio baten deialdia egiten dugunetik agenteak kalera irteten diren arte bi urte baino gehiago igarotzen direla. Bi urte baino gehiago. Eta ziztu bizian ibili ginen, betoa amaitu orduko azterketak egiteko: hogei egun eskas behar izan genituen 26. promozioko azterketen deialdia egiteko. Ziztu bizian ibili ginen, baina, hala ere, kale. Denbora eman behar da, ezta? Hemen, urdaiazpikoekin bezala geratzen da: denbora eman behar zaie, ontzeko. Bada, (Date: 01.12.2017)'],
    ['Zergatik dimititu zuen Eusko Jaurlaritzako Komunikazio zuzendariak?', '[TOPIC: Galdera, Gorka Maneiro Labayen Mistoa-UPyD taldeko legebiltzarkideak lehendakariari egina, Eusko Jaurlaritzako Komunikazio zuzendariaren dimisioaren ondoren hartu beharreko erantzukizun politikoei buruz]\n[MANEIRO LABAYEN, (Mixto-UPyD)]:\nsailburu jakin batzuei elkarrizketak egitearen truke? Erantzun ahal diezaiokezu galdera horri? Halaxe da, bai. Zure esanetan, ez dago ezer arrarorik eta irregularrik, baina pertsona batek dimititu egin du. Zer egiteko asmoa duzu zuk? Bide batez, zer da aldi baterako dimisioaren kontu hori? Beste postu batean jarri al duzue pertsona hori? Diru publikoa kobratzen jarraitzen al du? Argitu dezakezu, edo herritarrak engainatu nahi dituzue? Pertsona horrek dimititu egin du. Zer egiteko (Date: 30.10.2015)'],
    ['Zein da euskal herritarren iritzia independentziari buruz, Soziometroaren arabera?', '[TOPIC: Mozioa, Maddalen Iriarte Okiñena EH Bildu taldeko legebiltzarkideak aurkeztua, herri bezala ditugun erronka estrategikoei erantzuteko, herri-jakintza aktibatzeko eta ariketa kolektibo bat egiteko beharraren inguruan. Eztabaida eta behin betiko ebazpena]\n[BARRIO BAROJA, (PV-ETP)]:\nasko; eta ezin dela horren autokonplazientea izan eta dena positiboki egin dela esan. Argi dago, Iriarte andrea, amaitzeko, etorkizuneko erronkak ditugula; ados gaude gogor lan egin behar dela; baina estatus berria herritarrei arazo gehiago sortzea da; hura agerian jartzea eta hona ekartzea, berriz ere konfrontazio- eta eztabaida-eremu izatea da, herritarrei arazo gehiago sortzea da. Atzo argi eta garbi zioen euskal Soziometroak euskal herritarrok independentziari buruz zer iritzi dugu; eta inoiz ez da hain maila baxurik ikusi. Beraz, ildo horretan, erronka estrategikoei buruz hitz egiten ari zaren une honetan, estatus berriaren eztabaida hona ekartzea atzerapausoa litzateke, arazo gehiago ematea litzateke; eta, jakina, gu –zuri erantzuten dizut, baita orain hura aldarrikatu duen Egibar jaunari ere esaten diot– aurka egongo gara. Eskerrik asko. (Date: 10.06.2021)'],
    ['Zeintzuk dira Eusko Jaurlaritzaren asmoak euskararen normalizazioan sakontzeko?', '[TOPIC: Galdera, Rebeka Ubera Aranzeta EH Bildu taldeko legebiltzarkideak Kultura eta Hizkuntza Politikako sailburuari egina, euskararen normalizazioan sakontzeko neurri funtsezkoak hartzeari buruz]\n[UBERA ARANZETA, (EH Bildu)]:\nAdministrazioa euskalduntzeko urratsak emango zirela: ekarpenak egin ditugu eta ezezkoa jaso dugu. Esan zitzaigun euskara ikastea doako bilakatzeko urratsak emango zirela, eta mugak besterik ez dugu ikusi eta ezezkoa jaso dugu. Eta jada dagoeneko zalantzan jartzen hasiak gara Gobernu honen borondate politikoa zein den. Eta, legegintzaldi honetan, sailburuen aldetik ere, atzerakada izugarria izan da, aurreko legegintzaldiarekin konparatuta –nabarmen gainera–, eta zentzu horretan ere, zerbait egin beharko duzu. Neurtzen ari (Date: 19.05.2017)'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# Or rank different texts based on similarity to a single text
ranks = model.rank(
    'Zer gertatu zen martxoaren 3an Euskal Autonomia Erkidegoan?',
    [
        '[TOPIC: Honako ekimen hauek batera eztabaidatu eta behin betiko ebazpena hartzea: ]\n[UNZALU HERMOSA, (SV-ES)]:\nSekula. Gertatzen dena da uste dugula martxoaren 3ko jokaerak baduela zer hobetua. Eta hobetzeko abiapuntu bakarra gogoeta egitea da, aztertzea eta hasieratik aitortzea hutsegiteak egin zirela. Izan ere, nire lehenengo hitzaldian esan dudanez, triskantzak gertatu izanak pentsarazi behar liguke zerbaitek huts egin zuela egun hartako dispositiboa edo operazioa planifikatzean eta zuzentzean. Horixe sartu nahi dugu guk: eztabaida-elementuak, hobekuntzarako kritika-elementuak, eta UPyDrekin eta Alderdi Popularrarekin sinatu dugun zuzenketan hori esaten da, onar dadila gauzak hobetu egin daitezkeela. Izan ere, Iturrate jauna, zuk egin dizkiguzun galderei nik beste batzuekin erantzungo nieke. Posible da hutsegiteetatik ikastea eta herritarren segurtasuna hobetzea? Posible da? Edo, besterik gabe, "Ahal zen modu bakarrean jokatu dugu" esatera mugatu behar dugu? Posible da herritarrei kalte gutxiago eragitea horrelako istiluak gertatzen direnean? Horixe planteatu nahi dugu guk, beharrezkoa dela… Eta uste osoa dugunez hobetu daitekeela, eta uste osoa dugunez hobeto joka zitekeela, horregatik nahi dugu eta horregatik planteatzen dugu hutsegiteak aztertzea, gogoeta egitea, eta elementu zuzentzaileak martxan jartzea horrelako egoerarik berriro gerta ez dadin. Eta, begira, sailarekin batera dispositiboari babesa eman dioten bakarrak dira, hain justu, Ertzaintzaren jokaerak inoiz babesten ez dituztenak; lehen esan dudanez, Ertzaintzaren kontrako ekintzak ere gaitzetsi ez dituztenak. Eta horrek kezkatu egiten gaitu. Nik ez dakit zu, Iturrate jauna, eta sailburu andrea kezkatzen zaituzten; baina, (Date: 03.04.2014)',
        '[TOPIC: Interpelazioa, Javier Ruiz de Arbulo Cerio Euskal Talde Popularreko legebiltzarkideak Segurtasuneko sailburuari egina, Arabako Miñoien Atalari buruz]\n[SEGURTASUNEKO SAILBURUAK (BELTRÁN DE HEREDIA ARRONIZ), (EA-NV)]:\nhoriek aldatu egiten dira egun batetik bestera, unitate batetik bestera, kontuan hartuta zer bilakaera duten erretiroek, kontuan hartuta nola gertatzen diren baja horiek… Baina, batez ere, nik bezain ondo dakizu Ertzaintzan defizit handia daukagula, eta ezin hobeto dakizu zergatia zein den. Ez dakit defizit horren zergatia zein den errepika diezazudan etorri zaren hona, baina ez daukat inolako eragozpenik Legebiltzar honetan berriro azaltzeko eta zuek berriro entzun behar izateko. Honela gaude Espainiako Gobernuak, Alderdi Popularraren Gobernuak, denbora asko behar izan zuelako, denbora gehiegi, zuk behar izan duzun be- zala, ulertzeko premia geneukala Ertzaintzan gertatzen ari ziren erretiro-bajak estaltzeko promozio berriak deitzeko –gero eta gehiago dira erretiroak eragindako bajak–; logikoa denez, baja horiek eragina zeukaten eta daukate Miñoien Atalean ere, bajak oraindik ere gertatzen ari baitira. 26. promozioa hautatzeko prozesua urtebete baino gehiago atzeratu da, errekurtsoek mehatxatu egin zituztelako 25. promozioaren bilakaera normala eta amaiera. Nik uste dut orain bide onetik goazela, baina ez duzu ahaztu behar promozio baten deialdia egiten dugunetik agenteak kalera irteten diren arte bi urte baino gehiago igarotzen direla. Bi urte baino gehiago. Eta ziztu bizian ibili ginen, betoa amaitu orduko azterketak egiteko: hogei egun eskas behar izan genituen 26. promozioko azterketen deialdia egiteko. Ziztu bizian ibili ginen, baina, hala ere, kale. Denbora eman behar da, ezta? Hemen, urdaiazpikoekin bezala geratzen da: denbora eman behar zaie, ontzeko. Bada, (Date: 01.12.2017)',
        '[TOPIC: Galdera, Gorka Maneiro Labayen Mistoa-UPyD taldeko legebiltzarkideak lehendakariari egina, Eusko Jaurlaritzako Komunikazio zuzendariaren dimisioaren ondoren hartu beharreko erantzukizun politikoei buruz]\n[MANEIRO LABAYEN, (Mixto-UPyD)]:\nsailburu jakin batzuei elkarrizketak egitearen truke? Erantzun ahal diezaiokezu galdera horri? Halaxe da, bai. Zure esanetan, ez dago ezer arrarorik eta irregularrik, baina pertsona batek dimititu egin du. Zer egiteko asmoa duzu zuk? Bide batez, zer da aldi baterako dimisioaren kontu hori? Beste postu batean jarri al duzue pertsona hori? Diru publikoa kobratzen jarraitzen al du? Argitu dezakezu, edo herritarrak engainatu nahi dituzue? Pertsona horrek dimititu egin du. Zer egiteko (Date: 30.10.2015)',
        '[TOPIC: Mozioa, Maddalen Iriarte Okiñena EH Bildu taldeko legebiltzarkideak aurkeztua, herri bezala ditugun erronka estrategikoei erantzuteko, herri-jakintza aktibatzeko eta ariketa kolektibo bat egiteko beharraren inguruan. Eztabaida eta behin betiko ebazpena]\n[BARRIO BAROJA, (PV-ETP)]:\nasko; eta ezin dela horren autokonplazientea izan eta dena positiboki egin dela esan. Argi dago, Iriarte andrea, amaitzeko, etorkizuneko erronkak ditugula; ados gaude gogor lan egin behar dela; baina estatus berria herritarrei arazo gehiago sortzea da; hura agerian jartzea eta hona ekartzea, berriz ere konfrontazio- eta eztabaida-eremu izatea da, herritarrei arazo gehiago sortzea da. Atzo argi eta garbi zioen euskal Soziometroak euskal herritarrok independentziari buruz zer iritzi dugu; eta inoiz ez da hain maila baxurik ikusi. Beraz, ildo horretan, erronka estrategikoei buruz hitz egiten ari zaren une honetan, estatus berriaren eztabaida hona ekartzea atzerapausoa litzateke, arazo gehiago ematea litzateke; eta, jakina, gu –zuri erantzuten dizut, baita orain hura aldarrikatu duen Egibar jaunari ere esaten diot– aurka egongo gara. Eskerrik asko. (Date: 10.06.2021)',
        '[TOPIC: Galdera, Rebeka Ubera Aranzeta EH Bildu taldeko legebiltzarkideak Kultura eta Hizkuntza Politikako sailburuari egina, euskararen normalizazioan sakontzeko neurri funtsezkoak hartzeari buruz]\n[UBERA ARANZETA, (EH Bildu)]:\nAdministrazioa euskalduntzeko urratsak emango zirela: ekarpenak egin ditugu eta ezezkoa jaso dugu. Esan zitzaigun euskara ikastea doako bilakatzeko urratsak emango zirela, eta mugak besterik ez dugu ikusi eta ezezkoa jaso dugu. Eta jada dagoeneko zalantzan jartzen hasiak gara Gobernu honen borondate politikoa zein den. Eta, legegintzaldi honetan, sailburuen aldetik ere, atzerakada izugarria izan da, aurreko legegintzaldiarekin konparatuta –nabarmen gainera–, eta zentzu horretan ere, zerbait egin beharko duzu. Neurtzen ari (Date: 19.05.2017)',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

Evaluation

Metrics

Cross Encoder Reranking

• Dataset: jina-reranker-v2-base-multilingual-contrastive-parl-4-10ep
• Evaluated with CrossEncoderRerankingEvaluator with these parameters:

  {
      "at_k": 10,
      "always_rerank_positives": false
  }
  

Metric	Value
map	0.0194 (+0.0172)
mrr@10	0.0194 (+0.0176)
ndcg@10	0.0198 (+0.0172)

Training Details

Training Dataset

Unnamed Dataset

• Size: 3,200 training samples
• Columns: query and positive
• Approximate statistics based on the first 1000 samples:

  	query	positive
  type	string	string
  details	min: 27 characters mean: 99.5 characters max: 250 characters	min: 569 characters mean: 975.13 characters max: 2175 characters

• Samples:

  query	positive
  Zein urtetan egin zuen José Ramón Becerra Carollo legebiltzarkideak SOS Deiak-112 larrialdi-deien arretarako zerbitzuaren esleipenari buruzko mozioa?	[TOPIC: Mozioa, José Ramón Becerra Carollo Elkarrekin Podemos taldeko legebiltzarkideak aurkeztua, SOS Deiak-112 larrialdi-deien arretarako zerbitzuaren esleipenari buruz. Eztabaida eta behin betiko ebazpena] [LATXAGA UGARTEMENDIA, (EA-NV)]: eta gero Sabin Etxearekin, Eliza Katolikoarekin, Xabier Arzalluzekin eta Eusko Jaurlaritzarekin berarekin lotu zenuen enpresa esleipenduna. Konspirazio perfektua lortzeko, Mosad eta BBVA falta zitzaizkizun, nik uste. Mesedez, ez erabili Ganbera hau gure eserlekuen gainean zikinkeria, zaborra botatzeko. Ez erabili horretarako, onbidezko gauzetarako baizik. Eta ez egin funtsik gabe, inolako frogarik gabe. Zuk esaten zenuena oso larria zen, oso larria, eta ezin duzu hemen tribuna honetan besterik gabe (Date: 21.12.2017)
  Zergatik da beharrezkoa kargudun publikoen jokaera kodea arautzea?	[TOPIC: Euskal Sozialistak legebiltzar-taldeak egindako lege-proposamena, Kargudun Publikoaren Jokaera Kodea eta haren Bateraezintasunen Erregimena arautzeko. Aintzat hartzeari buruzko eztabaida eta behin betiko ebazpena] [MINTEGI LAKARRA, (EH Bildu)]: Egun on, presidente andrea, lehendakari jauna, legebiltzarkideok. Legerik onena da behar ez dena eta arautu beharra dagoenean hor badago ja gabeziaren sintoma, edo ez dagoelako adostasunik edo jokaera desegokiak egon direlako eta horiek saihestu behar direlako eta ez da ikusi beste biderik arautu beharra baino. Beraz, orain kargu publikoen jokaera etikoa edo jokaera kodea arautu beharrak adierazten digu badagoela gabezia, horren sintoma da. Izatez, jokaera zuzena berezkoa izan beharko (Date: 28.02.2013)
  Zein da EH Bildu talde parlamentarioaren jarrera Ikuskizunen eta Jolas Jardueren Legea garatzeko erregelamenduaren inguruan?	[TOPIC: EH Bildu talde parlamentarioak egindako legez besteko proposamena, Ikuskizunen eta Jolas Jardueren Legea garatzeko erregelamenduaren inguruan. Eztabaida eta behin betiko ebazpena] [ÁLVAREZ MARTÍNEZ, (EA-NV)]: mintzaldian aipatu ditugun puntuak zehaztu behar ditugun. Uste dugu, erantzukizunetik, dekretu hori berrikusi egin behar dela, eta uste dugu dagoeneko abian dela berrikuspen-prozesu hori, Eudelekin batera, udalek dituzten ikuspegiekin batera. Puntu honetan, gogoratu behar da Eudelen kolore guzti-guztietako udalak daudela ordezkatuta, eta kontuan hartu behar da, halaber, udal horiek guztiek zer iritzi duten eta zer ikuspuntu duten. Sémper jauna, nik ere uste dut –esperientzia handirik ez daukat, baina (Date: 14.03.2019)

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 10.0,
      "num_negatives": null,
      "activation_fn": "torch.nn.modules.activation.Sigmoid",
      "mini_batch_size": 16
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 800 evaluation samples
• Columns: query and positive
• Approximate statistics based on the first 800 samples:

  	query	positive
  type	string	string
  details	min: 32 characters mean: 102.26 characters max: 247 characters	min: 550 characters mean: 1011.95 characters max: 2370 characters

• Samples:

  query	positive
  Zer gertatu zen martxoaren 3an Euskal Autonomia Erkidegoan?	[TOPIC: Honako ekimen hauek batera eztabaidatu eta behin betiko ebazpena hartzea: ] [UNZALU HERMOSA, (SV-ES)]: Sekula. Gertatzen dena da uste dugula martxoaren 3ko jokaerak baduela zer hobetua. Eta hobetzeko abiapuntu bakarra gogoeta egitea da, aztertzea eta hasieratik aitortzea hutsegiteak egin zirela. Izan ere, nire lehenengo hitzaldian esan dudanez, triskantzak gertatu izanak pentsarazi behar liguke zerbaitek huts egin zuela egun hartako dispositiboa edo operazioa planifikatzean eta zuzentzean. Horixe sartu nahi dugu guk: eztabaida-elementuak, hobekuntzarako kritika-elementuak, eta UPyDrekin eta Alderdi Popularrarekin sinatu dugun zuzenketan hori esaten da, onar dadila gauzak hobetu egin daitezkeela. Izan ere, Iturrate jauna, zuk egin dizkiguzun galderei nik beste batzuekin erantzungo nieke. Posible da hutsegiteetatik ikastea eta herritarren segurtasuna hobetzea? Posible da? Edo, besterik gabe, "Ahal zen modu bakarrean jokatu dugu" esatera mugatu behar dugu? Posible da herritarrei k...
  Zenbat denbora behar da Ertzaintzako promozio baten deialdia egiten denetik agenteak kalera irteten diren arte?	[TOPIC: Interpelazioa, Javier Ruiz de Arbulo Cerio Euskal Talde Popularreko legebiltzarkideak Segurtasuneko sailburuari egina, Arabako Miñoien Atalari buruz] [SEGURTASUNEKO SAILBURUAK (BELTRÁN DE HEREDIA ARRONIZ), (EA-NV)]: horiek aldatu egiten dira egun batetik bestera, unitate batetik bestera, kontuan hartuta zer bilakaera duten erretiroek, kontuan hartuta nola gertatzen diren baja horiek… Baina, batez ere, nik bezain ondo dakizu Ertzaintzan defizit handia daukagula, eta ezin hobeto dakizu zergatia zein den. Ez dakit defizit horren zergatia zein den errepika diezazudan etorri zaren hona, baina ez daukat inolako eragozpenik Legebiltzar honetan berriro azaltzeko eta zuek berriro entzun behar izateko. Honela gaude Espainiako Gobernuak, Alderdi Popularraren Gobernuak, denbora asko behar izan zuelako, denbora gehiegi, zuk behar izan duzun be- zala, ulertzeko premia geneukala Ertzaintzan gertatzen ari ziren erretiro-bajak estaltzeko promozio berriak deitzeko –gero eta gehiago dira erretiro...
  Zergatik dimititu zuen Eusko Jaurlaritzako Komunikazio zuzendariak?	[TOPIC: Galdera, Gorka Maneiro Labayen Mistoa-UPyD taldeko legebiltzarkideak lehendakariari egina, Eusko Jaurlaritzako Komunikazio zuzendariaren dimisioaren ondoren hartu beharreko erantzukizun politikoei buruz] [MANEIRO LABAYEN, (Mixto-UPyD)]: sailburu jakin batzuei elkarrizketak egitearen truke? Erantzun ahal diezaiokezu galdera horri? Halaxe da, bai. Zure esanetan, ez dago ezer arrarorik eta irregularrik, baina pertsona batek dimititu egin du. Zer egiteko asmoa duzu zuk? Bide batez, zer da aldi baterako dimisioaren kontu hori? Beste postu batean jarri al duzue pertsona hori? Diru publikoa kobratzen jarraitzen al du? Argitu dezakezu, edo herritarrak engainatu nahi dituzue? Pertsona horrek dimititu egin du. Zer egiteko (Date: 30.10.2015)

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 10.0,
      "num_negatives": null,
      "activation_fn": "torch.nn.modules.activation.Sigmoid",
      "mini_batch_size": 16
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 10
• warmup_ratio: 0.1
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss	jina-reranker-v2-base-multilingual-contrastive-parl-4-10ep_ndcg@10
1.0	200	0.0644	0.0238	0.0200 (+0.0175)
2.0	400	0.0238	0.0220	0.0198 (+0.0172)
3.0	600	0.0182	0.0231	0.0200 (+0.0175)
4.0	800	0.0167	0.0235	0.0198 (+0.0172)
5.0	1000	0.0123	0.0240	0.0198 (+0.0172)
6.0	1200	0.0123	0.0260	0.0198 (+0.0172)
7.0	1400	0.0133	0.0260	0.0198 (+0.0172)
8.0	1600	0.0143	0.0258	0.0198 (+0.0172)
9.0	1800	0.0136	0.0258	0.0198 (+0.0172)
10.0	2000	0.0135	0.0257	0.0198 (+0.0172)

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.9.7
• Sentence Transformers: 5.0.0
• Transformers: 4.56.0
• PyTorch: 2.7.1+cu126
• Accelerate: 1.5.2
• Datasets: 4.0.0
• Tokenizers: 0.22.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}