cuadron11/jina-reranker-v2-base-multilingual-contrastive-12-parl

CrossEncoder based on jinaai/jina-reranker-v2-base-multilingual

This is a Cross Encoder model finetuned from jinaai/jina-reranker-v2-base-multilingual using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.

Model Details

Model Description

• Model Type: Cross Encoder
• Base model: jinaai/jina-reranker-v2-base-multilingual
• Maximum Sequence Length: 1024 tokens
• Number of Output Labels: 1 label

Model Sources

• Documentation: Sentence Transformers Documentation
• Documentation: Cross Encoder Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Cross Encoders on Hugging Face

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import CrossEncoder

# Download from the 🤗 Hub
model = CrossEncoder("cuadron11/jina-reranker-v2-base-multilingual-contrastive-12-parl")
# Get scores for pairs of texts
pairs = [
    ['Zein da Euskadiren egoera alarma-egoeraren amaieraren atarian 2021eko apirilean?', '[TOPIC: Galdera, Carlos Iturgaiz Angulo Euskal Talde PopularraCiudadanos taldeko legebiltzarkideak lehendakariari egina, alarma-egoeraren amaiera dela-eta sortu diren kontraesanei buruz]\n[ITURGAIZ ANGULO, (PV-ETP)]:\nEskerrik asko, legebiltzarburu andrea. Jaun-andreok, egun on guztioi. Lehendakari jauna, egun on. Egun gutxi geratzen dira alarma-egoera amaitzeko, eta atzo bertan baztertu zenuen zuk Mendia andreak proposatzen zuen nahierako alarma-egoera. Baina euskal herritarrok dagoeneko ezagutzen dugu menua, zoritxarrez digeritzen zaila den menua, gaur egun Espainiako egoerarik txarrena eta kutsatzeetan Europako okerrena biltzen dituena; ekonomiaren eta enpleguaren murrizketarik handienak dituena, eta pandemiaren aurkako emaitzarik txarrenak; (Date: 30.04.2021)'],
    ['Nork aurkez ditzake hautagaiak Joxe Mari Korta sarirako?', '[TOPIC: Galdera, Eukene Arana Varas Elkarrekin Podemos taldeko legebiltzarkideak lehendakariari egina, 2017ko Joxe Mari Korta sariei buruz]\n[JAURLARITZAKO LEHENDAKARIAK (URKULLU RENTERIA), (EA-NV)]:\nelkarteek ere, antolakunde patronalek ere, baita fundazioak ere, haiek soilik aurkeztu ahal dituztenez hautagaiak, bada, datozen urteetan emakumezko hautagaiak aurkeztea. Nolanahi ere, Eusko Jaurlaritzak konpromiso sendoa dauka berdintasunaren alde, eta aintzat hartu behar da emakumezko euskal enpresaburuen zeregina. Eta hori Gobernu gisa egiten dugu, dagokigun neurrian, emakume enpresaburuen elkarteekin batera. Emakume horien ikusgarritasuna handitu egin behar da, bai –bat nator horrekin–, enpresen eremuan ere, eta, zalantzarik gabe, Euskadin (Date: 01.12.2017)'],
    ['Zein printzipio aplikatu behar dira frankismoaren biktimei ordaintzeko?', '[TOPIC: Euzko Abertzaleak, EH Bildu eta Euskal Sozialistak legebiltzartaldeek egindako legez besteko proposamena, frankismoaren krimenen arduradunak ikertzea bultzatu beharrari buruz. Eztabaida eta behin betiko ebazpena]\n[ITURRATE IBARRA, (EA-NV)]:\nzuen xede, eta ez frankisten eskubideak babestea. Legebiltzarkideok, egia ezkutatzeak, gertatutakoaren gainean estalki bat botatzeak, dolu bat arintzeko balio dezake, baina une baterako baino ez du balio. Ameskeria bat da, ameskeria bat baino ez da, ondo egiten ez diren doluak azkenean beti ateratzen direlako. Eta Legebiltzar honetan konbentzituta gaude horretaz, eta hainbat erabaki sinatu ditugu zentzu horretan duela gutxiko gure iraganaren inguruan, ETAren jarduera terroristaren inguruan, biktimen inguruan eta abar. Printzipio horiek eurek eta izaera horrek berak balio behar dute pairatu ditugun indarkeria-aldi guztiak ixteko eta biktima guztiei ordaintzeko. Izan ere, denbora pasatu ala ez, biktima batzuek beren eskubideak eskatzen jarraitzen dute, senitartekoak aurkitu gabe jarraitzen dute, desagertuen senitarteko izaten eta eskubidea izaten jarraitzen dute, nazioartean hala jasota dagoelako –hala behar luke Espainiako legerian ere–, egia-, justizia- eta ordain-printzipioak aplika diezazkieten. Besterik ez, eta eskerrik asko. La (Date: 26.05.2016)'],
    ['Noiz sortu zen Legebiltzarraren Erregelamenduaren erreforma aztertzeko ponentzia?', '[TOPIC: Euskal Talde Parlamentario Popularrak egindako legez besteko proposamena, Legebiltzarraren Erregelamenduaren erreforma aztertzeko ponentzia bat sortzeari buruz. Eztabaida eta behin betiko ebazpena]\n[BLANCO DE ANGULO, (EH Bildu)]:\nakordioa, Barrio jaunak horretan sakondu duelako. Baina, amaitzeko, aipatu nahiko nuke pasa den legegintzaldian egindako lana, sortu zen ponentziako lana aurreratua izan zelako, eta oso inportantea iruditzen zaigu egin ziren proposamenak aztertzea. Finean, parlamentari jaun-andreok, 2017. urtean etxeko lanak eginda izango ditugu, eta espero dugu pasa den legegintzaldian baino askoz hobeto amaitzea. Besterik ez, eskerrik asko. (Date: 09.03.2017)'],
    ['Zein erakunderi bidali behar zaie Euskal Legebiltzar Talde Popularrak proposatutako Jaurlaritzaren Legeari buruzko aldaketa?', '[TOPIC: Euskal Legebiltzar Talde Popularrak egindako lege-proposamena, 7/1981 Legea, ekainaren 30ekoa, Jaurlaritzaren Legeari buruzkoa, aldatzen duena. Aintzat hartzeari buruzko eztabaida eta behin betiko ebazpena]\n[MENDIA CUEVA, (SV-ES)]:\nbidaltzeko eskatu beharko geniokeen pentsatu beharko genuke ponentzian: organoei (Ekonomia eta Gizarte Kontseilua, Lan Harremanen Kontseilua, sindikatuak, azken finean, aldundiak, Eudel, arau horri dagokionez interes legitimoa izan dezaketen guztiak) informazioa ematen eta kontsulta egiten zaien une horretan, ala amaieran bidaltzea nahi dugu, EAEko Aholku Batzorde Juridikoan sartuko denean. Eztabaida hori desberdina da, eta beraz nik uste dut kontuan izan beharreko gaia dela. Izan ere, hemen Jaurlaritzaren Legearen aldaketari (Date: 08.05.2014)'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# Or rank different texts based on similarity to a single text
ranks = model.rank(
    'Zein da Euskadiren egoera alarma-egoeraren amaieraren atarian 2021eko apirilean?',
    [
        '[TOPIC: Galdera, Carlos Iturgaiz Angulo Euskal Talde PopularraCiudadanos taldeko legebiltzarkideak lehendakariari egina, alarma-egoeraren amaiera dela-eta sortu diren kontraesanei buruz]\n[ITURGAIZ ANGULO, (PV-ETP)]:\nEskerrik asko, legebiltzarburu andrea. Jaun-andreok, egun on guztioi. Lehendakari jauna, egun on. Egun gutxi geratzen dira alarma-egoera amaitzeko, eta atzo bertan baztertu zenuen zuk Mendia andreak proposatzen zuen nahierako alarma-egoera. Baina euskal herritarrok dagoeneko ezagutzen dugu menua, zoritxarrez digeritzen zaila den menua, gaur egun Espainiako egoerarik txarrena eta kutsatzeetan Europako okerrena biltzen dituena; ekonomiaren eta enpleguaren murrizketarik handienak dituena, eta pandemiaren aurkako emaitzarik txarrenak; (Date: 30.04.2021)',
        '[TOPIC: Galdera, Eukene Arana Varas Elkarrekin Podemos taldeko legebiltzarkideak lehendakariari egina, 2017ko Joxe Mari Korta sariei buruz]\n[JAURLARITZAKO LEHENDAKARIAK (URKULLU RENTERIA), (EA-NV)]:\nelkarteek ere, antolakunde patronalek ere, baita fundazioak ere, haiek soilik aurkeztu ahal dituztenez hautagaiak, bada, datozen urteetan emakumezko hautagaiak aurkeztea. Nolanahi ere, Eusko Jaurlaritzak konpromiso sendoa dauka berdintasunaren alde, eta aintzat hartu behar da emakumezko euskal enpresaburuen zeregina. Eta hori Gobernu gisa egiten dugu, dagokigun neurrian, emakume enpresaburuen elkarteekin batera. Emakume horien ikusgarritasuna handitu egin behar da, bai –bat nator horrekin–, enpresen eremuan ere, eta, zalantzarik gabe, Euskadin (Date: 01.12.2017)',
        '[TOPIC: Euzko Abertzaleak, EH Bildu eta Euskal Sozialistak legebiltzartaldeek egindako legez besteko proposamena, frankismoaren krimenen arduradunak ikertzea bultzatu beharrari buruz. Eztabaida eta behin betiko ebazpena]\n[ITURRATE IBARRA, (EA-NV)]:\nzuen xede, eta ez frankisten eskubideak babestea. Legebiltzarkideok, egia ezkutatzeak, gertatutakoaren gainean estalki bat botatzeak, dolu bat arintzeko balio dezake, baina une baterako baino ez du balio. Ameskeria bat da, ameskeria bat baino ez da, ondo egiten ez diren doluak azkenean beti ateratzen direlako. Eta Legebiltzar honetan konbentzituta gaude horretaz, eta hainbat erabaki sinatu ditugu zentzu horretan duela gutxiko gure iraganaren inguruan, ETAren jarduera terroristaren inguruan, biktimen inguruan eta abar. Printzipio horiek eurek eta izaera horrek berak balio behar dute pairatu ditugun indarkeria-aldi guztiak ixteko eta biktima guztiei ordaintzeko. Izan ere, denbora pasatu ala ez, biktima batzuek beren eskubideak eskatzen jarraitzen dute, senitartekoak aurkitu gabe jarraitzen dute, desagertuen senitarteko izaten eta eskubidea izaten jarraitzen dute, nazioartean hala jasota dagoelako –hala behar luke Espainiako legerian ere–, egia-, justizia- eta ordain-printzipioak aplika diezazkieten. Besterik ez, eta eskerrik asko. La (Date: 26.05.2016)',
        '[TOPIC: Euskal Talde Parlamentario Popularrak egindako legez besteko proposamena, Legebiltzarraren Erregelamenduaren erreforma aztertzeko ponentzia bat sortzeari buruz. Eztabaida eta behin betiko ebazpena]\n[BLANCO DE ANGULO, (EH Bildu)]:\nakordioa, Barrio jaunak horretan sakondu duelako. Baina, amaitzeko, aipatu nahiko nuke pasa den legegintzaldian egindako lana, sortu zen ponentziako lana aurreratua izan zelako, eta oso inportantea iruditzen zaigu egin ziren proposamenak aztertzea. Finean, parlamentari jaun-andreok, 2017. urtean etxeko lanak eginda izango ditugu, eta espero dugu pasa den legegintzaldian baino askoz hobeto amaitzea. Besterik ez, eskerrik asko. (Date: 09.03.2017)',
        '[TOPIC: Euskal Legebiltzar Talde Popularrak egindako lege-proposamena, 7/1981 Legea, ekainaren 30ekoa, Jaurlaritzaren Legeari buruzkoa, aldatzen duena. Aintzat hartzeari buruzko eztabaida eta behin betiko ebazpena]\n[MENDIA CUEVA, (SV-ES)]:\nbidaltzeko eskatu beharko geniokeen pentsatu beharko genuke ponentzian: organoei (Ekonomia eta Gizarte Kontseilua, Lan Harremanen Kontseilua, sindikatuak, azken finean, aldundiak, Eudel, arau horri dagokionez interes legitimoa izan dezaketen guztiak) informazioa ematen eta kontsulta egiten zaien une horretan, ala amaieran bidaltzea nahi dugu, EAEko Aholku Batzorde Juridikoan sartuko denean. Eztabaida hori desberdina da, eta beraz nik uste dut kontuan izan beharreko gaia dela. Izan ere, hemen Jaurlaritzaren Legearen aldaketari (Date: 08.05.2014)',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

Evaluation

Metrics

Cross Encoder Reranking

• Dataset: jina-reranker-v2-base-multilingual-contrastive-12-parl
• Evaluated with CrossEncoderRerankingEvaluator with these parameters:

  {
      "at_k": 10,
      "always_rerank_positives": false
  }
  

Metric	Value
map	0.0031 (+0.0029)
mrr@10	0.0031 (+0.0030)
ndcg@10	0.0031 (+0.0029)

Training Details

Training Dataset

Unnamed Dataset

• Size: 6,400 training samples
• Columns: query and positive
• Approximate statistics based on the first 1000 samples:

  	query	positive
  type	string	string
  details	min: 26 characters mean: 99.73 characters max: 283 characters	min: 525 characters mean: 1005.47 characters max: 2370 characters

• Samples:

  query	positive
  Zein aukera ematen ditu Aurrekontu Araubidearen Legearen IX. tituluan jasotakoak aurrekontuak luzatu diren kasuetarako?	[TOPIC: Galdera, Lander Martínez Hierro Elkarrekin Podemos taldeko legebiltzarkideak lehendakariari egina, aurrekontuak luzatzeak dakartzan ondorioei buruz] [JAURLARITZAKO LEHENDAKARIAK (URKULLU RENTERIA), (EA-NV)]: Gracias, señora presidenta. Señor Martínez, es una pena que cuando presentamos el proyecto de presupuesto y les dimos la oportunidad de negociar nos respondieran con una rotunda negativa, y sí hubo un periodo de negociación, señor Martínez. Una cosa es que el proyecto de presupuesto no respondiera a todos los objetivos que pudiera usted tener –y, a decir verdad, tampoco a los nuestros–, pero me resulta incomprensible que renunciaran ustedes a dialogar y negociar, que es lo que ustedes hicieron, señor Martínez, ustedes. Más incomprensible aún, cuando esa postura la han mantenido solo aquí, puesto que a nivel de España o de Navarra sí que han analizado y negociado los proyectos de presupuesto, señor Martínez, y los han aprobado, los han aprobado, incluso los que están pendien...
  Zer neurri hartu ditu Eusko Jaurlaritzak gerora sorturiko arazo ekonomikoak dituzten familiei laguntzeko Alokabideren bidez?	[TOPIC: Interpelazioa, Gorka Maneiro Labayen Mistoa-UPyD taldeko legebiltzarkideak lehendakariari egina, Alokabidek kudeatutako babes ofizialeko etxebizitzak erregulatzen dituen araudian zenbait aldaketa sartzeko aukerari buruz] [JAURLARITZAKO LEHENDAKARIAK (URKULLU RENTERIA), (EA-NV)]: Gerora sorturiko arazo ekonomikoak dituzten familiei laguntza ematen ari da Alokabide. Irtenbideak ematen ari da pertsona horiek beren etxebizitzan jarraitu dezaten, errenta ordaintzeko zailtasunak izan arren. Maneiro jauna, Gobernu honek oso argi dauka pertsonen duintasuna funtsezkoa dela eta horretan oinarritu behar duela etxebizitza-politikak. Beraz, neurriak hartu ditugu eta hartzen jarraituko dugu pertsona guztiek etxebizitza bat izan dezaten bermatzeko. Gracias. La (Date: 21.02.2014)
  Zein da Eusko Jaurlaritzaren jarrera 'Hiriko kasua' delakoan irekitako auzi judizialean parte hartzeari dagokionez?	[TOPIC: Interpelazioa, Carmelo Barrio Baroja Euskal Talde Popularreko legebiltzarkideak Ekonomiaren Garapen eta Lehiakortasuneko sailburuari egina, Eusko Jaurlaritzak 'Hiriko kasua' delakoan irekitako auzi judizialean parte hartzeari buruz] [ROJO SOLANA, (SV-ES)]: honen arrazoia, Legebiltzarreko akordio bat dago, Jaurlaritza babesten duen alderdiak, EAJk, sinatu zuena, non berrestenbaiten frackingaren aurkako jarrera, nahiz eta disoziazio bat izan sinatu zenaren eta ondoren defendatu zenaren artean. Diskurtsoen eta ekintzen arteko eta alderdi bereko bozeramaileen arteko kontraesanen egoera horren aurrean, zuk dagoeneko ezagutzen duzun galdera egin nahiko genuke. Legebiltzarreko agindua beteko al duzu, hau da, zerorrek egiten jarraitu duzula onartu duzun azterlanez hitz egiten duen agindu hori beteko al duzu? (Date: 20.05.2016)

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 10.0,
      "num_negatives": null,
      "activation_fn": "torch.nn.modules.activation.Sigmoid",
      "mini_batch_size": 16
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 1,600 evaluation samples
• Columns: query and positive
• Approximate statistics based on the first 1000 samples:

  	query	positive
  type	string	string
  details	min: 32 characters mean: 101.87 characters max: 235 characters	min: 504 characters mean: 989.67 characters max: 2129 characters

• Samples:

  query	positive
  Zein da Euskadiren egoera alarma-egoeraren amaieraren atarian 2021eko apirilean?	[TOPIC: Galdera, Carlos Iturgaiz Angulo Euskal Talde PopularraCiudadanos taldeko legebiltzarkideak lehendakariari egina, alarma-egoeraren amaiera dela-eta sortu diren kontraesanei buruz] [ITURGAIZ ANGULO, (PV-ETP)]: Eskerrik asko, legebiltzarburu andrea. Jaun-andreok, egun on guztioi. Lehendakari jauna, egun on. Egun gutxi geratzen dira alarma-egoera amaitzeko, eta atzo bertan baztertu zenuen zuk Mendia andreak proposatzen zuen nahierako alarma-egoera. Baina euskal herritarrok dagoeneko ezagutzen dugu menua, zoritxarrez digeritzen zaila den menua, gaur egun Espainiako egoerarik txarrena eta kutsatzeetan Europako okerrena biltzen dituena; ekonomiaren eta enpleguaren murrizketarik handienak dituena, eta pandemiaren aurkako emaitzarik txarrenak; (Date: 30.04.2021)
  Nork aurkez ditzake hautagaiak Joxe Mari Korta sarirako?	[TOPIC: Galdera, Eukene Arana Varas Elkarrekin Podemos taldeko legebiltzarkideak lehendakariari egina, 2017ko Joxe Mari Korta sariei buruz] [JAURLARITZAKO LEHENDAKARIAK (URKULLU RENTERIA), (EA-NV)]: elkarteek ere, antolakunde patronalek ere, baita fundazioak ere, haiek soilik aurkeztu ahal dituztenez hautagaiak, bada, datozen urteetan emakumezko hautagaiak aurkeztea. Nolanahi ere, Eusko Jaurlaritzak konpromiso sendoa dauka berdintasunaren alde, eta aintzat hartu behar da emakumezko euskal enpresaburuen zeregina. Eta hori Gobernu gisa egiten dugu, dagokigun neurrian, emakume enpresaburuen elkarteekin batera. Emakume horien ikusgarritasuna handitu egin behar da, bai –bat nator horrekin–, enpresen eremuan ere, eta, zalantzarik gabe, Euskadin (Date: 01.12.2017)
  Zein printzipio aplikatu behar dira frankismoaren biktimei ordaintzeko?	[TOPIC: Euzko Abertzaleak, EH Bildu eta Euskal Sozialistak legebiltzartaldeek egindako legez besteko proposamena, frankismoaren krimenen arduradunak ikertzea bultzatu beharrari buruz. Eztabaida eta behin betiko ebazpena] [ITURRATE IBARRA, (EA-NV)]: zuen xede, eta ez frankisten eskubideak babestea. Legebiltzarkideok, egia ezkutatzeak, gertatutakoaren gainean estalki bat botatzeak, dolu bat arintzeko balio dezake, baina une baterako baino ez du balio. Ameskeria bat da, ameskeria bat baino ez da, ondo egiten ez diren doluak azkenean beti ateratzen direlako. Eta Legebiltzar honetan konbentzituta gaude horretaz, eta hainbat erabaki sinatu ditugu zentzu horretan duela gutxiko gure iraganaren inguruan, ETAren jarduera terroristaren inguruan, biktimen inguruan eta abar. Printzipio horiek eurek eta izaera horrek berak balio behar dute pairatu ditugun indarkeria-aldi guztiak ixteko eta biktima guztiei ordaintzeko. Izan ere, denbora pasatu ala ez, biktima batzuek beren eskubideak eskatzen jarrait...

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 10.0,
      "num_negatives": null,
      "activation_fn": "torch.nn.modules.activation.Sigmoid",
      "mini_batch_size": 16
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• warmup_ratio: 0.1
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss	jina-reranker-v2-base-multilingual-contrastive-12-parl_ndcg@10
0.5	200	0.0495	0.0235	0.0031 (+0.0029)
1.0	400	0.0226	0.0201	0.0031 (+0.0029)
1.5	600	0.018	0.0195	0.0031 (+0.0029)
2.0	800	0.0213	0.0192	0.0031 (+0.0029)
2.5	1000	0.0174	0.0192	0.0031 (+0.0029)
3.0	1200	0.0182	0.0193	0.0031 (+0.0029)

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.9.7
• Sentence Transformers: 5.0.0
• Transformers: 4.56.0
• PyTorch: 2.7.1+cu126
• Accelerate: 1.5.2
• Datasets: 4.0.0
• Tokenizers: 0.22.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}