wilfredomartel/embeddinggemma-300m-legal-spanish-200k-v2

EmbeddingGemma-300m trained on 100k Legal Spanish Retrieval Dataset.

This is a sentence-transformers model finetuned from google/embeddinggemma-300m on the spanish-legal-dataset dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: google/embeddinggemma-300m
• Maximum Sequence Length: 2048 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • spanish-legal-dataset
• Language: es
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False, 'architecture': 'Gemma3TextModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 3072, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (3): Dense({'in_features': 3072, 'out_features': 768, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (4): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("wilfredomartel/embeddinggemma-300m-legal-spanish-200k-v2")
# Run inference
queries = [
    "\u00bfPor qu\u00e9 la Corte Constitucional desestim\u00f3 la acci\u00f3n extraordinaria de protecci\u00f3n N\u00b0 2345-16-EP, presentada por ASIAUTO S.A. contra un auto que inadmiti\u00f3 un recurso de nulidad, y cu\u00e1les garant\u00edas del debido proceso fueron supuestamente vulneradas seg\u00fan la compa\u00f1\u00eda accionante?",
]
documents = [
    'La Corte Constitucional desestimó la acción extraordinaria de protección N° 2345-16-EP porque el auto impugnado, que inadmitió un recurso de nulidad, no constituía una decisión definitiva ni causaba un gravamen irreparable. La compañía accionante alegó vulneración al debido proceso en las garantías de defensa, motivación y a recurrir, argumentando una supuesta falta de notificación del auto de 9 de junio de 2016. La Corte verificó que la notificación se realizó correctamente al correo electrónico designado por la compañía, garantizando así su derecho a la defensa. Asimismo, se determinó que la compañía tuvo la oportunidad de interponer los recursos pertinentes y que estos fueron resueltos motivadamente. Por lo tanto, la Corte concluyó que no hubo vulneración a las garantías del debido proceso ni al derecho a la seguridad jurídica.',
    'The plaintiff, Edison Geovanny Vargas Borja, alleged that his constitutional rights to security and work were violated by the Police National. Specifically, he argued that the disciplinary tribunal that processed his case was not constituted within the legal timeframe stipulated by the internal regulations. The text indicates that the notification of the disciplinary offense occurred on September 23, 2006, but the tribunal was formed on October 23, 2006, more than 30 days later, violating the 5-day period established in Article 76 of the Police Disciplinary Regulations. This procedural irregularity led to an extemporaneous and, therefore, incompetent tribunal, rendering its resolution illegitimate and arbitrary. The Corte Provincial of Santo Domingo de los Tsáchilas, in its analysis, found that this violation of procedural norms constituted a breach of the right to security, as it implied an arbitrary action by the authority. Furthermore, it determined that this violation of security directly impacted the right to work, as the illegitimate sanction led to his dismissal from the police force. The court emphasized that while the dismissal resolution cited applicable norms, it stemmed from a prior unconstitutional act.',
    'El Juzgado 52 Civil del Circuito de Bogotá rechazó la demanda y propuso un conflicto negativo de competencia al interpretar que la jurisdicción contencioso administrativa sí era competente para conocer del caso. El juzgado sostuvo que la interpretación del Juzgado 62 Administrativo de Bogotá, al exigir cláusulas exorbitantes, desconocía lo previsto en la norma, la cual, en su primera parte, asigna a la jurisdicción contenciosa administrativa los conflictos originados en contratos en los que estén involucradas entidades públicas. Consideró que el artículo 104 y su parágrafo de la Ley 1437 de 2011 abarcan cualquier conflicto relacionado con contratos en los que participen entidades públicas o particulares que ejerzan funciones administrativas, sin que la ausencia de cláusulas exorbitantes sea un impedimento, ya que esto es un aspecto relativo sujeto a análisis sustancial del contrato.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.8255, -0.0646, -0.0762]])

Evaluation

Metrics

Information Retrieval

• Datasets: legal-spanish-eval-80kq-50kd and legal-spanish-eval-30kq-50kd
• Evaluated with InformationRetrievalEvaluator

Metric	legal-spanish-eval-80kq-50kd	legal-spanish-eval-30kq-50kd
cosine_accuracy@1	0.9381	0.9477
cosine_accuracy@3	0.9733	0.9791
cosine_accuracy@5	0.9818	0.9865
cosine_accuracy@10	0.9899	0.993
cosine_precision@1	0.9381	0.9477
cosine_precision@3	0.3244	0.3264
cosine_precision@5	0.1964	0.1973
cosine_precision@10	0.099	0.0993
cosine_recall@1	0.9381	0.9477
cosine_recall@3	0.9733	0.9791
cosine_recall@5	0.9818	0.9865
cosine_recall@10	0.9899	0.993
cosine_ndcg@10	0.9653	0.9718
cosine_mrr@10	0.9572	0.9648
cosine_map@100	0.9577	0.9652

Training Details

Training Dataset

spanish-legal-dataset

• Dataset: spanish-legal-dataset at 2f52ccc
• Size: 200,000 training samples
• Columns: query and pos
• Approximate statistics based on the first 1000 samples:

  	query	pos
  type	string	string
  details	min: 28 tokens mean: 55.26 tokens max: 103 tokens	min: 73 tokens mean: 240.75 tokens max: 592 tokens

• Samples:

  query	pos
  ¿Cuál fue la base legal y el argumento principal para la acción de protección interpuesta por el Ing. Paúl Ángel Soto Fuertes contra la Secretaría de Gestión de Riesgos en Loja?	El Ing. Paúl Ángel Soto Fuertes interpuso una Acción de Protección argumentando la violación de sus derechos constitucionales a la seguridad jurídica, al debido proceso en la garantía de la motivación, y al trabajo. Fundamentó su reclamo en la notificación intempestiva y unilateral de la cesación de sus funciones como Analista de Tecnologías de la Información y Comunicación Zonal 3 (Servidor Público 7) de la Secretaría de Gestión de Riesgos en Loja. La base legal principal para su acción se encuentra en el Art. 88 de la Constitución de la República y los artículos 39 y 40 de la Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional. Específicamente, el accionante señala que su nombramiento provisional, garantizado hasta la posesión del ganador del concurso de méritos y oposición según el Art. 18 literal c) del Reglamento a la LOSEP, fue terminado sin que existiera constancia de dicho ganador. El acto violatorio se materializó mediante el Memorando Nro. SNGRE-CZ7GR-2019-152...
  ¿Bajo qué criterios la Primera Sala de la Suprema Corte de Justicia de la Nación decide no reasumir competencia en el amparo en revisión 198/2020, relacionado con la Ley Nacional de Extinción de Dominio?	La Primera Sala de la Suprema Corte de Justicia de la Nación determinó no reasumir su competencia originaria en el amparo en revisión 198/2020 porque el asunto no cumplió con los requisitos materiales de interés y trascendencia. Se argumentó que las temáticas centrales del caso, relativas a la naturaleza autoaplicativa o heteroaplicativa de los artículos reclamados de la Ley Nacional de Extinción de Dominio y la acreditación del interés legítimo por parte del promovente, ya cuentan con una amplia doctrina jurisprudencial emitida por la propia Suprema Corte. El Tribunal Colegiado solicitante, el Séptimo Tribunal Colegiado en Materia Civil del Primer Circuito, posee las bases doctrinales y jurisprudenciales suficientes para resolver el asunto. La existencia de criterios como los rubros: “INTERÉS LEGÍTIMO. CONTENIDO Y ALCANCE PARA EFECTOS DE LA PROCEDENCIA DEL JUICIO DE AMPARO (INTERPRETACIÓN DEL ARTÍCULO 107, FRACCIÓN I, DE LA CONSTITUCIÓN POLÍTICA DE LOS ESTADOS UNIDOS MEXICANOS)”, “INT...
  Según las resoluciones del Ministerio de Industrias y Productividad (MIPRO) y del Servicio de Rentas Internas (SRI) de enero de 2012, ¿cuáles son los requisitos para que los recicladores y centros de acopio obtengan la devolución del impuesto redimible sobre botellas plásticas no retornables y cuál es la tarifa establecida para dicho impuesto?	Para poder solicitar la devolución del valor correspondiente a la tarifa del impuesto redimible a las botellas plásticas no retornables, los recicladores y centros de acopio, independientemente de si son personas naturales o jurídicas, deben cumplir con un requisito previo fundamental: obtener su registro y certificación ante el Ministerio de Industrias y Productividad (MIPRO). Los requisitos específicos varían según la naturaleza del solicitante. Para las personas naturales, la documentación exigida incluye una copia del Registro Único de Contribuyentes (RUC) en Régimen General, copias de la cédula de ciudadanía y de la papeleta de votación, además de una licencia o permiso ambiental válido, el cual debe ser otorgado por el Ministerio de Ambiente o por la Autoridad Ambiental de Aplicación Responsable (AAAR) que esté debidamente acreditada en el Sistema Descentralizado de Gestión Ambiental. En el caso de las personas jurídicas, se requiere la presentación de una copia del RUC, el nombr...

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32,
      "gather_across_devices": false
  }
  

Evaluation Dataset

spanish-legal-dataset

• Dataset: spanish-legal-dataset at 2f52ccc
• Size: 50,000 evaluation samples
• Columns: query and pos
• Approximate statistics based on the first 1000 samples:

  	query	pos
  type	string	string
  details	min: 26 tokens mean: 55.28 tokens max: 97 tokens	min: 83 tokens mean: 240.76 tokens max: 781 tokens

• Samples:

  query	pos
  ¿Cuáles fueron las normas constitucionales y legales que la Contraloría General del Estado alegó como vulneradas por el auto de inadmisión del recurso de casación en el caso 18803-2015-00134?	La Contraloría General del Estado alegó la vulneración de varios derechos constitucionales y legales en su Acción Extraordinaria de Protección contra el auto de inadmisión del recurso de casación. Específicamente, se invocó el artículo 75 de la Constitución de la República del Ecuador, que consagra el derecho al acceso gratuito a la justicia y a la tutela efectiva, imparcial y expedita de los derechos e intereses, prohibiendo la indefensión. Adicionalmente, se fundamentó la acción en el artículo 76, numeral 7, literal I) de la Constitución, que garantiza el derecho al debido proceso, particularmente la exigencia de motivación en las resoluciones de los poderes públicos, incluyendo los órganos judiciales. La Contraloría argumentó que el auto de inadmisión carecía de la debida motivación, lógica, razonabilidad y comprensibilidad, y que la inadmisión del recurso por cuestiones formales, como la supuesta aplicación incorrecta del COGEP en un proceso anterior a su vigencia, sacrificaba la j...
  ¿Cómo se relaciona la garantía constitucional de seguridad jurídica, consagrada en el artículo 82 de la Constitución de la República, con la procedencia de solicitudes de aclaración y ampliación de sentencias, según lo resuelto en el Juicio No. 17230-2020-05405 por la Corte Provincial de Pichincha?	La seguridad jurídica, conforme al artículo 82 de la Constitución de la República, exige que las normas jurídicas sean previas, claras, y conocidas por todos, lo que se traduce en la necesidad de que las resoluciones judiciales sean predecibles y aplicadas de manera coherente. En el Juicio No. 17230-2020-05405, la Sala Especializada de lo Civil y Mercantil de la Corte Provincial de Pichincha aplicó este principio al rechazar la solicitud de aclaración y ampliación de la demandada. Al adherirse estrictamente a las disposiciones del artículo 255 del Código Orgánico General de Procesos (COGEP), que regula los términos para formular tales peticiones tras una audiencia, el tribunal aseguró que las resoluciones judiciales se dicten y se consideren firmes dentro de los cauces legales establecidos. El hecho de que la sentencia fuera dictada oralmente en audiencia y que la solicitud se presentara posteriormente, sin cumplir con los plazos o formas, demostró una falta de observancia del procedim...
  ¿Cuál fue el argumento principal de la Corte Constitucional para considerar que la acción de tutela interpuesta por Irma Contreras Martínez no era temeraria, a pesar de que la entidad demandada alegaba una presentación previa por las mismas razones?	La Corte Constitucional determinó que la acción de tutela interpuesta por Irma Contreras Martínez no era temeraria porque no se cumplían las condiciones establecidas en el artículo 38 del Decreto 2591 de 1991. Específicamente, no existía identidad en los sujetos pasivos ni en las pretensiones de las acciones. La primera tutela fue presentada contra Protección S.A. por la no devolución de saldos, mientras que la segunda acción se dirigió contra el Ministerio de Hacienda y Crédito Público – Oficina de Bonos Pensionales, reclamando la emisión y redención del bono pensional. La distinción en los demandados y el objeto de cada amparo impidieron configurar la temeridad.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32,
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 128
• per_device_eval_batch_size: 128
• learning_rate: 1.5e-05
• num_train_epochs: 2
• warmup_ratio: 0.03
• fp16: True
• prompts: {'query': 'task: search result | query: ', 'pos': 'title: none | text: '}
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 128
• per_device_eval_batch_size: 128
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1.5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 2
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.03
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: {'query': 'task: search result | query: ', 'pos': 'title: none | text: '}
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	legal-spanish-eval-80kq-50kd_cosine_ndcg@10	legal-spanish-eval-30kq-50kd_cosine_ndcg@10
-1	-1	-	-	0.8954	-
0.0128	20	0.0942	-	-	-
0.0256	40	0.0178	-	-	-
0.0384	60	0.0164	-	-	-
0.0512	80	0.0179	-	-	-
0.0640	100	0.0132	0.0166	0.9362	-
0.0768	120	0.0175	-	-	-
0.0896	140	0.0259	-	-	-
0.1024	160	0.0137	-	-	-
0.1152	180	0.0079	-	-	-
0.1280	200	0.0146	0.0155	0.9393	-
0.1408	220	0.0128	-	-	-
0.1536	240	0.0123	-	-	-
0.1663	260	0.0134	-	-	-
0.1791	280	0.0153	-	-	-
0.1919	300	0.0191	0.0138	0.9450	-
0.2047	320	0.0133	-	-	-
0.2175	340	0.0206	-	-	-
0.2303	360	0.0088	-	-	-
0.2431	380	0.0113	-	-	-
0.2559	400	0.012	0.0130	0.9412	-
0.2687	420	0.015	-	-	-
0.2815	440	0.0072	-	-	-
0.2943	460	0.011	-	-	-
0.3071	480	0.0098	-	-	-
0.3199	500	0.0074	0.0126	0.9395	-
0.3327	520	0.0109	-	-	-
0.3455	540	0.0129	-	-	-
0.3583	560	0.0076	-	-	-
0.3711	580	0.0095	-	-	-
0.3839	600	0.0151	0.0107	0.9455	-
0.3967	620	0.0099	-	-	-
0.4095	640	0.0109	-	-	-
0.4223	660	0.011	-	-	-
0.4351	680	0.0092	-	-	-
0.4479	700	0.0102	0.0098	0.9484	-
0.4607	720	0.0063	-	-	-
0.4734	740	0.0101	-	-	-
0.4862	760	0.0147	-	-	-
0.4990	780	0.0106	-	-	-
0.5118	800	0.0076	0.0094	0.9508	-
0.5246	820	0.0062	-	-	-
0.5374	840	0.0072	-	-	-
0.5502	860	0.01	-	-	-
0.5630	880	0.0097	-	-	-
0.5758	900	0.0079	0.0094	0.9475	-
0.5886	920	0.0129	-	-	-
0.6014	940	0.0129	-	-	-
0.6142	960	0.0081	-	-	-
0.6270	980	0.0079	-	-	-
0.6398	1000	0.0079	0.0089	0.9470	-
0.6526	1020	0.0073	-	-	-
0.6654	1040	0.0079	-	-	-
0.6782	1060	0.0087	-	-	-
0.6910	1080	0.0101	-	-	-
0.7038	1100	0.0052	0.0078	0.9518	-
0.7166	1120	0.006	-	-	-
0.7294	1140	0.0094	-	-	-
0.7422	1160	0.0065	-	-	-
0.7550	1180	0.0062	-	-	-
0.7678	1200	0.0125	0.0086	0.9508	-
0.7806	1220	0.0091	-	-	-
0.7933	1240	0.0073	-	-	-
0.8061	1260	0.0077	-	-	-
0.8189	1280	0.0091	-	-	-
0.8317	1300	0.0089	nan	0.9495	-
0.8445	1320	0.0078	-	-	-
0.8573	1340	0.0065	-	-	-
0.8701	1360	0.007	-	-	-
0.8829	1380	0.0065	-	-	-
0.8957	1400	0.0093	0.0071	0.9550	-
0.9085	1420	0.0064	-	-	-
0.9213	1440	0.0086	-	-	-
0.9341	1460	0.0073	-	-	-
0.9469	1480	0.0045	-	-	-
0.9597	1500	0.0064	0.0063	0.9553	-
0.9725	1520	0.0081	-	-	-
0.9853	1540	0.0056	-	-	-
0.9981	1560	0.0069	-	-	-
1.0109	1580	0.0036	-	-	-
1.0237	1600	0.0028	0.0068	0.9559	-
1.0365	1620	0.0036	-	-	-
1.0493	1640	0.0023	-	-	-
1.0621	1660	0.0027	-	-	-
1.0749	1680	0.0044	-	-	-
1.0877	1700	0.0039	0.0064	0.9595	-
1.1004	1720	0.0022	-	-	-
1.1132	1740	0.0043	-	-	-
1.1260	1760	0.0031	-	-	-
1.1388	1780	0.0039	-	-	-
1.1516	1800	0.0021	0.0058	0.9601	-
1.1644	1820	0.0033	-	-	-
1.1772	1840	0.004	-	-	-
1.1900	1860	0.0026	-	-	-
1.2028	1880	0.0018	-	-	-
1.2156	1900	0.0027	0.0054	0.9613	-
1.2284	1920	0.0017	-	-	-
1.2412	1940	0.0031	-	-	-
1.2540	1960	0.0023	-	-	-
1.2668	1980	0.0037	-	-	-
1.2796	2000	0.0023	0.0051	0.9629	-
1.2924	2020	0.0023	-	-	-
1.3052	2040	0.0028	-	-	-
1.3180	2060	0.0033	-	-	-
1.3308	2080	0.0041	-	-	-
1.3436	2100	0.0026	0.0050	0.9624	-
1.3564	2120	0.0036	-	-	-
1.3692	2140	0.0026	-	-	-
1.3820	2160	0.0033	-	-	-
1.3948	2180	0.0028	-	-	-
1.4075	2200	0.0033	0.0049	0.9631	-
1.4203	2220	0.0023	-	-	-
1.4331	2240	0.0031	-	-	-
1.4459	2260	0.0027	-	-	-
1.4587	2280	0.003	-	-	-
1.4715	2300	0.0024	0.0049	0.9605	-
1.4843	2320	0.0028	-	-	-
1.4971	2340	0.0022	-	-	-
1.5099	2360	0.003	-	-	-
1.5227	2380	0.0033	-	-	-
1.5355	2400	0.0036	0.0049	0.9617	-
1.5483	2420	0.0021	-	-	-
1.5611	2440	0.0022	-	-	-
1.5739	2460	0.0035	-	-	-
1.5867	2480	0.0019	-	-	-
1.5995	2500	0.0027	0.0046	0.9634	-
1.6123	2520	0.0034	-	-	-
1.6251	2540	0.0019	-	-	-
1.6379	2560	0.0032	-	-	-
1.6507	2580	0.0032	-	-	-
1.6635	2600	0.003	0.0047	0.9645	-
1.6763	2620	0.0022	-	-	-
1.6891	2640	0.0018	-	-	-
1.7019	2660	0.0026	-	-	-
1.7147	2680	0.0021	-	-	-
1.7274	2700	0.0018	0.0042	0.9642	-
1.7402	2720	0.0021	-	-	-
1.7530	2740	0.002	-	-	-
1.7658	2760	0.0033	-	-	-
1.7786	2780	0.0027	-	-	-
1.7914	2800	0.0028	0.0043	0.9649	-
1.8042	2820	0.0026	-	-	-
1.8170	2840	0.0021	-	-	-
1.8298	2860	0.0029	-	-	-
1.8426	2880	0.0012	-	-	-
1.8554	2900	0.0011	0.0041	0.9649	-
1.8682	2920	0.0023	-	-	-
1.8810	2940	0.0025	-	-	-
1.8938	2960	0.0012	-	-	-
1.9066	2980	0.0021	-	-	-
1.9194	3000	0.0022	0.0040	0.9653	-
1.9322	3020	0.0037	-	-	-
1.9450	3040	0.0021	-	-	-
1.9578	3060	0.0016	-	-	-
1.9706	3080	0.0029	-	-	-
1.9834	3100	0.0021	0.0040	0.9653	-
1.9962	3120	0.0034	-	-	-
-1	-1	-	-	0.9653	0.9718

Framework Versions

• Python: 3.12.3
• Sentence Transformers: 5.2.0
• Transformers: 4.57.0.dev0
• PyTorch: 2.8.0+cu128
• Accelerate: 1.12.0
• Datasets: 4.4.2
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}