TQE-2026-1-Project-2 – Inter-Rater Reliability Report

Round date: 2026-03-28  |  Annotators: 4 annotations across 1 task(s)

Annotator Completeness — All Documents

Span-level Completeness (% filled)

Percentage of annotated spans where each annotator filled in the subcategory, impact level, and span-level comment fields. Values below 80% are highlighted in orange.

task_idannotator_idtotal_spanssubcategory_%impact_%span_comments_%
27.057.057.084.278.90.0
27.061.043.086.086.086.0
27.058.0153.096.196.153.6
27.060.0110.092.766.40.0

Document-level Assessment Completeness

Whether each annotator completed all five document-level fields: document issues, correspondence score, correspondence comment, readability score, and readability comment. Missing fields are shown in red.

task_idannotator_iddocument_issuescorrespond_scorecorrespond_commentreadable_scorereadable_comment
2757
2761
2758
2760

Annotator Timing — All Documents

Outliers in both measures are identified using the 1.5×IQR rule.

Lead Time

Active time spent working on the task as recorded by Label Studio, excluding time the task was open but idle.

StatisticValue
Measurements4
Median (min)246.2
Mean (min)356.0
Q1 – Q3 (min)199.1 – 403.0
Min (min)79.0
Max (min)852.5
Outliers (> 708.7 min)1 value(s): 852.5

Review Time

Total elapsed time from when the annotator first opened the task to submission, which may include breaks or interruptions.

StatisticValue
Measurements4
Median (min)385.0
Mean (min)468.1
Q1 – Q3 (min)0.0 – 853.1
Min (min)0.0
Max (min)1102.4

Annotation Overlap Visualization — All Documents

Each document is shown with annotated spans highlighted. Darker shading indicates higher annotator agreement on a given span.

Annotation Overlap Visualization

Document ID: 27

Number of unique annotators: 4 Total annotations: 363 Maximum overlap: 5 annotators
Inteligencia artificial generativa: Informe sobre el panorama de las patentes de la OMPI

El lanzamiento del chatbot ChatGPT de OpenAI en noviembre de 2022 ha aumentado considerablemente el entusiasmo del público por la IA generativa (GenAI). Muchos lo han descrito, incluido el director ejecutivo de Nvidia, JenHsun Huang, como un “momento iPhone” para GenAI. Esto se debe a que la plataforma OpenAI ha facilitado a todos los usuarios el acceso a programas avanzados de GenAI, en particular a los modelos de lenguaje grandes (LLM). Estos modelos han alcanzado nuevos niveles de rendimiento, lo que demuestra el potencial para diversas aplicaciones del mundo real, lo que desencadenó una ola de investigación y desarrollo y grandes inversiones corporativas en GenAI.

Este Informe de la OMPI sobre el panorama de las patentes proporciona observaciones sobre la actividad de patentamiento en el campo de GenAI. Su objetivo es arrojar luz sobre el desarrollo tecnológico actual, su dinámica cambiante y las aplicaciones en las que se espera que se utilicen las tecnologías GenAI.

El auge de GenAI en los últimos años ha sido impulsado principalmente por tres factores: computadoras más potentes, la disponibilidad de grandes conjuntos de datos como fuente de datos de entrenamiento y algoritmos mejorados de IA/aprendizaje automático. Desarrollos como la arquitectura de transformadores en los LLM han hecho avanzar significativamente la GenAI. Esto ha hecho posible desarrollar aplicaciones complejas en muchos campos diferentes.

Los avances tecnológicos en GenAI se reflejan en el fuerte aumento de la actividad de patentamiento. En los últimos 10 años, el número de familias de patentes en GenAI ha aumentado de solo 733 en 2014 a más de 14.000 en 2023. Desde la introducción del transformador en 2017, la arquitectura de red neuronal profunda detrás de los grandes modelos de lenguaje que se han convertido en sinónimo de GenAI, el número de patentes de GenAI ha aumentado en más de un 800 %.

¿Cuáles son las principales organizaciones con más patentes en GenAI?

1\. Tencent

2\. Ping An Insurance Group

3\. Baidu

4\. Academia China de Ciencias

5\. IBM

Tencent, Ping An Insurance Group y Baidu poseen la mayoría de las patentes de GenAI. Tencent planea agregar capacidades GenAI a sus productos, como WeChat, para mejorar la experiencia del usuario. Ping An se centra en los modelos GenAI para suscripción y evaluación de riesgos. Baidu fue uno de los primeros actores de GenAI y recientemente presentó su último chatbot de IA basado en LLM, ERNIE 4.0. La Academia de Ciencias de China (cuarta) es la única organización de investigación entre las 10 primeras del ranking. Alibaba (sexto) y Bytedance (noveno) son otras empresas chinas entre las 10 primeras. IBM (quinto), Alphabet/Google (octavo) y Microsoft (décimo) son las principales empresas estadounidenses en términos de patentes GenAI.

IBM ha desarrollado una plataforma GenAI, watsonx, que permite a las empresas implementar y personalizar LLM con un enfoque en la seguridad y el cumplimiento de los datos. La división de inteligencia artificial de Alphabet/Google, DeepMind, lanzó recientemente su último modelo LLM, Gemini, que se está integrando gradualmente en los productos y servicios de Alphabet/Google. Microsoft es otro actor clave en GenAI y un inversor en OpenAI. La propia OpenAI ha presentado recientemente sus primeras patentes GenAI. Completando el top 10 se encuentra el conglomerado de electrónica Samsung Electronics (séptimo) de la República de Corea.

¿Qué modelo GenAI tiene más patentes?

En los últimos años, se han desarrollado varios programas o modelos GenAI. Entre los modelos GenAI más importantes se encuentran:

1\. redes generativas adversarias (GAN)

2\. codificadores automáticos variacionales (VAE)

3\. modelos de lenguaje grande basados ​​en decodificadores (LLM)

Entre estos modelos GenAI, la mayoría de las patentes pertenecen a GAN. En términos de crecimiento de patentes, las patentes de GAN también muestran el mayor aumento en la última década. Sin embargo, esto se ha desacelerado recientemente. Por el contrario, los modelos de difusión y los LLM muestran tasas de crecimiento mucho más altas en los últimos tres años. El auge de GenAI causado por los chatbots modernos como ChatGPT ha aumentado claramente el interés de la investigación en los LLM.

¿Cuáles son los principales tipos de datos utilizados en las patentes GenAI?

Los principales tipos de datos GenAI incluyen:

\- Imagen

\- Vídeo

\- Habla

\- Sonido

\- Música

Entre los diferentes modos GenAI, o el tipo de entrada y salida de datos, la mayoría de las patentes pertenecen a la categoría imagen/vídeo. Los datos de imagen/video son particularmente importantes para las GAN. Las patentes que implican el procesamiento de texto y voz/sonido/música son tipos de datos clave para los LLM. Los modos restantes: modelos de imágenes 3D, moléculas químicas/genes/proteínas y código/software tienen muchas menos patentes hasta ahora. Algunas patentes se asignan a más de un modo porque ciertos modelos GenAI, como los modelos multimodales de lenguaje grande (MLLM), superan la limitación de utilizar solo un tipo de entrada o salida de datos.

Principales áreas de aplicación de las patentes GenAI

Las áreas de aplicación clave para las patentes GenAI incluyen:

1\. Software

2\. Ciencias de la vida

3\. Gestión y publicación de documentos

4\. Soluciones comerciales

5\. Industria y manufactura

6\. Transporte

7\. Seguridad

8\. Telecomunicaciones

GenAI seguramente tendrá un impacto significativo en muchas industrias a medida que se abre paso en productos, servicios y procesos, convirtiéndose en un habilitador tecnológico para la creación de contenido y la mejora de la productividad. Por ejemplo, existen muchas patentes GenAI en ciencias biológicas y gestión y publicación de documentos. Otras aplicaciones notables con patentes GenAI son las soluciones comerciales, la industria y la fabricación, el transporte, la seguridad y las telecomunicaciones.

En el sector de las ciencias biológicas, la GenAI puede acelerar el desarrollo de fármacos mediante la detección y el diseño de moléculas para nuevas formulaciones de fármacos y medicina personalizada. En la gestión y publicación de documentos, GenAI puede automatizar tareas, ahorrar tiempo y dinero y crear materiales de marketing personalizados. En soluciones empresariales, GenAI se puede utilizar para chatbots de servicio al cliente, sistemas de asistencia minorista y recuperación de conocimientos de los empleados. En la industria y la fabricación, GenAI permite nuevas funciones como la optimización del diseño de productos y la programación de gemelos digitales. En el transporte, GenAI desempeña un papel crucial en la conducción autónoma y la optimización del transporte público.

Legend:

1 annotator
2 annotators
3 annotators
4 annotators
5 annotators

Error Type Distribution — All Documents

Distribution of error labels, subcategories, and impact ratings across all documents in the project.

Correspondence & Readability Ratings — All Documents

Distribution of annotator ratings on overall translation correspondence (accuracy) and readability, on a 1–4 scale.

Exact Span Matching — All Documents

Percentage of error spans where two or more annotators identified identical start and end character positions.

Span F1 — Partial Match Agreement — All Documents

F1 scores measuring partial overlap between annotator spans. Unlike exact matching, partial credit is awarded when spans overlap, making this a more lenient measure of boundary agreement. Production deployment target: ≥0.70.

Cohen's Kappa — Error Category Agreement — All Documents

Pairwise Cohen's Kappa scores measuring agreement on error category labels between each pair of annotators, accounting for chance agreement. Kappa values: <0.20 poor · 0.21–0.40 fair · 0.41–0.60 moderate · 0.61–0.80 substantial · >0.80 almost perfect. Production deployment target: ≥0.70.