Powerclaim Office Hours (Recording) 11 April 2024

The focus topic of this Office Hour was “Can LLMs draft patents beyond English?”:

Reference material

“Background” section prompt in English
You are a European patent attorney specialized in drafting high-quality patent applications. Your task is to write the background section of a European patent application based on the provided facts below. 

Strictly adhere to the following style guide: Write at least 600 words. Write in a professional and factual tone. Provide an illustrative and compelling narrative. Base your response strictly on the provided facts below. Make sure to use all the provided facts below completely. Do not make anything up. Do not cite any external sources.

Construct a compelling narrative that naturally flows from a description of the technical field to the existing prior art solutions, then to their shortcomings, and then to the objective addressed by the invention. Make sure not to mention how the invention solves the objective.

# Facts
## Technical field: Generative AI and LLMs
## Prior art solutions: Cloud-based chat bots like ChatGPT. Some users may want to use them to write patent applications. 
## Shortcomings: Inputting sensitive information about an invention into a cloud-based tool bears a security risk because the user loses control over the confidentiality of the information. If the information is made available to the public before the patent application has been filed, this can invalidate the patent. 
## Objective of the invention: Provide a patent drafting solution that overcomes the confidentiality issues of the prior art.
Mistral 7B output
In the dynamic and evolving landscape of intellectual property protection, the intersection of Generative Artificial Intelligence (AI) and Large Language Models (LLMs) has emerged as a promising frontier. This technological fusion holds immense potential in streamlining the patent application process, enabling users to generate comprehensive and accurate patent applications with minimal human intervention. However, this innovation is not without its challenges, particularly when it comes to maintaining confidentiality of invention details.

The advent of cloud-based solutions such as ChatGPT has revolutionized various sectors by offering accessible, user-friendly interfaces for generating textual content. These tools have gained significant traction in the patent application drafting sphere due to their ability to produce coherent and detailed texts with minimal input from users. However, this convenience comes at a cost that is often overlooked: confidentiality.

In the context of patent applications, maintaining confidentiality is paramount. The disclosure of an invention's details before filing can potentially invalidate the subsequent patent application. This risk becomes even more pronounced when using cloud-based tools like ChatGPT for drafting these applications. Once data is uploaded to a cloud server, it is no longer under the user's direct control. While these platforms may have robust security measures in place, there remains an inherent risk of unauthorized access or accidental exposure.

Moreover, patent laws are stringently enforced and do not provide leniency for inadvertent disclosures made through third-party tools. The uncertainty surrounding data handling by these cloud services can create a significant barrier to adoption for those seeking to protect their intellectual property rights.

In response to this challenge, the objective of our invention is to address the confidentiality concerns associated with using cloud-based solutions like ChatGPT for patent application drafting. By providing a patent drafting solution that maintains the confidentiality and control over sensitive information, we aim to bridge the gap between the benefits of AI-assisted patent applications and the need for data security.

This innovative approach will enable users to leverage advanced generative AI and LLMs while ensuring their invention details remain secure until they are ready to be made public through a filed patent application. By addressing this critical concern, we believe our solution can significantly enhance the efficiency and effectiveness of the patent application process without compromising on confidentiality.

In conclusion, as we navigate the complexities of Generative AI and LLMs in the realm of patent applications, it is crucial to acknowledge and address the challenges posed by data security concerns associated with cloud-based solutions. Our invention represents a promising step towards overcoming these hurdles, offering a robust and secure solution for drafting patent applications while maintaining confidentiality.
Mistral 7B output with the English prompt + “Answer in German.”
In der entwickelten Technikbereich liegen Generative Künstliche Intelligenz und Lernende Maschinen (LLMs). Die Anwendungen dieser Technologien reichen von textgenerativen Modellen bis hin zu komplexen Systemen, die automatisiert Forschungs- und Entwicklungsprojekte durchführen. In diesem Zusammenhang ist es nicht selten vorgekommen, dass Nutzer diese Werkzeuge auch für den Entwurf von Patentanmeldungen einsetzen wollen (Schritt 1).

Allerdings stellen sich bei der Nutzung dieser Cloud-basierten Lösungen, wie z.B. ChatGPT, erhebliche Sicherheitsrisiken dar. Die Benutzer verlieren hierbei die Kontrolle über die Vertraulichkeit ihrer Erfindungsinformationen (Schritt 2). Wenn diese Informationen vor der Einreichung einer Patentanmeldung dem Öffentlichkeit zugänglich gemacht werden, kann dies das Gültigkeitsrecht des Patents invalidieren.

Die technische Lösung dieser Herausforderungen bildet die Grundlage unseres Erfindungsanliegens (Schritt 3). Die Zielsetzung besteht darin, eine patentrechtliche Anmeldungslösung bereitzustellen, die diese Vertraulichkeitsrisiken überwindet.

Im technischen Fachbereich der Generativen Künstlichen Intelligenz und LLMs (GKI/LLM) finden sich zahlreiche Anwendungen, von textgenerativen Modellen bis hin zu komplexeren Systemen, die automatisiert Forschungs- und Entwicklungsprojekte durchführen. In diesem Zusammenhang ist es nicht ungewöhnlich, dass Nutzer diese Werkzeuge auch für den Entwurf von Patentanmeldungen einsetzen wollen (Schritt 1).

Allerdings stellen sich bei der Nutzung dieser Cloud-basierten Lösungen, wie z.B. ChatGPT, erhebliche Sicherheitsrisiken dar. Die Benutzer verlieren hierbei die Kontrolle über die Vertraulichkeit ihrer Erfindungsinformationen (Schritt 2). Wenn diese Informationen vor der Einreichung einer Patentanmeldung dem Öffentlichkeit zugänglich gemacht werden, kann dies das Gültigkeitsrecht des Patents invalidieren.

Die technische Lösung dieser Herausforderungen bildet die Grundlage unseres Erfindungsanliegens (Schritt 3). Die Zielsetzung besteht darin, eine patentrechtliche Anmeldungslösung bereitzustellen, die diese Vertraulichkeitsrisiken überwindet.

In der Praxis haben Nutzer oft versucht, ihre Erfindungsinformationen in verschlüsselten Dateien oder verschlüsselten E-Mails anzulegen, um sie vor dem Zugriff Dritter zu schützen (Schritt 4). Allerdings ist dieses Verfahren nicht ideal, da die Verschlüsselung und Entschlüsselung der Dateien oder E-Mails noch Zeit und Ressourcen kostet. Darüber hinaus kann es auch zu Fehlern bei der Verschlüsselung kommen, was das Risiko eines unbeabsichtigten Zugriffs auf die Informationen erhöht (Schritt 5).

Infolgedessen ist es notwendig, eine patentrechtliche Anmeldungslösung zu entwickeln, die diese Vertraulichkeitsrisiken überwindet und den Nutzern ein sicheres und effizientes Vorgehen bei der Erstellung von Patentanmeldungen ermöglicht (Schritt 6).

In Zusammenfassung kann gesagt werden, dass die Nutzung von Cloud-basierten Lösungen wie ChatGPT für den Entwurf von Patentanmeldungen zwar praktikabel ist, jedoch erhebliche Sicherheitsrisiken mit sich bringt. Die Vertraulichkeit der Erfindungsinformationen kann verloren gehen und das Gültigkeitsrecht des Patents invalidieren. Es wird daher eine patentrechtliche Anmeldungslösung entwickelt, die diese Risiken überwindet und den Nutzer ein sicheres und effizientes Vorgehen bei der Erstellung von Patentanmeldungen ermöglicht.

(Translation: In the field of developed technology lies Generative Artificial Intelligence and Learning Machines (GKI/LLM). Applications of these technologies range from text-generating models to complex systems that automatically carry out research and development projects. It is not uncommon for users to also use these tools for drafting patent applications (Step 1).

However, the use of these cloud-based solutions, such as ChatGPT, poses significant security risks. Users lose control over the confidentiality of their invention information (Step 2). If this information is made accessible to the public before filing a patent application, it can invalidate the patent's validity.

The technical solution for these challenges forms the basis of our inventive concept (Step 3). The objective is to provide a patent drafting solution that overcomes these confidentiality risks.

In practice, users have often tried to encrypt files or encrypted emails to protect their invention information from third parties (Step 4). However, this method is not ideal as decryption and encryption of files or emails still costs time and resources. Furthermore, errors can occur during encryption, increasing the risk of unintended access to the information (Step 5).

Therefore, it is necessary to develop a patent drafting solution that overcomes these confidentiality risks and allows users to proceed safely and efficiently in creating patent applications (Step 6).

In summary, while using cloud-based solutions like ChatGPT for drafting patent applications is practical, it carries significant security risks. The confidentiality of invention information can be lost, potentially invalidating the patent's validity. Therefore, a patent drafting solution is being developed that overcomes these risks and enables users to proceed safely and efficiently in creating patent applications.)
“Background” section prompt in German
Sie sind ein europäischer Patentanwalt, der auf die Ausarbeitung hochwertiger Patentanmeldungen spezialisiert ist. Ihre Aufgabe ist es, den Hintergrundteil einer europäischen Patentanmeldung auf der Grundlage der unten angegebenen Fakten zu verfassen. 

Halten Sie sich strikt an den folgenden Styleguide: Schreiben Sie mindestens 600 Wörter. Schreiben Sie in einem professionellen und sachlichen Ton. Verfassen Sie eine anschauliche und überzeugende Erzählung. Beziehen Sie sich bei Ihrer Antwort ausschließlich auf die unten aufgeführten Fakten. Achten Sie darauf, dass Sie alle unten aufgeführten Fakten vollständig verwenden. Erfinden Sie nichts. Geben Sie keine externen Quellen an.

Konstruieren Sie eine überzeugende Darstellung, die von einer Beschreibung des technischen Gebiets zu den bestehenden Lösungen des Standes der Technik, dann zu deren Unzulänglichkeiten und schließlich zu dem Ziel, das mit der Erfindung verfolgt wird, überleitet. Achten Sie darauf, dass Sie nicht erwähnen, wie die Erfindung das Ziel löst.

# Fakten
## Technisches Gebiet: Generative KI und LLMs
## Lösungen aus dem Stand der Technik: Cloud-basierte Chatbots wie ChatGPT. Einige Nutzer möchten sie vielleicht zum Schreiben von Patentanmeldungen verwenden. 
## Unzulänglichkeiten: Die Eingabe sensibler Informationen über eine Erfindung in ein Cloud-basiertes Tool birgt ein Sicherheitsrisiko, da der Nutzer die Kontrolle über die Vertraulichkeit der Informationen verliert. Wenn die Informationen der Öffentlichkeit zugänglich gemacht werden, bevor die Patentanmeldung eingereicht wurde, kann dies zur Ungültigkeit des Patents führen. 
## Ziel der Erfindung: Bereitstellen einer Lösung für die Ausarbeitung von Patenten, die die Vertraulichkeitsprobleme des Standes der Technik überwindet.
EM German Mistral output
Im Bereich der generativen KI und LLMs (Large Language Models) hat sich eine bedeutende Entwicklung vollzogen: Cloud-basierte Chatbots wie ChatGPT haben ihren Weg in verschiedenen Branchen gefunden, darunter auch das Patentwesen. Obwohl diese Tools vielversprechende Möglichkeiten bieten, gibt es doch einige Unzulänglichkeiten und Herausforderungen, die angegangen werden müssen.

Die Verwendung von Cloud-basierten Chatbots zur Ausarbeitung von Patentanmeldungen mag auf den ersten Blick zukunftsweisend erscheinen. Diese Technologie kann dazu beitragen, den Prozess der Ideenformulierung und des Schreibens von Anträgen zu vereinfachen und zu beschleunigen. Allerdings bringt sie auch mit sich neue Risiken und Sicherheitsbedenken hinsichtlich der Vertraulichkeit sensibler Informationen.

Eines der Hauptprobleme besteht darin, dass Nutzer bei der Nutzung dieser Tools ihre Kontrolle über die Vertraulichkeit ihrer Erfindungen verlieren können. Die Übermittlung von Patentinformationen an ein externes Cloud-basiertes Tool birgt das Risiko einer Offenlegung und potentiell schwerwiegenden rechtlichen Konsequenzen, falls diese Informationen vor Einreichung der Patentanmeldung öffentlich gemacht werden.

Darüber hinaus ist es wichtig zu beachten, dass selbst wenn die Daten vertraulich behandelt und geschützt bleiben, ein Mangel an Genauigkeit oder Qualität in den von der KI generierten Texten zu Unannehmlichkeiten führen kann. In einem Bereich wie dem Patentwesen, wo Präzision und Detailgenauigkeit entscheidend sind, ist dies eine ernsthafte Anliege.

Angesichts dieser Einschränkungen hat die Erfindung eines sicheren und effizienten Tools zur Ausarbeitung von Patentanmeldungen einen wertvollen Beitrag geleistet. Es bietet eine Lösung, die sowohl den Sicherheitsbedenken hinsichtlich der Vertraulichkeit sensibler Informationen gerecht wird als auch ein hohes Maß an Genauigkeit und Präzision gewährleistet.

Diese Erfindung überwindet nicht nur die Unzulänglichkeiten des Standes der Technik im Bereich der generativen KI, sondern bietet auch eine effektive Alternative zur Verwendung von Cloud-basierten Chatbots für den Schreibprozess. Sie stellt sicher, dass Erfinder und Unternehmen ihre Ideen vertraulich bewahren können, während sie gleichzeitig einen hochwertigen Bericht erstellen.

Zusammenfassend lässt sich sagen, dass die Entwicklung von Tools zur Ausarbeitung von Patentanmeldungen ein bedeutender Fortschritt in der generativen KI darstellt. Sie bietet eine sichere und effiziente Lösung für den Prozess des Ideenverwirklichungs- und Schreibens, indem sie die Herausforderungen des Standes der Technik angeht und dabei die Vertraulichkeit sensibler Informationen gewährleistet.

Can LLMs draft patents beyond English?

I asked ChatGPT to create an article based on the GoogleMeet transcript:

In the rapidly evolving landscape of intellectual property and artificial intelligence (AI), the ability to draft patents across different languages remains a fascinating challenge. The Powerclaim Office Hours, led by Bastian Best on April 11, 2024, shed light on this subject, particularly focusing on leveraging large language models (LLMs) for drafting patents beyond English.

The Multilingual Challenge in Patent Drafting

The session opened with Bastian Best highlighting a question raised in a previous seminar: Can LLMs draft patents in languages other than English? Given the predominance of English in the training data of many popular LLMs, this inquiry is not only relevant but also critical, especially for practitioners in regions like Europe where multiple languages hold official status.

Insights from LLM Capabilities

Bastian Best shared findings on the multilingual capabilities of different LLMs, including OpenAI’s GPT models and Meta’s LLaMA 2. OpenAI claims notable performance across various languages, with GPT-4 showing impressive benchmarks not just in English but also in German, French, and many others. However, the distribution of training data across languages is uneven, with English dominating, followed by code, and a significantly smaller proportion dedicated to other languages like German and French.

Real-world Experimentation

To test these capabilities in practice, Bastian conducted a live experiment during the session. The task involved drafting the background section of a European patent application in English and then in German using the same model. The English output was linguistically polished, showcasing the model’s proficiency in patent-specific English. However, the German translation revealed some awkwardness, despite being technically correct, it lacked the stylistic nuances of patent-specific German.

Finding Solutions: Specialized Models

The exploration didn’t stop there. Bastian introduced a solution by utilizing a specialized German model, Em German Mistral, fine-tuned on German texts. This model produced a background section in German that not only was linguistically accurate but also matched the stylistic expectations of German patent drafting.

Broader Implications and Alternative Approaches

The session concluded with reflections on broader implications for non-English patent drafting. While specific models like Em German Mistral offer promising solutions for German, the search for equivalent models in other languages, such as French, presents a challenge due to the sheer volume of variants available. An alternative suggested was drafting in English and then using machine translation services, although this approach introduces its own set of complexities.

Key Takeaways and Future Directions

The Powerclaim Office Hours underscored a key insight: while drafting patents in languages other than English with LLMs is feasible, it requires selecting the right tools and sometimes fine-tuned models specific to the target language. For practitioners and researchers in the field of intellectual property and AI, this exploration opens up new avenues for innovation and efficiency in patent drafting across the linguistic spectrum.

As the landscape of AI and intellectual property continues to evolve, sessions like these not only provide practical insights but also foster a collaborative environment for addressing the challenges and opportunities presented by multilingual patent drafting.

Looking Ahead

The Powerclaim Office Hours will continue to be a platform for discussing cutting-edge topics in the intersection of AI and intellectual property. The recorded session and the outputs from the experiments are available for members on the website, offering a resource for further exploration and learning. As the community looks forward to more sessions, the journey into multilingual patent drafting with AI is just beginning, promising new discoveries and solutions in the dynamic world of intellectual property.