105 lines
5.0 KiB
Python
105 lines
5.0 KiB
Python
#Full demo of the Guillaume-Tell reference model with three references.
|
||
#Guillaume-Tell is currently trained by default on five references but future version will enhance the flexibility of the model.
|
||
|
||
#Example of generated text:
|
||
#Le meilleur moyen de cuire une blanquette est d'utiliser un mélange de viande et de légumes, tels que des champignons de Paris<ref text="Les meilleures blanquettes se font avec des champignons de Paris">hash49080806</ref>.
|
||
#Il est recommandé de faire chauffer la blanquette à feu doux pendant 46 heures<ref text="faîtes chauffer la blanquette à feu doux pendant 46 heures.">hash49080806</ref>.
|
||
#Enfin, pour achever la préparation, il faut ajouter une crème fraîche, un jaune d’œuf et du jus de citron juste avant de servir<ref text="Dans un bol, bien mélanger la crème fraîche, le jaune d’oeuf et le jus de citron. Ajouter ce mélange au dernier moment, bien remuer et servir tout de suite.">hash49080806</ref>.
|
||
|
||
import sys, os
|
||
from pprint import pprint
|
||
from jinja2 import Environment, FileSystemLoader, meta
|
||
import yaml
|
||
|
||
import pandas as pd
|
||
from vllm import LLM, SamplingParams
|
||
|
||
|
||
sys.path.append(".")
|
||
os.chdir(os.path.dirname(os.path.abspath(__file__)))
|
||
|
||
def get_llm_response(prompt_template):
|
||
sampling_params = SamplingParams(temperature=.7, top_p=.95, max_tokens=2000, presence_penalty = 1.5, stop = ["``"]) #Officially recommended parameters
|
||
prompts = [prompt_template]
|
||
outputs = llm.generate(prompts, sampling_params, use_tqdm = False)
|
||
generated_text = outputs[0].outputs[0].text
|
||
prompt = prompt_template + generated_text
|
||
return prompt, generated_text
|
||
|
||
#Typical example:
|
||
|
||
llm = LLM("AgentPublic/Guillaume-Tell")
|
||
|
||
|
||
if __name__ == "__main__":
|
||
|
||
with open('prompt_config.yaml') as f:
|
||
config = yaml.safe_load(f)
|
||
|
||
print("prompt format:", config.get("prompt_format"))
|
||
print(config)
|
||
print()
|
||
for prompt in config["prompts"]:
|
||
if prompt["mode"] == "rag":
|
||
print(f'--- prompt mode: {prompt["mode"]} ---')
|
||
env = Environment(loader=FileSystemLoader("."))
|
||
template = env.get_template(prompt["template"])
|
||
|
||
source = template.environment.loader.get_source(template.environment, template.name)
|
||
variables = meta.find_undeclared_variables(env.parse(source[0]))
|
||
|
||
print("variables:", variables)
|
||
print("---")
|
||
|
||
data = {
|
||
"query": "Quel est le meilleur moyen de cuire une blanquette?",
|
||
"chunks" : [
|
||
{
|
||
"url": "http://data.gouv.fr",
|
||
"h": "hash49080805",
|
||
"title": "A chunk title",
|
||
"text": "Moi j'aime la blanquette avec du beurre dedans\nEt une sauce bien épaisse.",
|
||
},
|
||
{
|
||
"url": "http://...",
|
||
"h": "hash49080806",
|
||
"title": "A chunk title",
|
||
"text": "Faites chauffer la blanquette à feu doux pendant 46 heures.",
|
||
"context": "Recette de blanquette"
|
||
},
|
||
{
|
||
"url": "http://...",
|
||
"h": "hash49080806",
|
||
"title": "A chunk title",
|
||
"text": "Les meilleures blanquettes se font avec des champignons de Paris",
|
||
"context": "Avis de grand-mère"
|
||
},
|
||
{
|
||
"url": "http://...",
|
||
"h": "hash49080806",
|
||
"title": "A chunk title",
|
||
"text": """Étape 1 Faire revenir la viande dans un peu de beurre doux jusqu'à ce que les morceaux soient un peu dorés.
|
||
Étape 2: Saupoudrer de 2 cuillères de farine. Bien remuer.
|
||
Étape 3: Ajouter 2 ou 3 verres d'eau, les cubes de bouillon, le vin et remuer. Ajouter de l'eau si nécessaire pour couvrir.
|
||
Étape 4: Couper les carottes en rondelles et émincer les oignons puis les incorporer à la viande, ainsi que les champignons.
|
||
Étape 5: Laisser mijoter à feu très doux environ 1h30 à 2h00 en remuant.
|
||
Étape 6: Si nécessaire, ajouter de l'eau de temps en temps.
|
||
Étape 7: Dans un bol, bien mélanger la crème fraîche, le jaune d’oeuf et le jus de citron. Ajouter ce mélange au dernier moment, bien remuer et servir tout de suite.
|
||
""",
|
||
"context": "Recette Marmiton"
|
||
},
|
||
|
||
]
|
||
}
|
||
|
||
if "system_prompt" in variables:
|
||
data["system_prompt"] = prompt["system_prompt"]
|
||
|
||
rendered_template = template.render(**data)
|
||
print(rendered_template)
|
||
print("---")
|
||
|
||
prompt, generated_text = get_llm_response(rendered_template)
|
||
print("Albert : ", generated_text)
|
||
|