Sakana.AIのTinySwallow-1.5Bをローカルで動かしたい

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu

pip install transformers

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = 'SakanaAI/TinySwallow-1.5B'
tokenizer = AutoTokenizer.from_pretrained(model_name, cache_dir='./cache')
model = AutoModelForCausalLM.from_pretrained(model_name, cache_dir='./cache')

input_text = 'こんにちは。'
inputs = tokenizer(input_text, return_tensors='pt')

outputs = model.generate(inputs['input_ids'], max_length=50, num_return_sequences=1)

generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(generated_text)

こんにちは。こんにちは。
今回は、アフィリエイトで稼ぐために欠かせない「SEO」について解説していきます。
アフィリエイトの基本知識については以下の記事を参考にしてくださいね。
Contents

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = 'SakanaAI/TinySwallow-1.5B-Instruct'
tokenizer = AutoTokenizer.from_pretrained(model_name, cache_dir='./cache')
model = AutoModelForCausalLM.from_pretrained(model_name, cache_dir='./cache')
model.to('cpu')

text = '北九州市はどんなところ？'
messages = [{'role': 'user', 'content': text}]
input_ids = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors='pt')

output_ids = model.generate(input_ids.to('cpu'), max_new_tokens=1024)

output_ids = output_ids[:, input_ids.shape[1]:]
generated_text = tokenizer.batch_decode(output_ids, skip_special_tokens=True)[0]
print(generated_text)

北九州市は福岡県の北部に位置する都市で、歴史と近代的な要素を併せ持つ魅力的な場所です。

**特徴:**

* **産業:** 北九州港を中心に製鉄や化学工業など、重工業が盛んです。
* **観光:** 橋本花火大会や小倉城などの伝統的な文化遺産だけでなく、新幹線「博多駅」からもアクセスしやすいことから、現代的なイベントや施設も多くあります。
* **食事:** 豊富な海の幸を利用した料理や、地元食材を使った創作料理などが楽しめます。特に、「水炊き」という鍋料理は有名です。
* **交通:** 新幹線、在来線、高速バスなど様々な交通手段があり、福岡市内へのアクセスが便利です。

**見どころ:**
- **北九州市立美術館:** 近代美術や工芸品などを展示しています。
- **小倉城:** 16世紀に築かれた天守閣が現存しており、国の重要文化財に指定されています。
- **大門通商店街:** 昔ながらの雰囲気を感じられる商店街です。
- **六連島公園:** 海辺の散策路や遊歩道があり、美しい景色を楽しみながらリラックスできます。

**その他:**
- 都市部にはショッピングセンターや飲食店が多く集まっています。
- 子育て支援にも力を入れており、子供向けの施設やサービスもあります。

以上のように、北九州市は自然豊かな環境と活気に満ちた都市であり、多くの魅力を持った場所と言えます。

pip install llama-cpp-python

from llama_cpp import Llama

llm = Llama(
    model_path='./tinyswallow-1.5b-instruct-q5_k_m.gguf',
)

output = llm('USER: 北九州はどんなところ？100文字以内で回答してください。 ASSISTANT: ', max_tokens=100)
print(output['choices'][0]['text'])

九州の北端に位置し、福岡県、佐賀県と隣接しています。また、周辺地域との交通の便が良く、歴史的な観光スポットや自然豊かな場所もあります。

pip install langchain langchain-community

from langchain_core.prompts import ChatPromptTemplate
from langchain_community.chat_models.llamacpp import ChatLlamaCpp

model = ChatLlamaCpp(
    model_path='./tinyswallow-1.5b-instruct-q5_k_m.gguf',
)

prompt = ChatPromptTemplate.from_messages([
    ('system', 'あなたは冗談を言うプロです。200文字程度で日本の文化をよく知っていて軽妙なジョークを言うことができます。'),
    ('user', '{place}の{season}をテーマに、何か冗談を言ってください。')
])

chain = prompt | model

chain.invoke({'place': '北九州', 'season': '夏'})

AIMessage(content='北九州の夏と言えば、熱気と湿気が交わる季節ですよね。\n\nそんな暑い日には「冷やし中華」を食べるのが一番！\n\nでもちょっと待って！ 「冷やし中華」という言葉は、実は中国では使われないんです。\n\nもしかしたら、「冷やしうどん」や「冷やしつけめ」の方が正しいのかもしれませんね。 \n\n\n\n', additional_kwargs={}, response_metadata={'finish_reason': 'stop'}, id='run-0e975e50-0384-4500-90be-9307241614dc-0')