sasakitaro/llm-jp-3-13b-ft1203_lora

Uploaded model

• Developed by: sasakitaro
• License: apache-2.0
• Finetuned from model : llm-jp/llm-jp-3-13b

松尾・岩澤研究室　大規模言語モデル講座2024最終課題コンペで生成したモデルです。

サンプルコード LoRA_template_unsloth_20241127.ipynbをベースに下記変更を加えて生成しました。

・学習データセットは ichikara-instructionでなく、Elyza-tasks-100（TVでない）を使用

・Epochを10回

・max_new_token=1024 (推論時)

推論方法はサンプルコード Model_Inference_Template_unsloth_20241127.ipynb ベースで下記変更を加えて行いました。

・推論時のプロンプトをElyza-tasks-100で難易度の高い項目をICL用に記載

prompt = f"""### 指示\n{input}\n### 回答\n"""

prompt = f"""### 指示\n IMEとして機能してください。\n\nあなたのタスクはローマ字入力されたアルファベット列を単語ごとにひらがなに変換し、それぞれの単語を漢字に変換する候補を最大3つ提示することです。\n\n以下に例を示します。\n\n\ninputs:\nk, y, o, u, h, a, a, m, e, p, p, o, i\n\noutputs:\n- きょうは: 今日は, 教派, 京は\n- あめ: 雨, 飴, アメ\n- っぽい: っぽい, ッポイ\n\n\nそれでは、入力を開始するので、IMEとして出力を表示してください。\n\ninputs:\nj, u, u, b, u, n, o, s, h, o, s, e, k, i\n

           ### 回答\n IMEとしてローマ字の入力を単語ごとにひらがなに変換し、漢字変換候補を提示します。\n\n```\ninputs:\nj, u, u, b, u, n, o, s, h, o, s, e, k, i\n\noutputs:\n- じゅう: 10, 十, 銃\n- ぶ: 部, 武, 分\n- の: の, ノ\n- しょせき: 書籍, 書跡, 諸関\n
           
           ### 指示\n 質問: 太郎くんはりんごを5つ持っています。彼はさらに2つのりんごの箱を買いました。1つの箱には3つのりんごが入っています。太郎くんは何個のりんごを持っていますか？\n
           
           ### 回答\n 太郎くんの持っているりんごの数は以下のように求められます。\n\n1. 初めに5つのりんごを持っていました。\n2. 2つの箱を買い、1つの箱には3つのりんごが入っているため、2 x 3 = 6個のりんごを手に入れました。\n3. 合計で 5 + 6 = 11個のりんごを持っていることになります。\n\nよって答えは11個です。\n
           
           ### 指示\n 1から500までの数字を入力するのに何回キーボードを叩く必要があるでしょうか？\n\n1桁の数字を入力するには1回、2桁の場合は2回、3桁の場合は3回キーボードを叩く必要があるものとします。\n\n選択肢: (a) 1156 (b) 1392 (c) 1480 (d) 1562 (e) 1788\n
           
           ### 回答\n 1から500までを入力するのに何回キーボードを叩けばいいかについて、桁について場合分けをしながら計算します。\n\n1. 1桁の数は1から9までの9つあり、キーボードは 1 x 9 = 9回叩く必要があります。\n2. 2桁の数は10から99までの90こあり、キーボードは 2 x 90 = 180回叩く必要があります。\n3. 3桁の数は100から500までの401こあり、キーボードは 3 x 401 = 1203回叩く必要があります。\n4. 合計で 9 + 180 + 1203 = 1392回キーボードを叩く必要があります。\n\nよって答えは (b) 1392 回です。\n
           
           ### 指示\n 2つの文字列で連続した最長共通部分文字列の長さを求めよ。\n\n文字列1: あえおかささででした\n文字列2: ばつえおかさでくした\n
           
           ### 回答\n 文字列1の何番目の文字を先頭とするかについて場合分けを行なって考えます。\n\n- 1番目の「あ」を先頭とする場合: 最長共通部分文字列はありません。\n- 2番目の「え」を先頭とする場合: 最長共通部分文字列は「えおかさ」です。\n- 3番目の「お」を先頭とする場合: 最長共通部分文字列は「おかさ」です。\n- 4番目の「か」を先頭とする場合: 最長共通部分文字列は「かさ」です。\n- 5番目の「さ」を先頭とする場合: 最長共通部分文字列は「さ」です。\n- 6番目の「さ」を先頭とする場合: 最長共通部分文字列は「さで」です。\n- 7番目の「で」を先頭とする場合: 最長共通部分文字列は「で」です。\n- 8番目の「で」を先頭とする場合: 最長共通部分文字列は「で」です。\n- 9番目の「し」を先頭とする場合: 最長共通部分文字列は「した」です。\n- 10番目の「た」を先頭とする場合: 最長共通部分文字列は「た」です。\n\nよって2つの文字列の最長共通部分文字列は「えおかさ」でその長さは4です。\n
           
           ### 指示\n 以下の文はある数式を自然言語で表したものです。元の数式を四則演算の数式として表してください。\n1を3で割った結果に33を足して、210を掛ける。最後に100で割る。\n
           
           ### 回答\n ステップバイステップに数式を完成させていきます。\n\n1. 「1を3で割った結果に33を足す」は 1/3+33 とできます\n2. これに210をかけるには、直前が足し算なので全体を括弧で囲う必要があり、 (1/3+33)*210 になります\n3. 最後に100で割るには、直前が掛け算なのでそのまま (1/3+33)*210/100 となります\n\nよって元の数式を四則演算の数式として表すと (1/3+33)*210/100 になります。\n
           
           ### 指示\n 架空の言語「エクル語」と日本語の関係をいくつか示します。\n1.\nエクル語: ダスインガ ウタ\n日本語: 彼が水を飲む\n2.\nエクル語: ダストン ウタ\n日本語: 彼は水を運んだ\n3.\nエクル語: ダスデル\n日本語: 彼は走った\n4.\nエクル語: クルデル クルインガ ウタ\n日本語: 子供が走って水を飲んだ\n\nここから推測して以下のエクル語を日本語に直してください。\n\n5.\nエクル語: クルデル クルトン\n
           
           ### 回答\n 似ている2文の差から、エクル語の単語の意味をステップバイステップで紐解いていきます。\n\n- まず、1と2を比較することで インガ: 飲む, トン: 運んだ という意味であるとわかります。\n- 次に2と3を比較することで ダス: 彼 ということがわかります。\n- ここでダスの意味がわかったので、1の文を振り返ることで ウタ: 水 という意味がわかります。\n- また、3の文からデル: 走る ということがわかります。\n- 1と4の文を比較することで、クル: 子供 ということがわかります。\n- よって5のクルデル クルトンを直訳すると、子供が走る 子供が運んだ になり、これを自然な日本語にすることで答えが得られます。\n\nよってクルデル クルトンを日本語に直すと「子供が走って運んだ」になります。\n
           
           ### 指示\n RGB(255, 0, 0)は赤色, RGB(255, 255, 255) は白色を表します。ではRGB(200, 200, 0)は何色でしょう？\n
           
           ### 回答\n RGBは頭文字からRed, Green, Blueを表していると考えられます。\nRGB(255, 255, 255)が白色なため、色は加算的に重ねるほど明るくなると考えられます。\nRGB(200, 200, 0)は 赤と緑を重ねた色なので、黄色になります。\n
           
           ### 指示\n 次の指示に従った場合、あなたはスタート地点に戻っていますか？\n\n常に前を向いていてください。1歩下がって。2歩左へ行って。2歩下がって。6歩前進して。3歩、いや2歩右に進んで。\n
           
           ### 回答\n 前後左右に動くため、自分の位置を(x, y)の座標で管理して最後に(0, 0)にいるかを確認します。\n\n1. (0, 0)から1歩下がり(0, -1)となる\n2. 2歩左に行き(-2, -1)となる\n3. 2歩下がり(-2, -3) となる\n4. 6歩前進し(-2, 3) になる\n5. 2歩右に進み(0, 3) になる\n\nよってスタート地点には戻っていません。スタート地点から3歩前に進んだ位置にいます。\n
           
           ### 指示\n 「会場に女性がいた。」という文は「どこに女性がいた？」という疑問文に直すことができます。\nこのとき、 会場　という単語は どこ という疑問詞タグを持ちます。疑問詞タグには いつ, どこ, だれ, なに, どれくらい があります。\n\nそれでは、「ドライバー」という単語はどのような疑問詞タグを持つでしょうか？ 全て選んでください。対応するものがない場合は　なし　と答えてください。\n
           
           ### 回答\n それぞれの疑問詞タグを使って、「ドライバー」が答えになる疑問文を作れるかを考えます。\n\n- いつ: 作れません。\n- どこ: 作れません。\n- だれ: だれが運転したのですか？\n- なに: なにでネジを回せばいいですか？\n- どれくらい: 作れません。\n\nよって「ドライバー」という単語は だれ、なに という疑問詞タグを持ちます。\n
           
           ### 指示\n 次のリストを昇順で並び替えて。出力は入力と同じフォーマットのリストのみを返し、余計なことを喋らないで。\n\n[10, 92, 2, 5, -4, 92, 5, 101]\n
           
           ### 回答\n [-4, 2, 5, 5, 10, 92, 92, 101]\n
           
           ### 指示\n 犬が「ワンワン」ほえるなど、音や声を直接表す言葉を「擬音語」、星が「きらきら」光るなど、ものや人の様子を直接表す言葉を「擬態語」といいます。\n\n下の文を読み、擬音語・擬態語をそれぞれリストアップしてください。\n\n窓辺に座り、ぼんやりと外を見ていると、パラパラと雨が降り始めました。ビシャビシャと音を立てる雨に、私は何でもない場面にワクワクした気持ちを抱きました。\n
           
           ### 回答\n 文章中の擬音語と擬態語をリストアップします。\n\n- 擬音語: パラパラ、ピシャピシャ\n- 擬態語: ぼんやり、ワクワク\n
           
           ### 指示\n 漢字に対応する意味を選び、対応する数字とアルファベットのペアを解答してください。\n\n1. 立派　A. すばらしい\n2. 開拓　B. ある事柄について知っている内容。\n3. 知識　C. 物事に味わいや価値を加える\n4. 賞賛　D. 新しい領域を切り開く\n5. 味付け　E. 高い評価を与える\n
           
           ### 回答\n それぞれの漢字に対する意味を表すと次のようになります。\n\n1. 立派: A. すばらしい\n2. 開拓: D. 新しい領域を切り開く\n3. 知識: B. ある事柄について知っている内容。\n4. 賞賛: E. 高い評価を与える\n5. 味付け: C. 物事に味わいや価値を加える\n\nよって対応する数字とアルファベットのペアは (1, A), (2, D), (3, B), (4, E), (5, C) となります。\n
           
           ### 指示\n 次の文は1つの物語の文の順番をシャッフルしたものです。適切な順に並び替えてください。\n\n1. 「果物だけではなく、人生も同じです。協力しなくては、全てをこなすことはできません。」\n2. 老人は、広い畑で色々な果物を育てていました。\n3. ある日、孫が老人に『こんなに広い畑で、全ての果物を一人で育てるのは大変そうですね』と尋ねました。\n4. 昔、あるところに老人と孫がいました。\n5. 老人は微笑みながら次のように答えました。\n
           
           ### 回答\n 物語の冒頭から順番に考えます。\n\n最初の文として適切なのは状況の開示を行っている4で、その後2が続きます。\nその後3で会話が始まり、会話への応答を表す5、1と続くと考えられます。\n\nよって適切な順番は4, 2, 3, 5, 1です。\n
           
           ### 指示\n{input}\n### 回答\n"""

・max_new_toke=1024

This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.