![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
#author("2026-11-07T20:55:03+09:00","default:ait-survey","ait-survey") transformer（self-attention で Q・K・V を使って文脈を参照する）でできた LLM は、事前学習・微調整・強化学習・蒸留を経て、チャ ットテンプレートの書式・thinking・ツールコーリングを身につけます。それを推論エンジンがGPUで動かし、推論サーバーが窓口として組 み立てと切り分けを担当します。その外側で、ハーネスがガイドとガードレールのもとループを回すと、AIエージェントという LLMアプリ（AIアプリ）になります。 #author("2026-11-07T20:55:25+09:00","default:ait-survey","ait-survey") transformer（self-attention で Q・K・V を使って文脈を参照する）でできた LLM は、事前学習・微調整・強化学習・蒸留を経て、チャットテンプレートの書式・thinking・ツールコーリングを身につけます。それを推論エンジンがGPUで動かし、推論サーバーが窓口として組み立てと切り分けを担当します。その外側で、ハーネスがガイドとガードレールのもとループを回すと、AIエージェントというLLMアプリ（AIアプリ）になります。 ---- Instruction Tuning~ -[[Survey:https://arxiv.org/abs/2308.10792]]~ ---- [[Qwen:https://github.com/QwenLM]]~ -[[Qwen3:https://qwen.ai/blog?id=qwen3]]~ -[[Qwen/Qwen3.6-35B-A3B:https://huggingface.co/Qwen/Qwen3.6-35B-A3B]]~ -[[Qwen3.8-Flash-Next:https://qwen.ai/blog?id=qwen3.8-flash-next]]~ [[LLM-jp:https://llm-jp.nii.ac.jp/]]~ -[[Official]]~ -[[Github]]~ -[[LLM-jp Corpus v4:https://gitlab.llm-jp.nii.ac.jp/datasets/llm-jp-corpus-v4]] [[Nemotron:https://www.nvidia.com/ja-jp/ai-data-science/foundation-models/nemotron/]]~ ---- LLMを利用した生成AIの性能向上 -パラメータの学習 -推論時の工夫 --コンテキストの設計 --生成手続きの設計 ---- 文脈内学習（In-Context Learning、ICL）~ -[[A Survey on In-context Learning:https://arxiv.org/abs/2301.00234]]~ -[[Fewshot:https://papers.neurips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html]]~ ---- Fine Tuning~ -[[LoRA（Low Rank Adaptation）:https://github.com/microsoft/LoRA]] -[[QLoRA（Quantized Low Rank Adaptation）:https://github.com/artidoro/qlora]] ---- 推論エンジン -[[llama.cpp:https://github.com/ggml-org/llama.cpp]] -[[Ollama:https://ollama.com/]] -[[Strata:https://github.com/Niko1221/Strata/blob/main/README.ja.md]]:Qwen3.8-Flash-Nextを12GB級のGPUで動かすことに特化？ ---- Evaluation method -logit lens ---- [[作りながら学ぶLLM入門:https://zenn.dev/churadata/articles/459fb3543bc680]]~ [[Ollamaで体験する国産LLM入門:https://zenn.dev/hellorusk/books/e56548029b391f]]~ [[AI Agents for Beginners:https://learn.microsoft.com/en-us/shows/ai-agents-for-beginners/]]~ [[Effective context engineering for AI agents:https://www.anthropic.com/research/effective-context-engineering-for-ai-agents]]~ [[Building effective agents:https://www.anthropic.com/research/building-effective-agents]]~ [[Function calling :https://developers.openai.com/api/docs/guides/function-calling?api-mode=responses]]~ [[AI Tips]]
