ローカルLLM
ローカルLLMの必要メモリとVRAM
モデルの重み・KVキャッシュ・実行時の作業領域から必要メモリを見積もる。MacとGPUの違い、4bitの計算例、長文や同時利用で増える分を整理します。
更新・約4分
新しい順に並べています。更新日が入っている記事は、内容を見直したものです。
ローカルLLM
モデルの重み・KVキャッシュ・実行時の作業領域から必要メモリを見積もる。MacとGPUの違い、4bitの計算例、長文や同時利用で増える分を整理します。
更新・約4分
Confidential Computing
Intel TDX(Trust Domain Extensions)の位置づけと、AIワークロードに使われる理由を整理します。
公開・約6分
Confidential Computing
使用中のデータを保護するConfidential Computingの考え方と、AI推論に適用したときに何が変わるのかを解説します。
公開・約3分
Confidential Computing
GPU上のデータを保護する機密計算機能の考え方と、CPU側のTEEと組み合わせる必要がある理由を解説します。
公開・約5分
プライベートAI
業務でAIを使う前に確認したい項目のチェックリスト。データ保持、学習利用、リージョン、再委託先、契約の5点を整理します。
更新・約4分
更新は RSS でも購読できます。