今ローカルLLMがアツいよな。DRAMをVRAMのように使えるようになってから革命きたわ

Radeon 780M搭載のAPUバカ売れするだろこれ

５ちゃんねるdatが存在しません。削除されたかURL間違ってますよ。。

greta.5ch.net

Unified Memoryええな

メモリ圧縮1/6ってもう使えんの？

windows＋nvidia gpuで動くPyTorchで実装してる人は見た
他は知らん
ICLR 2026で論文発表だし活発になるのは今年後半じゃね

turboquantのことなら(今のところ)コンテクストのメモリ圧縮の話だから
必要なメモリ = モデルサイズ + 入出力長
で入出力長のとこにしか1/6は効かない。クラウドで動かしてるモデルがご家庭のGPUで！みたいな話ではない
より長い文章の入出力を小さい品質劣化でできるのはいいことなんだけど、誇大広告よ

量子とかつけちゃってて凄そうだけど実際の量子化ビットの論文見たら水を薄めるみたいな低レベルな論文内容笑ったわw
AIで書いてんじゃねえのって思うくらい

“量子化”ってのは情報を小さい離散値に丸めるって技術用語だから何もおかしくないぞ。 量子コンピュータとかの量子とは別の話
例えば現実の無限階調の色彩を 8 bit 256 色の情報に丸める、というファミコンレベルの話であっても量子化
今回のは元々16bitで扱ってたデータを上手に処理したら3bitくらいの情報量に落としてしまっても大した誤差は生じなさそうだよ、ってやつ

そうだけどやってることは量子力学だよ
量子力学はおおよそ統一場理論で古典的物理学を土台においた完全シュミレーションの理論
今のAI(nlp)は数学に基づいて量子力学および理論を創り上げようと必死に性能と質をあげてる
まあ無理
量子は量子力学っていう科学で使う最小単位のことで間違いはないはず

一体何を言っているんだ…
量子の語源については知らんけど、量子力学のあるいは量子コンピュータの量子と、今の生成AIには何の関係もないぞ
量子の概念を利用した計算機も研究されちゃいるけど実用的かはまだまだ不明で、実用されるにしてもハード面ソフト面の研究が必要で数十年は先の話なる

ryzenのAI MAXみたいなやつには頑張ってもらいたい

サルにもわかるように解説して

今までのAPUではCPUとGPUが同じメインメモリを使っていても物理的に共有できなくて同じデータを使えずにCPUとGPU間でコピーしなくてはならないとかロスが大きくそこで大きな時間がかかっていた。
ここでAMDのStrix Haloなどの新APUはユニファイドメモリというCPUとGPUで全く同じメモリ空間で同じデータを扱えるということができるようになって様々なロスがなくなったので圧倒的に速くなった

今までは食べた食材を口から肛門までに処理してウンコを出してたが、口の中だけで全処理完了して口からウンコ出せるようになった。

大丈夫、数学的な仕組みなんか
ここのパソコン大先生はだれもわからんし
理解もできない

前から遅くなるけど普通のメモリ使えなかったのか？

あれはプログラム側で頑張ってガムテープでVRAMとRAMを貼りつけてたんだけど
これの場合は単にでかいVRAM用のプログラムを書けばOKでらくちん

ただしWindowsでのAMD GPUサポート（Windows用のドライバとROCmと関連ライブラリの現状）はまだかなり地獄なんで
主にLinuxユーザー向けか冒険者向けと思ったほうがいい
まあいずれ改善はされるはず

ありがとう

CPUで動かすんじゃないの？

画像解析のレベルも上がって来た

画像見せてセリフも生成できたりするの？

うん

>>17

hereticって付いてるモデルでいいよ

>>30

civitaiで拾った

gemmaはいいのか
qwenだとエロい画像見せたらこんなのダメって言われた

Hereticとかまあ色々良心回路をアレする方法はあるので

,19,36
サンキュウ
qwenのhereticっていうのを入れてみたら怒られなくなったわ

qwen無修正なら

読み込ませてる画像の詳細教えて

これ何のソフトで動かしてる？
koboldcpp だとうまく行かないんだよな

LMStudio

3060でもあと5年戦えるってこと？！
72GB相当になるってこと？！

中国にアメリカ産グラボ盗まれたとかいう話どうなっんだww

それ遅くて話にならんやつ

DRAM32GBしかないけど増設したほうがいいのか？

GreenBoostだっけ？
でもあれLinuxでしか使えないんだよな

それよりNPU使ってくれないかな

AI用のコアなのにAIに使えないって変だよな

AIモデルが対応してるNPUはXDNA2からのようだ
8700GのNPUは初期型のXDNA1でLLM向けの機能が足りてないんだと

簡単なものにはつかってるやろ

ワイもやる！

ローカルで何すればいいの？
何が面白い？
何がおすすめ？

まずはComfyUIという色々なAIをノード接続のワークフローで動かせる環境みたいなのオススメ。
こいつを動かせば、標準のテンプレートのワークフローに、画像、動画、音楽など色々な種類のAI使えるのがある。
画像はZ-image turboやAnima
動画はWan2.2やLTX2.3
音楽はACE-step1.5
あたりがオススメ

おもちゃだからコレ
使えない

ComfyUI程度の環境、ツールを（ChatGPTとかに相談しながらでも）使えるぐらいでないとローカルはオススメしない。
そこらへん頑張れそうの無いならサーバーサービス型のAI使った方が良さそう

ローカルLLMで使い放題だと思ってエージェントをセットアップしたけど特にやらせたい事は無かった
ゲーム中に常時画面チャプチャして話しかけてくるボットでも作った方が捗りそう

1年くらい前にComfyUIで遊んでたな
一ヶ月も経たないうちに飽きたが

MacBook Neoで1ビットLLM「Bonsai 8B」

32GBだと足りないから増設したいのに
高すぎて買う気になれない。
DDR4の16×2が3万円オーバーって3倍になってるやん。

grokが昔みたいにできないから動画はローカルに回帰したな

SSDをスワップすりゃRAMなんてどうとでもなる
SSDはめちゃくちゃ速いし

秒速で壊れるぞ

grokは画像生成は規制されてるけど、ローカル生成用のプロンプト教えてくれるから偉い

5060tiでDDR4で64GBなんだけど使える？
やっぱりDDR5で128GBが必要？

調整すれば gemma4 26b a4b も行けるぐらいの性能

ありがとう
それを調べて試してみる

RyzenMax395でもgemma4 31Bをそのまま使うと遅い
M5 ultra出たら欲しいけどM3と同じなら96GBが最低なんだよなあ、で次が256GB
128GBでいいのに
ちょっとでも安く買いたい

グラボも繋いで動かすとチャッピーとかと変わらんらしいけど
となるとMacはダメなのかな
ようわからん

言いたいのはユニファイドメモリがええよなって事だろ？

project airiでAIとマインクラフトもやってみたいがセットアップが簡単になるまで待つわ

AIをローカルで使わせたくならからいきなりメモリの価格高騰させたんじゃね？

NSFWのイラスト生成するだけならComfyUIよりSDの方が手っ取り早くて結局SDばっかり使ってしまう

でもComfyUIで可能性を広げたい

えっちなの出力するんですね？！

どんどん解除されてくのでローカルではとくに心配をいらんみたい

グラボ買わずにメモリ128Gにしたほうが良かったのか

グラボは空冷ついてガンガン冷やしてるけど
メモリでやる場合は発熱どうなるの？

ComfyUIで使える無修正のモデルがあると聞いたんだがマジ？

VRAMとかそういうレベルの高速性がないと
バラメータ数が多いモデルだと遅い

ComfyUIインストールしたけどなんなんだよこれ。
初見殺しもいいとこだろ。

760mでvram割り当て24GBにしても元が貧弱だから遅かった

でもやる事はどうせエロ画像の生成と猥談なんだろ？🙄
30万たかくね？

オープンクローに仕事させたいが設定追い込めばなんとかなるんやろか。
しかし自分のPCで絵や音楽を作れると面白いな。

ローカルは今はGemma4がいいぞ
エロ使い放題

AIをローカルで動かしてどうすんだよ
ただの変態の遊びだろ

ローカルで何するの

クラウドのAPIを使ってたらめちゃくちゃカネがかかるだろ。
オープンクローもそれでカネぼったくられるユーザー多い。

そりゃ恥ずかしいエロ小説やロールプレイチャットよ
Webサービスだとログ流出やBANされるリスクがある
古いモデルの奴だけど

これがケンモメンのコミュ力です

ローカルLLM全く追ってないんだけどDRAMをVRAMのように使えるようになったのっていつからなん？
たしか1年ちょいくらい前まではVRAM多くないと使い物にならないって話しか聞いたことなかった

Google
・Gemma 4 31B Dense
・Gemma 4 26B A4B MoE
・Gemma 4 E4B
・Gemma 4 E2B

Alibaba
・Qwen3.5 397B-A17B MoE
・Qwen3.5 122B-A10B MoE
・Qwen3.5 35B-A3B MoE
・Qwen3.5 27B Dense
・Qwen3.5 9B Dense
・Qwen3.5 4B Dense
・Qwen3.5 2B Dense
・Qwen3.5 0.8B Dense

まあ好きなの使ってや