Radeon 780M搭載のAPUバカ売れするだろこれ
５ちゃんねるdatが存在しません。削除されたかURL間違ってますよ。。
greta.5ch.net
Unified Memoryええな
メモリ圧縮1/6ってもう使えんの？
>>4
windows＋nvidia gpuで動くPyTorchで実装してる人は見た
他は知らん
ICLR 2026で論文発表だし活発になるのは今年後半じゃね
他は知らん
ICLR 2026で論文発表だし活発になるのは今年後半じゃね
>>4
turboquantのことなら(今のところ)コンテクストのメモリ圧縮の話だから
必要なメモリ = モデルサイズ + 入出力長
で入出力長のとこにしか1/6は効かない。クラウドで動かしてるモデルがご家庭のGPUで！みたいな話ではない
より長い文章の入出力を小さい品質劣化でできるのはいいことなんだけど、誇大広告よ
必要なメモリ = モデルサイズ + 入出力長
で入出力長のとこにしか1/6は効かない。クラウドで動かしてるモデルがご家庭のGPUで！みたいな話ではない
より長い文章の入出力を小さい品質劣化でできるのはいいことなんだけど、誇大広告よ
>>46
量子とかつけちゃってて凄そうだけど実際の量子化ビットの論文見たら水を薄めるみたいな低レベルな論文内容笑ったわw
AIで書いてんじゃねえのって思うくらい
AIで書いてんじゃねえのって思うくらい
>>50
“量子化”ってのは情報を小さい離散値に丸めるって技術用語だから何もおかしくないぞ。 量子コンピュータとかの量子とは別の話
例えば現実の無限階調の色彩を 8 bit 256 色の情報に丸める、というファミコンレベルの話であっても量子化
今回のは元々16bitで扱ってたデータを上手に処理したら3bitくらいの情報量に落としてしまっても大した誤差は生じなさそうだよ、ってやつ
例えば現実の無限階調の色彩を 8 bit 256 色の情報に丸める、というファミコンレベルの話であっても量子化
今回のは元々16bitで扱ってたデータを上手に処理したら3bitくらいの情報量に落としてしまっても大した誤差は生じなさそうだよ、ってやつ
>>53
そうだけどやってることは量子力学だよ
量子力学はおおよそ統一場理論で古典的物理学を土台においた完全シュミレーションの理論
今のAI(nlp)は数学に基づいて量子力学および理論を創り上げようと必死に性能と質をあげてる
まあ無理
量子は量子力学っていう科学で使う最小単位のことで間違いはないはず
量子力学はおおよそ統一場理論で古典的物理学を土台においた完全シュミレーションの理論
今のAI(nlp)は数学に基づいて量子力学および理論を創り上げようと必死に性能と質をあげてる
まあ無理
量子は量子力学っていう科学で使う最小単位のことで間違いはないはず
>>55
一体何を言っているんだ…
量子の語源については知らんけど、量子力学のあるいは量子コンピュータの量子と、今の生成AIには何の関係もないぞ
量子の概念を利用した計算機も研究されちゃいるけど実用的かはまだまだ不明で、実用されるにしてもハード面ソフト面の研究が必要で数十年は先の話なる
量子の語源については知らんけど、量子力学のあるいは量子コンピュータの量子と、今の生成AIには何の関係もないぞ
量子の概念を利用した計算機も研究されちゃいるけど実用的かはまだまだ不明で、実用されるにしてもハード面ソフト面の研究が必要で数十年は先の話なる
ryzenのAI MAXみたいなやつには頑張ってもらいたい
サルにもわかるように解説して
>>6
今までのAPUではCPUとGPUが同じメインメモリを使っていても物理的に共有できなくて同じデータを使えずにCPUとGPU間でコピーしなくてはならないとかロスが大きくそこで大きな時間がかかっていた。
ここでAMDのStrix Haloなどの新APUはユニファイドメモリというCPUとGPUで全く同じメモリ空間で同じデータを扱えるということができるようになって様々なロスがなくなったので圧倒的に速くなった
ここでAMDのStrix Haloなどの新APUはユニファイドメモリというCPUとGPUで全く同じメモリ空間で同じデータを扱えるということができるようになって様々なロスがなくなったので圧倒的に速くなった
>>6
今までは食べた食材を口から肛門までに処理してウンコを出してたが、口の中だけで全処理完了して口からウンコ出せるようになった。
>>6
大丈夫、数学的な仕組みなんか
ここのパソコン大先生はだれもわからんし
理解もできない
ここのパソコン大先生はだれもわからんし
理解もできない
前から遅くなるけど普通のメモリ使えなかったのか？
>>7
あれはプログラム側で頑張ってガムテープでVRAMとRAMを貼りつけてたんだけど
これの場合は単にでかいVRAM用のプログラムを書けばOKでらくちん
これの場合は単にでかいVRAM用のプログラムを書けばOKでらくちん
ただしWindowsでのAMD GPUサポート（Windows用のドライバとROCmと関連ライブラリの現状）はまだかなり地獄なんで
主にLinuxユーザー向けか冒険者向けと思ったほうがいい
まあいずれ改善はされるはず
>>13
ありがとう
CPUで動かすんじゃないの？
画像解析のレベルも上がって来た
![今ローカルLLMがアツいよな。DRAMをVRAMのように使えるようになってから革命きたわ [468391367]
_9_9](https://anime-news.net/wp-content/uploads/2026/05/temp_9.png)
>>9
画像見せてセリフも生成できたりするの？
>>15 >>17 >>30
うん
>>17
hereticって付いてるモデルでいいよ
>>30
civitaiで拾った
>>9
gemmaはいいのか
qwenだとエロい画像見せたらこんなのダメって言われた
qwenだとエロい画像見せたらこんなのダメって言われた
>>17
Hereticとかまあ色々良心回路をアレする方法はあるので
>>18
,19,36
サンキュウ
qwenのhereticっていうのを入れてみたら怒られなくなったわ
サンキュウ
qwenのhereticっていうのを入れてみたら怒られなくなったわ
>>17
qwen無修正なら
>>9
読み込ませてる画像の詳細教えて
>>9
これ何のソフトで動かしてる？
koboldcpp だとうまく行かないんだよな
koboldcpp だとうまく行かないんだよな
>>59
LMStudio
>>82
サンキュ
3060でもあと5年戦えるってこと？！
72GB相当になるってこと？！
72GB相当になるってこと？！
中国にアメリカ産グラボ盗まれたとかいう話どうなっんだww
それ遅くて話にならんやつ
DRAM32GBしかないけど増設したほうがいいのか？
GreenBoostだっけ？
でもあれLinuxでしか使えないんだよな
でもあれLinuxでしか使えないんだよな
それよりNPU使ってくれないかな
>>20
AI用のコアなのにAIに使えないって変だよな
>>22
AIモデルが対応してるNPUはXDNA2からのようだ
8700GのNPUは初期型のXDNA1でLLM向けの機能が足りてないんだと
8700GのNPUは初期型のXDNA1でLLM向けの機能が足りてないんだと
>>20
簡単なものにはつかってるやろ
ワイもやる！
ローカルで何すればいいの？
何が面白い？
何がおすすめ？
何が面白い？
何がおすすめ？
>>23
まずはComfyUIという色々なAIをノード接続のワークフローで動かせる環境みたいなのオススメ。
こいつを動かせば、標準のテンプレートのワークフローに、画像、動画、音楽など色々な種類のAI使えるのがある。
画像はZ-image turboやAnima
動画はWan2.2やLTX2.3
音楽はACE-step1.5
あたりがオススメ
こいつを動かせば、標準のテンプレートのワークフローに、画像、動画、音楽など色々な種類のAI使えるのがある。
画像はZ-image turboやAnima
動画はWan2.2やLTX2.3
音楽はACE-step1.5
あたりがオススメ
おもちゃだからコレ
使えない
使えない
ComfyUI程度の環境、ツールを（ChatGPTとかに相談しながらでも）使えるぐらいでないとローカルはオススメしない。
そこらへん頑張れそうの無いならサーバーサービス型のAI使った方が良さそう
そこらへん頑張れそうの無いならサーバーサービス型のAI使った方が良さそう
ローカルLLMで使い放題だと思ってエージェントをセットアップしたけど特にやらせたい事は無かった
ゲーム中に常時画面チャプチャして話しかけてくるボットでも作った方が捗りそう
ゲーム中に常時画面チャプチャして話しかけてくるボットでも作った方が捗りそう
1年くらい前にComfyUIで遊んでたな
一ヶ月も経たないうちに飽きたが
一ヶ月も経たないうちに飽きたが
MacBook Neoで1ビットLLM「Bonsai 8B」
32GBだと足りないから増設したいのに
高すぎて買う気になれない。
DDR4の16×2が3万円オーバーって3倍になってるやん。
高すぎて買う気になれない。
DDR4の16×2が3万円オーバーって3倍になってるやん。
grokが昔みたいにできないから動画はローカルに回帰したな
SSDをスワップすりゃRAMなんてどうとでもなる
SSDはめちゃくちゃ速いし
SSDはめちゃくちゃ速いし
>>40
秒速で壊れるぞ
grokは画像生成は規制されてるけど、ローカル生成用のプロンプト教えてくれるから偉い
5060tiでDDR4で64GBなんだけど使える？
やっぱりDDR5で128GBが必要？
やっぱりDDR5で128GBが必要？
>>42
調整すれば gemma4 26b a4b も行けるぐらいの性能
>>45
ありがとう
それを調べて試してみる
それを調べて試してみる
RyzenMax395でもgemma4 31Bをそのまま使うと遅い
M5 ultra出たら欲しいけどM3と同じなら96GBが最低なんだよなあ、で次が256GB
128GBでいいのに
ちょっとでも安く買いたい
M5 ultra出たら欲しいけどM3と同じなら96GBが最低なんだよなあ、で次が256GB
128GBでいいのに
ちょっとでも安く買いたい
>>43
グラボも繋いで動かすとチャッピーとかと変わらんらしいけど
となるとMacはダメなのかな
ようわからん
となるとMacはダメなのかな
ようわからん
言いたいのはユニファイドメモリがええよなって事だろ？
project airiでAIとマインクラフトもやってみたいがセットアップが簡単になるまで待つわ
AIをローカルで使わせたくならからいきなりメモリの価格高騰させたんじゃね？
NSFWのイラスト生成するだけならComfyUIよりSDの方が手っ取り早くて結局SDばっかり使ってしまう
でもComfyUIで可能性を広げたい
えっちなの出力するんですね？！
>>57
どんどん解除されてくのでローカルではとくに心配をいらんみたい
グラボ買わずにメモリ128Gにしたほうが良かったのか
グラボは空冷ついてガンガン冷やしてるけど
メモリでやる場合は発熱どうなるの？
メモリでやる場合は発熱どうなるの？
ComfyUIで使える無修正のモデルがあると聞いたんだがマジ？
VRAMとかそういうレベルの高速性がないと
バラメータ数が多いモデルだと遅い
バラメータ数が多いモデルだと遅い
ComfyUIインストールしたけどなんなんだよこれ。
初見殺しもいいとこだろ。
初見殺しもいいとこだろ。
760mでvram割り当て24GBにしても元が貧弱だから遅かった
でもやる事はどうせエロ画像の生成と猥談なんだろ？🙄
30万たかくね？
30万たかくね？
オープンクローに仕事させたいが設定追い込めばなんとかなるんやろか。
しかし自分のPCで絵や音楽を作れると面白いな。
しかし自分のPCで絵や音楽を作れると面白いな。
ローカルは今はGemma4がいいぞ
エロ使い放題
エロ使い放題
AIをローカルで動かしてどうすんだよ
ただの変態の遊びだろ
ただの変態の遊びだろ
ローカルで何するの
>>80
クラウドのAPIを使ってたらめちゃくちゃカネがかかるだろ。
オープンクローもそれでカネぼったくられるユーザー多い。
オープンクローもそれでカネぼったくられるユーザー多い。
>>80
そりゃ恥ずかしいエロ小説やロールプレイチャットよ
Webサービスだとログ流出やBANされるリスクがある
古いモデルの奴だけど
Webサービスだとログ流出やBANされるリスクがある
古いモデルの奴だけど
>>91
これがケンモメンのコミュ力です
ローカルLLM全く追ってないんだけどDRAMをVRAMのように使えるようになったのっていつからなん？
たしか1年ちょいくらい前まではVRAM多くないと使い物にならないって話しか聞いたことなかった
たしか1年ちょいくらい前まではVRAM多くないと使い物にならないって話しか聞いたことなかった
Google
・Gemma 4 31B Dense
・Gemma 4 26B A4B MoE
・Gemma 4 E4B
・Gemma 4 E2B
・Gemma 4 31B Dense
・Gemma 4 26B A4B MoE
・Gemma 4 E4B
・Gemma 4 E2B
Alibaba
・Qwen3.5 397B-A17B MoE
・Qwen3.5 122B-A10B MoE
・Qwen3.5 35B-A3B MoE
・Qwen3.5 27B Dense
・Qwen3.5 9B Dense
・Qwen3.5 4B Dense
・Qwen3.5 2B Dense
・Qwen3.5 0.8B Dense
まあ好きなの使ってや
コメント