アカウント名:
パスワード:
「アンコリーノ」もそうだけど、世の中のどこにもないウソ情報をChatGPTはどうやって出してくるんだろ検索エンジンみたいにネット上の情報から学習してるんだと思ってたんだけど違うのか
今回の嘘判例がどんなのかわからないけど、(判例A+判例B+判例C)/3みたいなことやってんじゃないのかな?登場人物とか企業名とか日時とかがごっちゃになっているんじゃないかなと推測。
学習の粒度が違うんだろう。意味のあるひとつづきの文章じゃなくて単語単位、下手すると文字単位でパッチワークしてる。
画像生成AIのことをツギハギコラって言うと擁護厨が原理が違う！お前は無知でバカ！って飛んでくるけど実際の現物の動作としてはそれ以外に説明しようがないよね
「\nアン」「アンコ」「ンコ」「コリーノ」なんかどれも続く確率が極めて高い「そうだけど、」に「世の」「の中の」「中のどこにも」「どこにもない」「ない情報」が続く確率も割と高いじゃあ連続的にこれをループさせたら「そうだけど世の中のどこにもない情報だけど情報どこにもないですね」みたいな文章になるのは全くおかしくない
でもそういうマルコフ連鎖もどきでちゃんと文章が書けるのは意味不明なんだよなぁ…魔法か何かかと
魔法でも何でもなく、人間自身がそうやってフィーリングで喋りまくってるだけだろうここの連中だって「～中」と言いたい時には善し悪し問わずいちいち「絶賛」を付けるそこに意味など微塵もない
そんなのがツギハギコラだったらこの世の物質なんか全てツギハギコラになっちゃう構成要素のサイズで組み立てなおされたらもはやツギハギでもコラでもないんよ学習とその結果っていうの
まだ全部読んでいないけど今月号のニュートン [newtonpress.co.jp]のChatGPT特集で、次に来る単語を予測しながら回答を作っているとあった。
ここ [chatgpt-lab.com]にも同じようなことが書いてある。
今のAIは体裁を整えるのがものすごい上手いよくある体裁は正しい前提でよくある体裁を継ぎ接ぎして文を作る
中身も体裁を整えるのと同じように継ぎ接ぎして作ってくれるので正しいパーツを寄せ集めて一見正しそうなウソ情報を作る
ChatGPTってそもそもが人間っぽい文章や会話を生成するためのシステムであって正しい情報を答えるものじゃないからね。
大量に文章や会話を学習した事で(高い確率で)偶然正しい事を答えてるだけの話。正しい正しくないという判断基準が存在しないし間違ってると指摘すると謝るのも確率的にそれっぽい対応をしてるだけ。
文書力や会話力が有るからもっもとらしく嘘をつく能力は優れてるといえるかも。
ケーススタディとして設定された架空の事例を、実在のものと判断しちゃったとか？
まず、何度も言われているけど言語モデルは文章を理解するわけではない。それっぽい文章の作り方を覚えるだけ。
GPTには受け答えを自然に見せるために文章を作る語の候補を上位からランダムに選ぶ機能があるらしいそれがウソのもとになってるのではないかな。今のモデルのままではウソをなくすことはできないよ。
ネット上の情報から学習しているからこそでしょう。
人間ですらネット上の情報だけだと偏った知識で騙されるので、最終的な一次情報として書籍等に頼るわけで、ChatGPTだけがそこからうまいこと逃げられる理由はありませんし。
言い換えれば、ChatGPTは「ひろゆきの最終進化形」だと思えば良いのです。
部分部分では嘘ではないが、全体としては嘘になってしまうのだろう。というか彼らには嘘という概念がないのでは。
深層学習させる元データが事実とされる物にも揺らぎがあり、視点によって変わるというのは人間は理解出来ているけど立場なんかを理解させる事なんて現状では不可能。その事実の揺らぎが嘘になるのだけど、その嘘の量が増えたら嘘情報を学習するだけ。開発側からするとデータサイエンティストのせいにされそうだけど、そうなると学習量が減るジレンマになる。
実は深層学習の最近あったブレイクスルーって、ある一定のレベルを越えると学習効率が一気に平坦化して学習が進まないのだけど、それを継続し続けると再び学習効果が上がるという謎現象がある。実は嘘データを作成するコツを学んだだけだったりしてな。
嘘情報を取り入れてるんじゃなくてある単語や文章に対して、次にどんな言葉が現れやすいか？を大量に学習して吐き出しているにすぎない。チャット方式で教えてくれるので知能があると勘違いしますが、 人工無能にカテゴライズされるはず。
あ嘘つきました人工無脳に会話から学習する機能が付くと人工知能になるらしいです。ヒトのように一貫した論理性や高度な思考プロセスが無い以上、無脳と変わらないと感じますが。
> ヒトのように一貫した論理性や高度な思考プロセスこれって笑うところですか?地動説が迫害されるような事って何度でも繰り返すんだな
ああごめん、レスの1行目と2行目は関係ないんだ。失礼した。
ハルシネーションという現象だよ。元データに十分な情報量がない場合に周囲からそれらしい断片を寄せ集めて対話として「噛み合う」ようにするがその情報が十分に正確ではないのはごく普通にある。言語モデルとして構築したものは言語として自然なものを生成するのであって専門分野の知識を体系的に持っているわけではないんだ。
訓練されていない人間は人間同士でのやりとりでも流暢さと正しさを混同するので当たり前のようにスッと出されると騙されてしまうという人間側の性質もある。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
私はプログラマです。1040 formに私の職業としてそう書いています -- Ken Thompson
どこからウソ情報を取得しているのか (スコア:0)
「アンコリーノ」もそうだけど、世の中のどこにもないウソ情報をChatGPTはどうやって出してくるんだろ
検索エンジンみたいにネット上の情報から学習してるんだと思ってたんだけど違うのか
Re:どこからウソ情報を取得しているのか (スコア:2)
今回の嘘判例がどんなのかわからないけど、
(判例A+判例B+判例C)/3みたいなことやってんじゃないのかな?
登場人物とか企業名とか日時とかがごっちゃになっているんじゃないかなと推測。
Re: (スコア:0)
学習の粒度が違うんだろう。
意味のあるひとつづきの文章じゃなくて単語単位、下手すると文字単位でパッチワークしてる。
Re:どこからウソ情報を取得しているのか (スコア:1)
画像生成AIのことをツギハギコラって言うと擁護厨が原理が違う！お前は無知でバカ！って飛んでくるけど
実際の現物の動作としてはそれ以外に説明しようがないよね
「\nアン」「アンコ」「ンコ」「コリーノ」なんかどれも続く確率が極めて高い
「そうだけど、」に「世の」「の中の」「中のどこにも」「どこにもない」「ない情報」が続く確率も割と高い
じゃあ連続的にこれをループさせたら「そうだけど世の中のどこにもない情報だけど情報どこにもないですね」
みたいな文章になるのは全くおかしくない
でもそういうマルコフ連鎖もどきでちゃんと文章が書けるのは意味不明なんだよなぁ…魔法か何かかと
Re:どこからウソ情報を取得しているのか (スコア:1)
魔法でも何でもなく、人間自身がそうやってフィーリングで喋りまくってるだけだろう
ここの連中だって「～中」と言いたい時には善し悪し問わずいちいち「絶賛」を付ける
そこに意味など微塵もない
Re: (スコア:0)
そんなのがツギハギコラだったらこの世の物質なんか全てツギハギコラになっちゃう
構成要素のサイズで組み立てなおされたらもはやツギハギでもコラでもないんよ
学習とその結果っていうの
Re: (スコア:0)
まだ全部読んでいないけど今月号のニュートン [newtonpress.co.jp]のChatGPT特集で、次に来る単語を予測しながら回答を作っているとあった。
ここ [chatgpt-lab.com]にも同じようなことが書いてある。
Re: (スコア:0)
今のAIは体裁を整えるのがものすごい上手い
よくある体裁は正しい前提でよくある体裁を継ぎ接ぎして文を作る
中身も体裁を整えるのと同じように継ぎ接ぎして作ってくれるので
正しいパーツを寄せ集めて一見正しそうなウソ情報を作る
Re: (スコア:0)
ChatGPTってそもそもが人間っぽい文章や会話を生成するためのシステムであって
正しい情報を答えるものじゃないからね。
大量に文章や会話を学習した事で(高い確率で)偶然正しい事を答えてるだけの話。
正しい正しくないという判断基準が存在しないし
間違ってると指摘すると謝るのも確率的にそれっぽい対応をしてるだけ。
文書力や会話力が有るからもっもとらしく嘘をつく能力は優れてるといえるかも。
Re: (スコア:0)
ケーススタディとして設定された架空の事例を、実在のものと判断しちゃったとか？
Re: (スコア:0)
まず、何度も言われているけど言語モデルは文章を理解するわけではない。
それっぽい文章の作り方を覚えるだけ。
GPTには受け答えを自然に見せるために文章を作る語の候補を上位からランダムに選ぶ機能があるらしい
それがウソのもとになってるのではないかな。
今のモデルのままではウソをなくすことはできないよ。
Re: (スコア:0)
ネット上の情報から学習しているからこそでしょう。
人間ですらネット上の情報だけだと偏った知識で騙されるので、
最終的な一次情報として書籍等に頼るわけで、
ChatGPTだけがそこからうまいこと逃げられる理由はありませんし。
言い換えれば、ChatGPTは「ひろゆきの最終進化形」だと思えば良いのです。
Re: (スコア:0)
部分部分では嘘ではないが、全体としては嘘になってしまうのだろう。というか彼らには嘘という概念がないのでは。
Re: (スコア:0)
深層学習させる元データが事実とされる物にも揺らぎがあり、視点によって変わるというのは人間は理解出来ているけど
立場なんかを理解させる事なんて現状では不可能。
その事実の揺らぎが嘘になるのだけど、その嘘の量が増えたら嘘情報を学習するだけ。
開発側からするとデータサイエンティストのせいにされそうだけど、そうなると学習量が減るジレンマになる。
実は深層学習の最近あったブレイクスルーって、ある一定のレベルを越えると学習効率が一気に平坦化して
学習が進まないのだけど、それを継続し続けると再び学習効果が上がるという謎現象がある。
実は嘘データを作成するコツを学んだだけだったりしてな。
Re: (スコア:0)
嘘情報を取り入れてるんじゃなくて
ある単語や文章に対して、次にどんな言葉が現れやすいか？を大量に学習して吐き出しているにすぎない。
チャット方式で教えてくれるので知能があると勘違いしますが、 人工無能にカテゴライズされるはず。
Re: (スコア:0)
あ嘘つきました
人工無脳に会話から学習する機能が付くと人工知能になるらしいです。
ヒトのように一貫した論理性や高度な思考プロセスが無い以上、無脳と変わらないと感じますが。
Re: (スコア:0)
> ヒトのように一貫した論理性や高度な思考プロセス
これって笑うところですか?
地動説が迫害されるような事って何度でも繰り返すんだな
Re: (スコア:0)
Re: (スコア:0)
ああごめん、レスの1行目と2行目は関係ないんだ。失礼した。
Re: (スコア:0)
ハルシネーションという現象だよ。
元データに十分な情報量がない場合に周囲からそれらしい断片を寄せ集めて対話として「噛み合う」ようにするがその情報が十分に正確ではないのはごく普通にある。
言語モデルとして構築したものは言語として自然なものを生成するのであって専門分野の知識を体系的に持っているわけではないんだ。
訓練されていない人間は人間同士でのやりとりでも流暢さと正しさを混同するので当たり前のようにスッと出されると騙されてしまうという人間側の性質もある。