「ChatGPT・Bing AI Chat・NotionAI」それぞれの特徴や違いを5つの観点から評価
昨今、ChatGPTなどのAiChatが話題になっています。
そこで今回は、3つのAiChatを5つの観点で比較してみました。
| ChatGPT（3.5） | Bing AI Chat | NotionAi | |
| 情報の具体性 | ◎ | △ | △ |
| 法律観点 | × | × | △ |
| 構成作成力 | ◎ | △ | 〇 |
| ユーザー補助 | × | ◎ | 〇 |
| 情報の最新性 | △（3.5のためなんとも言えない） | ◎ | 〇 |
以下で、それぞれの実際に調べた内容を元に、解説していきます。
情報の具体性
情報の具体性についてAIに質問してみました。
質問内容は「東京の渋谷駅から近いおすすめのラーメン屋」のみです。
結論、情報が具体的だったのは「ChatGPT」でした。
それぞれのAIによる回答を見ていきましょう。
ChatGPT
ChatGPTでは、3つのお店を紹介してくれました。
お店を紹介するだけではなく、以下の情報も具体的に回答してくれています。
- 渋谷駅からのアクセス
- お店のラーメンの特徴
- 店内の特徴
ここまで具体的に回答してくれるのであれば、再度googleで検索する必要はないでしょう。
Bing AI Chat
Bing AI Chatでは、6つのお店を紹介してくれました。
ただし、ChatGPTのように具体性はありません。
どんな味でどんな店内なのかわからないので、この情報だけでは決め手に欠けます。
結果的に、再度お店を検索して情報を探さなければいけません。
Notion AI
NotionAIでは、3つのお店を紹介してくれました。
具体的な情報については、駅から徒歩5分以内という部分だけです。
どのようなラーメンか、どのような店内かはわかりません。
また「どの店舗も美味しいラーメンが食べられると評判です」という一文も、信ぴょう性に欠けます。
法律観点
法律に関する情報の正確性について、比較してみました。
質問内容は「交通事故のお見舞金を受け取ると、損害賠償金に変化はありますか？」です。
回答から述べると、「原則として、お見舞金を受け取ったとしても損害賠償金が減ることはない」とされています。
しかし、お見舞金が高額であったり、損害の補填として認められたりした場合には、損害賠償金が減ってしまう可能性があります。
これは「交通事故 見舞金 損害賠償金」という検索ワードで検索した際に、上位サイトであればほとんどの場合に記載されている情報です。
ただし、AIChatでは、いずれもそこまでの内容は記載されていませんでした。
そのため、法律の正確性という点においては、どのAI Chatも参考にはならないと言えるでしょう。
以下で、3つのAI Chatの内容を紹介していきます。
ChatGPT
ChatGPTでは、質問に対して「変化はない」との回答でした。
この内容だけでは、「完全に影響がない」と誤解を生んでしまうため、正確な情報とは言えません。
Bing AI Chat
Bing AI ChatもChatGPTと同様で、質問に対して「変化はない」との回答でした。
ChatGPTと同様で、この内容だけでは誤解が生じてしまいます。
NotionAI
NotionAIは、質問に対して「変化はない」とした上で、「影響することがある」と回答しています。
求めている回答と比べると情報は薄いものの、ChatGPTやBing AI Chatよりはやや正解に近いと言えるでしょう。
しかし、NotionAIの回答についても、誤解が生じる可能性があり、そのままの内容を記載するのは良いとは言えません。
構成作成力
3つのAI Chatに対して「記事の構成を作成してください」と入力してみました。
入力内容は「webライターの仕事について記事を書きたいので、構成を作成してください。大見出しは1や2、小見出しは1-1、1-2のように作成してください」です。
結論、構成作成力が長けていると言えるのは、ChatGPTでした。
それぞれの回答を見ていきましょう。
ChatGPT
ChatGPTでは、最も長い構成を作成してくれました。
「webライター」の記事を作成するために必要な基本的な構成は揃っています。
オリジナルのコンテンツなどはないものの、ユーザーが気になる情報を網羅できる構成と言えるでしょう。
Bing AI Chat
Bing AI Chatは、単純に回答が見にくく表示されました。
構成については、可もなく不可もなくというところです。
ChatGPTやNotionAIが縦書きのところ、Bing AI Chatだけはなぜか横書きでした。
内容については、最低限の情報はあるものの、少し物足りなさを感じます。
「スキル」については2つあるので、構成を作成する上では、使えないと感じました。
NotionAI
NotionAIは、構成の具体性については良いと感じました。
基本的に入れておきたい内容が入っている上に、必要なスキルが細かく分けられています。
情報量は少ないですが、ChatGPTの内容と組み合わせれば、良い構成が作れるかもしれません。
ユーザー補助
ユーザー補助では、「入力した内容に対して回答する以外に、どのようなことをしてくれるか？」という点で、比較してみました。
今回、「AIについて教えてください」という内容にしましたが、質問内容に意味はありません。
ChatGPT
ChatGPTについては、質問内容に対して回答するだけであり、その先の行動を促すような機能はありません。
Bing AI Chat
Bing AI Chatは、個人的に最も使いやすいと感じています。
- 情報の参考サイトが記載されている
- 関連キーワードが自動で表示される
上記の2点は、他のAIChatにはない機能です。
NotionAi
NotionAiは、質問者というよりも、ライターに対して嬉しいサポートがあると感じました。
上記のように「続きを書く」「長くする」などの項目があり、それぞれを選ぶと、より詳細な文章を書いてくれます。
情報の最新性
情報の最新性については、「琴線に触れる株式会社について教えてください」と、弊社の名前で調べてみました。
弊社は2022年7月に創業した会社ではありますが、「琴線に触れる株式会社」と入力すれば、1位に表示されますし、同じ名前の会社は存在しません。（2023年5月時点）
つまり、弊社の情報が出てこないAIChatは最新の情報をキャッチできていないと言えます。
ただし、ChatGPTについては3.5verで試しているため、GPT-4にした場合は、出てくる可能性があります。
ChatGPT
ChatGPTでは、的外れな回答が出てきました。
上記のように、弊社の情報が出てこないどころか「琴線に触れる」の言葉の意味も解説しています。
あくまで質問は「琴線に触れる株式会社について教えてください」なので、求めている回答とはズレています。
Bing AI Chat
Bing AI Chatは、しっかりと弊社の情報が出てきました。
弊社の情報だけではなく、サービス内容などの関連ワード、参考サイトのURLも出てくるので、企業側からすると嬉しい回答です。
NotionAi
NotionAIについては、全く別の「株式会社琴線」という会社の情報が出てきました。
実際に検索してみたところ、「株式会社琴線」という会社は確認できましたが、細かい事業内容までは確認できませんでした。
そのため、NotionAIの情報が正確であるかどうかは判断できません。
ただし、あくまで質問内容は「琴線に触れる株式会社について」なので、最新の情報をキャッチできていないと言えます。
AIChat総評
今回の内容をもとに、個人的にランクをつけるのであれば、以下のようになります。
- Bing AI Chat
- ChatGPT
- Notion AI
個人的には、Bing AI Chatのユーザー補助が優れているので、その点で高く評価しています。
しかし、使い方によってはChatGPTの方が向いている場合もあります。
構成を作成したり、具体的な内容を作成したりする点では、ChatGPTの方が優れていると言えるでしょう。
また、今回はChatGPT3.5なので、GPT-4にした場合は結果が変わるかと思います。
いずれにしろ、2023年5月時点では、「AI Chatに記事作成をすべて任せるのは難しそう」という感想を持ちました。
それぞれを組み合わせて使えば比較的良い文章に仕上がるかもしれませんが、それでも、人の手でリサーチしたり文章を作成したりする必要は、まだまだありそうです。
