2023年12月7日にリリースされたばかりのGeminiを触ってみたので、ChatGPTとの比較も含めてまとめてみました。
Geminiとは、Googleが開発した対話型AIのBardに新たに組み込まれた言語モデルのことです。
今回は一般公開されているGemini Proの検証になりますが、来年リリースされるGemini Ultra(Proの大幅強化版)は数値上では、あのChatGPTに対して32項目中30項目で勝利しているようです。
ではさっそくGeminiの使い方から説明していきます。
Geminiの使い方
使い方は簡単で、Googleアカウントの言語設定を英語にするだけでGeminiを利用することができます。
まずはBardのページにアクセスし、右上のアカウントをクリック。
次に、「個人情報」→「言語」を選択し、メイン言語をEnglishに設定します。
設定はこれで以上です。
あとは、Bardのページにアクセスし、英語になっていればOKです。
特に「Geminiのモードを選択する」みたいなものはなく、デフォルトで搭載されているタイプです。
Gemini ProとUltraの違い
Gemini ProとUltraの違いについて簡単にまとめてみました。(Ultraの情報は分かり次第追記していきます。)
Gemini Pro | 料金:無料 機能:テキスト/画像/音声(2023年12月8日時点) MMLU:79%(数学、物理学、歴史など57科目の問題解決テスト結果) ポイント:画像分析レベルはGPT-4よりは優れている。人物画像の分析は不可(2023年12月8日時点) |
Gemini Ultra | 料金:不明 機能:不明 MMLU:90% ポイント:画像分析レベルが異次元の高さ |
※Gemini Ultraはまだ使えません。
こちらは、各モデルの評価値を表形式にしたものです。
Gemini Ultraにできること
現在Gemini Ultraは、画像認識能力がずば抜けています。
こちらが今話題のGemini UltraのYoutubeです。
※Gemini Ultraはまだ利用できません。来年度リリース予定のようです。
手書き絵からの推測
こちらは、アヒルの手書き絵を見て、水面で泳いでいるアヒルと回答しています。
画像からクイズ出題
こちらは簡単なクイズをGeminiが出題してくれています。
世界地図の画像送ると、カンガルー、コアラ、サンゴから連想される国はどこでしょう?という問題を出してくれています。
動画からジャンケンを理解
ジャンケンの手(グー、チョキ、パー)のみを動画で見せたところ、ジャンケンであることを理解しています。
特定の色から同配色の動物を回答
こちらは、毛糸の色から連想される動物を答えています。
画像から危機判断
こちらはアヒルのおもちゃと手書きのアヒルが仲間であることを認識した上で、どちらに進むのが正しいのか回答しています。
画像から音楽生成
こちらは手書き絵の楽器を理解し、それらを組み合わせるとどういう音楽になるのか音声ファイルを送ってくれています。
ChatGPT4とGemini Proの比較
以下の4つの項目においてChatGPTと比較してみました。
- 画像分析(グラフ)
- 画像分析(人物)
- Youtubeの内容要約
- コーディング能力
- 計算力
画像分析(グラフ)
霞ヶ関のパワポを解説してもらいました。
結果は、Gemini Pro > ChatGPT4
Gemini Pro | 資料内容を理解し、要約した回答を送ってくれる |
ChatGPT | タイトル、真ん中には何が書いてるなど当たり前の回答を送ってくる |
ChatGPTの結果
Gemini Proの結果
画像分析(人物)
AIで生成した人物画像の解説をしてもらいました。
結果は、ChatGPT4 > Gemini Pro
Geminiが人物画像の分析ができないようなので、2023年12月8日時点では、ChatGPTに軍配があがります。
Gemini Pro | 人物画像はまだ生成できないようです。 |
ChatGPT | 人物や部屋に置かれているものなどの分析も丁寧にできていました。 |
↓今回使用した人物画像
ChatGPTの結果
Gemini Proの結果
Youtubeの内容要約
Geminiについて語っているYoutubeの要約を依頼してみました。
結果は、Gemini Pro > ChatGPT4
Gemini Pro | URLから動画内容を学習し、正確に要約を行なってくれました。 |
ChatGPT | 動画URLを閲覧できず要約してくれませんでした |
↓入力したプロンプト
Summarize the content of this Youtube in Japanese
https://www.youtube.com/watch?v=jV1vkHv4zq8
ChatGPTの結果
Geminiの結果
コーディング
このAIの島のサイトのタイトルをスクレイピングするコードを書かせてみました。
結果は、Gemini Pro >= ChatGPT4
Gemini Pro | コードの生成速度が非常に速くかつ全てのタイトルのスクレイピングもできていました。 |
ChatGPT | タイトル取得はできていたものの、1つのタイトルしか取得してくれなかったので、もう少し細かい指示が必要だったようです |
↓入力したプロンプト
Write code to scrape the contents of the article title (class="heading heading-secondary") in "https://ai-island-media.com/" in python.
ChatGPTの結果
import requests
from bs4 import BeautifulSoup
# The URL of the website you want to scrape
url = "https://ai-island-media.com/"
# Send a GET request to the website
response = requests.get(url)
# Check if the request was successful
if response.status_code == 200:
# Parse the content of the page with BeautifulSoup
soup = BeautifulSoup(response.content, 'html.parser')
# Find the article title using its class name
article_title = soup.find('h2', class_='heading heading-secondary').get_text()
print("Article Title:", article_title.strip())
else:
print("Failed to retrieve the webpage. Status code:", response.status_code)
Geminiの結果
from bs4 import BeautifulSoup
import requests
# Get the webpage content
url = "https://ai-island-media.com/"
response = requests.get(url)
# Parse the HTML content
soup = BeautifulSoup(response.content, "html.parser")
# Find all elements with the specified class
heading_elements = soup.find_all("h2", class_="heading heading-secondary")
# Extract the text from each element and store in a list
heading_texts = []
for element in heading_elements:
heading_texts.append(element.text.strip())
# Print the extracted texts
for heading_text in heading_texts:
print(heading_text)
こんな感じでタイトルを全て出力してくれました
計算力
2023年東大の確率問題を解かせてみました。
結果は、ChatGPT4(正解) > Gemini Pro(誤回答)
Gemini Pro | 計算してくれたものの計算結果が間違っていました。 |
ChatGPT | 計算結果が0.2545と見事正解していました。 |
↓入力したプロンプト
Remove one ball at a time from a bag containing 3 black balls, 4 red balls, and 5 white balls, and arrange all 12 balls in a horizontal line in the order in which they were removed. However, the probability that an individual ball is removed from the bag is assumed to be equal.
(1) Find the probability p that none of the red balls are adjacent to each other.
ChatGPTの結果
Geminiの結果
まとめ
今回はGemini Proの使い方やGPT4との比較を行いましたが、画像分析や、動画URLなど使い所によってはGemini Proの方が優れていることがわかりました。来年にはGemini Proよりさらに膨大なデータ学習をさせたGemini Ultraがリリースされるようです。Proでこの精度ならUltraはどうなるのでしょうか…笑
GPT-4/Gemini Pro/Gemini Ultraのまとめ表
モデル名 | GPT-4 | Gemini Pro | Gemini Ultra |
画像分析(グラフ) | ○ | ◎ | 不明 |
画像分析(人物) | ◎ | △ | 不明 |
Youtube内容要約 | △ | ◎ | 不明 |
コーディング能力 | ○ | ◎ | 不明 |
計算力 | ◎ | △ | 不明 |
Ultraリリース後、最速で解説記事をアップするので、よければブックマークしといてもらえると嬉しいです。