如何白嫖和使用 GitHub models 的 LLM（gpt4o 和 Llama-3.1-405b）

刚刚通过了申请，然后马上去玩了一下 GitHub 提供 LLM，总的来说，Llama-3.1-405b 每天可以用 50 次，gpt4o 150 次！

你需要先申请，然后等着通过。

通过之后，根据你的使用方法来填写 url

• nextchat、oneapi
  • https://models.inference.ai.azure.com/chat/completions#
  • 注：后面的井号不可省略
• lobechat
  • https://models.inference.ai.azure.com

token 的话就是你的 GitHub token。没有 token 的看这里

模型看这里 GitHub models 模型

你可以点进去看每个模型的详细，在右边有显示现在的速率是高还是低

之后你可以通过这里查看对应的限制速率。 GitHub models 速率限制

总的来说，Llama-3.1-405b 每天可以用 50 次，gpt4o 150 次！