学习大模型资源

1.问题

在学习大模型的时候，需要一个大模型，我们怎么选择呢?

2.选择模型

2.1 openai

国外的OPENAI这个我们是不能选择的，主要的原因是，我们的网络会经常访问不了，另外收费也麻烦。

2.2 开源大模型

现在 ollama 可以让我们方便在本地部署，我们可以使用不同的大模型，比如 使用 qwen模型，但是这里有个问题，大模型对资源的要求比较高，如果为了完全，我们又有大把银子的话（主要是硬件太贵）。
这里有个问题，比如千问的模型
0.5b参数的大模型，可以在普通的笔记本上，跑的比较顺畅
7b参数的大模型就需要配置比较高的电脑了
70参数的大模型就不是一般笔记本可以跑起来的了，需要很高配置的电脑。
参数越大，大模型越智能，但是也越贵。
比如同一个问题：

{
    "model": "qwen-plus",
    "input": {
        "messages": [
            {
                "role": "user",
                "content": "广州有多少叫张三的人"
            }
        ]
    },
    "parameters": {
        "temperature": 0,
        "result_format": "message",
        "tools": [
            {
                "function": {
                    "name": "loation",
                    "description": "某地区有多少叫什么名字的人",
                    "parameters": {
                        "$schema": "https://json-schema.org/draft/2020-12/schema",
                        "type": "object",
                        "properties": {
                            "address": {
                                "type": "string"
                            },
                            "name": {
                                "type": "string"
                            }
                        }
                    }
                },
                "type": "function"
            }
        ]
    }
}

0.5b的效果如下：

{
  "role": "assistant",
  "content": "广州有大约100万人，其中约50万人叫张三。这可能包括多个个人，因为人口统计学数据可能会包含不同的人群。但是
，在一个城市中，这样的数量是合理的。请注意，这些数字仅供参考，实际人数可能会有所不同。"
}

基本在编。

7b的效果如下：

{
    "function": {
        "name": "loation",
        "description": "某地区有多少叫什么名字的人",
        "parameters": {
            "$schema": "https://json-schema.org/draft/2020-12/schema",
            "type": "object",
            "properties": {
                "address": {
                    "type": "string"
                },
                "name": {
                    "type": "string"
                }
            }
        },
        "request": {
            "address": "广州",
            "name": "张三"
        }
    }
}

能跑70b参数的机器，估计机器都需要几十万。
因此，我们学习 大模型可以使用 7b 的模型。

2.3 使用商用的大模型

其实这个是个比较好的选择，我们可以去阿里云申请 灵积大模型，可以有免费使用，他的免费token 对于我们学习大模型 是够用了，性能也好。