LLM私有化部署
有许多的客户有私有化部署LLM的需求，但是我没做过，网上的资料也比较有限
所以我就制定了一个 aks 部署 llm 应用的实验规划纲领，计算一下学习的成本
以及部署的步骤
成本估算
初步计划是在 Azure 平台，使用 AKS，node节点采用 4台1xA100的机型来部署LLM
使用 Azure Spot Virtual Machines，采用的机型为 NC24ads A100 v4
每小时的成本大概在: $$ 1.06 * 4 = 4.12 \space $/h $$
架构图大概如下: