当前位置: 首页 > news >正文

网站设计需要多少费用全网最全搜索引擎app

网站设计需要多少费用,全网最全搜索引擎app,珠海网页设计公司,网站公告模板代码一、背景 【DeepSeek 深度求索】这个春节给了世界一个重磅炸弹,弄得美国都睡不好觉。这次与以往不同,之前我们都是跟随着美国的AI人工智能,现在DeepSeek通过算法上的优化,大大降低了训练模型所需的成本以及时间,短期造…

一、背景

        【DeepSeek 深度求索】这个春节给了世界一个重磅炸弹,弄得美国都睡不好觉。这次与以往不同,之前我们都是跟随着美国的AI人工智能,现在DeepSeek通过算法上的优化,大大降低了训练模型所需的成本以及时间,短期造成了英伟达的市值都下跌,美国多方机构直接禁止使用DeepSeek。

        DeepSeek做实事,整个模型进行开源,并且公开了整个训练的论文信息。 这个不像以往某些国内企业,到处鼓吹"国产自研"却不敢开源。开源就是实打实地给大家来进行检验。

        既然是开源那么我们可以方便拿到模型文件、模型部署信息等进行部署、运行。我们也一起来体验一下本地DeepSeek的效果怎么样。

        DeepSeek支持CPU模式以及GPU模式进行运行, 但是大多数情况下随着模型参数越大,越是依赖于GPU的计算能力。 CPU的效果非常差,但是如果没有GPU资源的情况下也可以使用CPU的模式运行,用于学习用途即可,生产环境和训练环境,不会使用CPU进行运算的。

二、工具介绍

1、Ollama工具

        官网地址: Ollama

        Ollama 是一个基于 Go 语言的本地大语言模型运行框架,类 docker 产品(支持 list,pull,push,run 等命令),事实上它保留了 Docker 的操作习惯,支持上传大语言模型仓库 (有 deepseek、llama 2,mistral,qwen 等模型,你也可以自定义模型上传)。

        通俗理解就是,Ollama这个类似Docker的平台工具,方便我们去直接运行各种LLM大模型。不需要我们去了解模型启动、模型参数配置、以及各种依赖以及准备工作。

        只需要类似docker run的方式, 就能直接运行起一个LLM大模型。 是不是很牛批呢!  例如下面就是运行ollama run deepseek-r1:1.5b参数模型的命令:

ollama run deepseek-r1:1.5b

       就是只需要这么一条命令就能将deepseek大模型运行起来,并且进入一个命令行输入框,与模型进行问答对话。

        可以运行的模型类似docker hub一样, Ollama也有网页可以搜索到自己需要部署的LLM大模型。只要以及制作好的大模型,就能进行运行

2、OpenWebUI  可视化工具

        官网: 🏡 Home | Open WebUI

        Open WebUI是一个可扩展、功能丰富、用户友好的自托管AI平台,旨在完全离线运行。它支持各种LLM运行程序,如Ollama和OpenAI兼容的API,内置RAG推理引擎,使其成为一个强大的AI部署解决方案。

        部署了Open WebUI可以自动连接适配如本地部署的DeepSeek等大模型,并且提供了一个web服务,方便我们与大模型进行对话。部署完毕后,效果如下图:        

三、部署DeepSeek

注意: 

        本次部署是基于Centos7并且附带了一张英伟达 V100显卡的服务器。 可以在阿里云进行按量付费,购买GPU服务器, GPU服务器本质上就是在普通的ECS上,通过PCIE卡槽外接了显卡的服务器而已。 然后我们后面可以把大模型需要进行计算的交给GPU而非CPU,仅此而已!

1、安装Ollama工具

1、进入官网,选择对应平台的下载方式进行下载,安装

2、Linux直接采取第二种方式

3、安装Docker环境, 这一步大家自行安装

4、安装CUDA相关驱动, CUDA是一种编程语言,专门用于与GPU进行打交道。如果配置CUDA驱动不当,会导致模型直接使用CPU模式而非GPU模式, CPU模式性能真的非常差,文章后面给大家看下两者的性能差距.

curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \| sudo tee /etc/yum.repos.d/nvidia-container-toolkit.reposudo yum install -y nvidia-container-toolkitsudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

2、Ollama运行DeepSeek

1、先运行ollma服务

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama# -d 容器后台运行
# --gpus=all  运行容器使用GPU资源进行计算
# -v   挂载保存后期pull下载的大模型相关信息,后续如果继续运行,无需重新下载
# -p  映射端口出来, 11434提供RESTFUL API接口, 可以给如OpenWebUI或者其它程序调用进行对话
# --name  为这个容器起一个名字, ollama

2、在ollma容器里面运行大模型, ollama run deepseek-r1:1.5b

docker exec -it ollama ollama run deepseek-r1:1.5b

 

3、Ollama常用命令

4、判断大模型是否使用到GPU资源,执行nvidia-smi命令查看情况

使用了GPU资源的情况:

没有使用到GPU资源,而是使用CPU资源:

5、OpenWebUI组件部署

        这个可以参考官方文档部署即可,很简单,默认8080端口,第一次访问需要注册一个用户。然后会默认连接到本地的大模型。 最后页面如下:

        可以和我们日常一样对大模型进行对话、问答模式。

四、使用CPU模式和GPU模式性能差距对比

        使用GPU加速,相同问题,回答还是11s左右。 但是如果只是使用CPU进行运算,相同问题,模型回答时间长达2分多钟。 性能相差了几十倍! 

        所以为什么英伟达挣的盆满钵满, 因为AI需要强大算力的支持, 否则如果还是停留在CPU进行大模型的训练, 不知要等到猴年马月才出一次训练结果!

DeepSeek使用CPU和GPU模式性能对比

五、总结

        AI人工智能肯定是以后新兴产业,并且触发再一次的工业革命,趋势和潮流势不可挡。就像当初早期刚接触互联网的大佬,站在风口,尝到了甜头。所以后期要根据自己相关工作、学习情况,看下是否能结合AI擦出不一样的火花🔥! 

        我们不一定全部懂AI的全部底层原理,就像我们日常都在用手机一样,你都懂手机的零部件原理吗?你会修手机吗? 你知道手机电话如何打通、短信如何发送的原理吗?

        答案是否定的,明显绝大部分人都不懂,但是不妨碍我们通过手机来解决各种各样的问题,道理类似。

http://www.hengruixuexiao.com/news/39105.html

相关文章:

  • 阿玛尼手表官方网站查询正品网络推广工具和方法
  • 网站的logo怎么上传个人网站模板
  • 2003系统做网站外贸网站有哪些平台
  • 做英文网站内容来源太原网络营销公司
  • 内江市网站建设芭蕉视频app无限次数
  • 下载网站备案的核验单网络推广方案七步法
  • 当今做网站的语言有哪些网站制作代码
  • 制作网站参考案例哪些平台可以做推广
  • 化妆品网站的建设目标搜索引擎是网站吗
  • 怎么做自己地网站最常用的搜索引擎有哪些
  • 网站推广服务nba排名最新排名
  • 如何做好专业类网站故事式的软文广告例子
  • 商品展示介绍网站源码百度sem竞价托管
  • 嘉峪关市建设局网站开发一个网站
  • 做汽车团购的网站建设什么是网络营销含义
  • 美国做的俄罗斯音乐网站网站关键词优化排名技巧
  • 策划书封面网站seo入门基础教程
  • 政府网站建设法律法规苏州优化seo
  • 网页设计与网站建设作业重庆百度整站优化
  • 扁平化网站 源代码目前最好的引流推广方法
  • 网站制作加教程视频线上推广哪个平台最好
  • 蓟州区住房和建设委员会网站怎样推广网站
  • 南京网络程序开发公司seo是什么意思为什么要做seo
  • 东营市房产信息网北京百度seo价格
  • ppt制作最常用软件为什么seo工资不高
  • 有网页源码 怎么做网站三只松鼠网络营销策划书
  • 政府网站建设汇报及时更新神马网站快速排名软件
  • 怎么做微信钓鱼网站网络营销网站推广方案
  • 没有做老千的斗牛网站个人网站建站流程
  • 宜昌做网站的google推广公司