当前位置: 首页 > news >正文

wordpress 加载 蛮广州网站优化多少钱

wordpress 加载 蛮,广州网站优化多少钱,自己做视频网站用cdn那个便宜,先做网站还是先收集样品此demo是自己提的一个需求:用modelscope下载的本地大模型实现RAG应用。毕竟大模型本地化有利于微调,RAG使内容更有依据。 为什么要用RAG? 由于大模型存在一定的局限性:知识时效性不足、专业领域覆盖有限以及生成结果易出现“幻觉…

此demo是自己提的一个需求:用modelscope下载的本地大模型实现RAG应用。毕竟大模型本地化有利于微调,RAG使内容更有依据。

为什么要用RAG?

由于大模型存在一定的局限性:知识时效性不足、专业领域覆盖有限以及生成结果易出现“幻觉”问题,需要通过结合实时数据和专业知识提升生成内容的准确性、时效性和可信度。‌‌检索增强生成(RAG)的核心价值在于弥补大模型固有缺陷

一个简单样例

加载本地大语言模型和embedding模型,读取指定目录下的文档

import os
import chromadb
from modelscope import snapshot_download
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.core.node_parser import SimpleNodeParser
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.llms.huggingface import HuggingFaceLLM
from llama_index.core.base.llms.types import ChatMessage
from llama_index.vector_stores.chroma import ChromaVectorStore
# llamaindex中文网站 https://www.aidoczh.com/llamaindex/module_guides/index.html
# https://docs.llamaindex.ai/en/stable/use_cases/
from dotenv import load_dotenv
load_dotenv(dotenv_path=".env")
cache_apath = os.path.join(os.getcwd(), 'cache')
os.environ["TRANSFORMERS_CACHE"] = cache_apath
os.environ["HF_HOME"] = cache_apath
os.environ["MODELSCOPE_CACHE"] = cache_apathllm_model_name = "Qwen/Qwen2.5-0.5B-Instruct" # "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B" #
llm_model_path = os.path.join(cache_apath,*llm_model_name.replace(".","___").split('/'))
# llm_model_path = snapshot_download(llm_model_name, cache_dir=cache_apath) # 从modelscope下载大模型# 下载并指定sentence-transformers模型
sentence_transformers_name = 'sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2'
embedding_model_path = os.path.join(cache_apath,*sentence_transformers_name.replace(".","___").split('/'))
# embedding_model_path = snapshot_download(sentence_transformers_name, cache_dir=cache_apath) # 从modelscope下载大模型# 初始化HuggingFaceEmbedding对象,用于文本向量转换
embed_model = HuggingFaceEmbedding(model_name=embedding_model_path)
Settings.embed_model = embed_model# 加载本地HuggingFace大模型
llm = HuggingFaceLLM(model_name=llm_model_path,tokenizer_name=llm_model_path,model_kwargs={"trust_remote_code": True},tokenizer_kwargs={"trust_remote_code": True}
)
#‌设置全局LLM属性‌
Settings.llm = llmstore_vector2Chroma = True
#从指定目录读取文档,将数据加载到内存
documents=SimpleDirectoryReader(r"source\data1").load_data()

文档可以加载到内存 或者 向量数据库里(chroma或者FAISS等)

加载到内存然后检索的范例

#创建一个VectorStoreIndex,并使用之前加载的文档来构建向量索引#此索引将文档转换为向量,并存储这些向量(内存)以便于快速检索
index=VectorStoreIndex.from_documents(documents)# 创建一个查询引擎,这个引擎可以接收查询并返回相关文档的响应。
query_engine =index.as_query_engine()
rsp = query_engine.query("文章里相关的问题写在这里")
print(rsp)

加载到chroma的范例

# 定义向量存储数据库
chroma_client = chromadb.PersistentClient()
chroma_collection = chroma_client.get_or_create_collection("data1vector")
vector_store = ChromaVectorStore(chroma_collection=chroma_collection)
# 创建节点解析器
node_parser = SimpleNodeParser.from_defaults(chunk_size=512, chunk_overlap=100)
# 将文档分割成节点
base_node = node_parser.get_nodes_from_documents(documents=documents)
# print(base_node)
index = VectorStoreIndex(nodes=base_node)
# index = VectorStoreIndex.from_documents(documents=documents) # 可以替代上面3句
# 将索引持久化到本地的向量数据库
index.storage_context.persist()
# 创建一个查询引擎,这个引擎可以接收查询并返回相关文档的响应。
query_engine =index.as_query_engine()
rsp = query_engine.query("文章里相关的问题写在这里")
print(rsp)

chroma官网提供的API不是很多,但是llama_index、langchain等进行封装,封装得很好

文档尽量按照功能分为不同的小文件,生成的向量json文件有对应每部分metadata的描述,如此query的结果可以找到对应文章的哪几部分,内容是什么

http://www.hengruixuexiao.com/news/5569.html

相关文章:

  • 戒烟网页设计作品欣赏知名的seo快速排名多少钱
  • 山东住房与城乡建设网站上海网络推广
  • 做网站要注册商标360优化大师最新版下载
  • 枸杞网站怎么做跨境电商平台
  • 石家庄seo关键词优化软件哪家好
  • 北京html5网站建设seo零基础视频教程
  • 深圳易捷网站建设类聚seo
  • 郑州网站优化软件沈阳专业关键词推广
  • 网站变灰色代码网站搜索排名
  • 巨鹿做网站哪家好商家推广平台有哪些
  • 技术支持 淄博网站建设内容营销策略
  • 手机餐饮网站开发百度收录要多久
  • 南阳网站建设价格编程培训班学费一般多少钱
  • 全国企业信用信息公示系统网站石家庄网站建设培训
  • 动态网站怎么做搜索框高德北斗导航
  • 一级域名网站seo排名优化seo
  • 男女做暖暖到网站软件开发外包公司
  • 个人做电影网站赚钱吗售卖链接
  • 教研网站建设方案百度手机助手官网
  • 哈尔滨做网站电话百度人工客服
  • 买表去哪个app是正品兰州搜索引擎优化
  • 品牌建设的阶段和步骤是什么seo接单平台有哪些
  • 公司网站营销韩国日本比分
  • 网站建设分析方法写软文
  • 成品源码1988网站seo的内容是什么
  • 兰州易天网站建设公司有哪些?seo推广排名公司
  • 微信开放平台是干嘛的宁波seo外包方案
  • html5 wordpress模板北京seo网络优化招聘网
  • 危险网站解除拼多多女装关键词排名
  • 研究生核心课程建设网站如何做好线上营销