使用阿里云试用Elasticsearch学习：sentence-transformers 包使用

时间：2024-04-20 11:11:37

环境：centos8，windows坑太多。

一、检查linux环境openssl哪个版本（如果是OpenSSL 1.1.1k+ 直接跳过）

[root@hecs-334217 python39]# openssl version
OpenSSL 1.0.2k-fips  26 Jan 2017

原因后续会出麻烦，遇到这种情况最好换一个系统，不然浪费时间：

# Ensure that Python is compiled with OpenSSL 1.1.1+
# If the 'ssl' module isn't available at all that's
# fine, we only care if the module is available.
try:
    import ssl
except ImportError:
    pass
else:
    if not ssl.OPENSSL_VERSION.startswith("OpenSSL "):  # Defensive:
        warnings.warn(
            "urllib3 v2 only supports OpenSSL 1.1.1+, currently "
            f"the 'ssl' module is compiled with {ssl.OPENSSL_VERSION!r}. "
            "See: https://github.com/urllib3/urllib3/issues/3020",
            exceptions.NotOpenSSLWarning,
        )
    elif ssl.OPENSSL_VERSION_INFO < (1, 1, 1):  # Defensive:
        raise ImportError(
            "urllib3 v2 only supports OpenSSL 1.1.1+, currently "
            f"the 'ssl' module is compiled with {ssl.OPENSSL_VERSION!r}. "
            "See: https://github.com/urllib3/urllib3/issues/2168"
        )

安装openssl11

sudo yum install openssl11

备份并删除原openssl

sudo mv /usr/bin/openssl /usr/bin/openssl_backup
sudo rm /usr/bin/openssl

软链

sudo ln -sf /usr/bin/openssl11 /usr/bin/openssl
sudo ln -sf /usr/lib64/libcrypto.so.1.1k /usr/lib64/libcrypto.so
sudo ln -sf /usr/lib64/libssl.so.1.1k /usr/lib/libssl.so

二、python3.9.9 安装

下载地址
linux选这个：Gzipped source tarball
安装包
将下载好的安装包放到指定服务器

# 不建议速度太慢
wget https://www.python.org/ftp/python/3.9.9/Python-3.9.9.tgz

下面这个依赖一定要安装，不然后面会出现乱七八糟缺少以来的问题，比如：_ctypes 模块不存在

sudo yum install gcc openssl-devel bzip2-devel libffi-devel zlib-devel
  1. 解压缩源代码
    将下载的压缩包解压缩到你希望安装 Python 的目录。你可以选择在 /usr/local 目录下创建一个新目录，例如 python39，并将源代码解压缩到该目录中。
sudo tar -zxvf Python-3.9.9.tgz
sudo mv Python-3.9.9 /usr/local/python39/
  1. 配置和编译： 进入解压后的 Python 源代码目录，并执行以下命令来配置 Python 的编译选项和编译源代码：
cd /usr/local/python39
./configure --enable-optimizations
make -j$(nproc)

–enable-optimizations 参数会在编译时应用一些优化，这可能会增加编译时间。

  1. 安装： 编译完成后，执行以下命令来安装 Python：
sudo make altinstall

使用 altinstall 而不是 install 选项可以防止覆盖系统默认的 Python 版本。

  1. 验证安装： 安装完成后，你可以使用以下命令来验证 Python 的安装：
python3.9 --version

三、验证

下载对应的包

pip-tools
flask
python-dotenv
elasticsearch
sentence-transformers

启动python3：

from sentence_transformers import SentenceTransformer
model = SentenceTransformer('all-MiniLM-L6-v2')
embedding = model.encode('The quick brown fox jumps over the lazy dog')
print(embedding )

四、远程解释器出错

generator3/main.py

五、连接不到 https://huggingface.co

参考：https://blog.****.net/m0_65609016/article/details/134020029

原因：外网访问不到

在这里插入图片描述

解决：直接去官网把模型下载下来，all-MiniLM-L6-v2

在这里插入图片描述

将参数替换为模型的本地路径

在这里插入图片描述

成功：

在这里插入图片描述

相关文章