Intel oneAPI 2024.x 编译 ABACUS 教程

作者：陈诺，邮箱：cn037@stu.pku.edu.cn

最后更新时间：2024/07/14

Intel OneAPI 工具链

简介

本教程介绍如何使用 oneAPI 2024 工具链编译 ABACUS。

OneAPI Base Toolkit

OneAPI Base Toolkit 提供了一系列基础工具和库，包括 BLAS, LAPACK, ScaLAPACK and FFTW3 等关键组件：

Intel® oneAPI DPC++/C++ Compiler：面向 CPU、GPU、FPGA 的 C++ 编译器。
Intel® oneAPI DPC++ Library：提供并行算法的库。
Intel® oneAPI Math Kernel Library：即 MKL，提供高度优化的数学函数库，包括线性代数、FFT 等。
Intel® VTune™ Profiler：性能分析优化工具。

OneAPI HPC Toolkit

OneAPI HPC Toolkit 是为高性能计算（HPC）特别优化的工具集，它在 OneAPI Base Toolkit 的基础上增加了更多针对 HPC 应用的特性和工具，包括：

Intel® oneAPI DPC++/C++ Compiler：含有 MPI 编译器。
Intel® Fortran Compiler & Intel® Fortran Compiler Classic：Fortran 编译器。
Intel® MPI Library：MPI 库。

安装

可以从官网上获得最新的安装包。安装需要管理员权限。

Download the Intel® oneAPI Base Toolkit

Download the Intel® HPC Toolkit

Offline installer

Base Toolkit

下载

wget https://registrationcenter-download.intel.com/akdlm/IRC_NAS/9a98af19-1c68-46ce-9fdd-e249240c7c42/l_BaseKit_p_2024.2.0.634_offline.sh

安装，可选图形化界面安装

sudo sh ./l_BaseKit_p_2024.2.0.634_offline.sh

或直接在shell中静默安装

sudo sh ./l_BaseKit_p_2024.2.0.634_offline.sh -a --silent --cli --eula accept

HPC Toolkit

下载

wget https://registrationcenter-download.intel.com/akdlm/IRC_NAS/d4e49548-1492-45c9-b678-8268cb0f1b05/l_HPCKit_p_2024.2.0.635_offline.sh

安装，类似

sudo sh ./l_HPCKit_p_2024.2.0.635_offline.sh -a --silent --cli --eula accept

按照默认配置，全局安装目录位于/opt/intel/oneapi。以2024.2版本为例，该目录如下：

➜  oneapi ls
2024.2   basekit  common    dal       dev-utilities  dnnl      dpl     installer  ippcp      logs  modulefiles-setup.sh  setvars.sh   tbb  vtune
advisor  ccl      compiler  debugger  diagnostics    dpcpp-ct  hpckit  ipp        licensing  mkl   mpi                   support.txt  tcm

其中有一些重要的目录和工具，如 2024.2/ 和 installer/

环境变量设置

要使用 oneAPI 提供的编译器和库，需要正确设置环境。

2024.0 及之后的版本，使用了新的目录布局。这导致了和老版本不同的环境配置方式。

参见 Use the setvars and oneapi-vars Scripts with Linux*

和之前的版本相比，由组件目录布局（Component Directory Layout）改为统一目录布局（Unified Directory Layout），新版本的所有组件（bin, lib, include, share）等统一放在以工具包版本号命名的顶级目录中。
在原先的 Component Directory Layout 中，不同的组件有各自的环境变量设置脚本，由一个位于 oneAPI 安装目录的脚本 /opt/intel/oneapi/setvars.sh 统一管理。新版的 Unified Directory Layout 中，每个组件被集中到组件共用的共享文件夹中，即每个组件将其头文件提供给一个公共的 include 文件夹，将其库文件提供给一个公共的 lib 文件夹，以此类推。这样，不同版本工具包之间的切换更容易，无需维护通用的 setvars.sh，而是通过工具包版本号命名的目录提供的脚本 /opt/intel/oneapi/<toolkit-version>/oneapi-vars.sh 设置。
以 2024.2 为例，每次使用 icpx 等编译器之前，需要在 shell 环境中 source 一次脚本：

. /opt/intel/oneapi/2024.2/oneapi-vars.sh
# configure, build, ...

此时，编译器应该被添加到环境中，可以运行命令检查是否正确配置：

# source前
➜  oneapi mpiicpx -v
zsh: command not found: mpiicpx
# source后
➜  oneapi mpiicpx -v
mpiicpx for the Intel(R) MPI Library @IMPI_OFFICIALVERSION@ for Linux*
Copyright Intel Corporation.
Intel(R) oneAPI DPC++/C++ Compiler 2024.2.0 (2024.2.0.20240602)
Target: x86_64-unknown-linux-gnu
Thread model: posix
InstalledDir: /opt/intel/oneapi/compiler/2024.2/bin/compiler
Configuration file: /opt/intel/oneapi/compiler/2024.2/bin/compiler/../icpx.cfg
Found candidate GCC installation: /usr/lib/gcc/x86_64-linux-gnu/11
Selected GCC installation: /usr/lib/gcc/x86_64-linux-gnu/11
Candidate multilib: .;@m64
Selected multilib: .;@m64
icpx: warning: argument unused during compilation: '-I /opt/intel/oneapi/2024.2/include' [-Wunused-command-line-argument]

source 和.命令

. 命令在 POSIX 标准中定义，因此它在所有 POSIX 兼容的 shell 中都应该可用。

source 命令一般情况下是 . 的别名，但在某些环境中不可用。如果脚本不能使用 source，请换成通用的 .

这一步会配置环境变量，但是并不会设定默认的 C++ 编译器。因此，设置了 oneAPI 编译器的环境变量之后，还需要在配置（configure）时指定构建（build）采用的编译器，如 CXX=icpx。

2024.0 开始，原先的 classical 编译器停止使用。

Intel® C++ Compiler Classic Release Notes

请使用新的 icpx/mpiicpx 取代原来的 icpc/mpiicpc。

abacus 安装

依赖库

安装 cereal

sudo apt install libcereal-dev

安装 elpa

在 Ubuntu22.04 等发行版中，可以通过 apt 获取预构建的 elpa 包（pre-build packages）。不幸的是，使用不同的 MPI 库构建 elpa 可能会导致冲突，apt 获取的 elpa 包和 oneAPI 2024.2 在运行时可能出现问题。

/usr/bin/ld: warning: libmpi.so.40, needed by /usr/lib/x86_64-linux-gnu/libelpa.so, may conflict with libmpi.so.12

运行算例时报错：

* * * * * *
 << Start SCF iteration.
Abort(403251971) on node 0 (rank 0 in comm 0): Fatal error in internal_Bcast: Unknown error class, error stack:
internal_Bcast(4152): MPI_Bcast(buffer=0x2c0e960, count=1, INVALID DATATYPE, 1, comm=0xc400001b) failed
internal_Bcast(4112): Invalid datatype
Abort(67707651) on node 1 (rank 1 in comm 0): Fatal error in internal_Bcast: Unknown error class, error stack:
internal_Bcast(4152): MPI_Bcast(buffer=0x2fcdac0, count=1, INVALID DATATYPE, 1, comm=0xc4000013) failed
internal_Bcast(4112): Invalid datatype

因此，我们需要手动利用 oneAPI 工具链构建 elpa。

使用 toolchain

由于 elpa 的编译较复杂，我们可以通过 abacus toolchain 脚本自动构建和安装 elpa。该脚本用 icpx 和 mpiicpc 编译 elpa，同时会默认安装 cereal 和 libxc。

一键配置编译 ABACUS | toolchain 脚本的使用

. /opt/intel/oneapi/2024.2/oneapi-vars.sh
cd abacus-develop/toolchain
./toolchain_intel.sh # 脚本将会用intel工具链安装依赖。

安装完成的库目录为 abacus-develop/toolchain/install.

# 安装完成的库目录为abacus-develop/toolchain/install
 ➜  toolchain git:(develop) ✗ ls install
cereal-1.3.2  cmake-3.28.1  elpa-2023.05.001  libxc-6.2.2  lsan.supp  setup  toolchain.conf  toolchain.env  tsan.supp  valgrind.supp

使用toolchain构建的elpa，在构建abacus时有警告如下，暂未发现影响使用。该问题由scalapack库未指定mkl版本导致，“自行编译安装”方式（见下）无此问题。

参见2.4 Non standard paths or non standard libraries

/usr/bin/ld: warning: libmpi.so.40, needed by /lib/x86_64-linux-gnu/libscalapack-openmpi.so.2.1, may conflict with libmpi.so.12

也可以根据 documentation/INSTALL.md · master · elpa / elpa · GitLab，自行编译安装 elpa。

自行编译安装

自行下载和安装 elpa 到环境中。以 oneAPI 2024.2 和 elpa-2024.05.001 为例。

在官网下载 elpa 包。

wget https://elpa.mpcdf.mpg.de/software/tarball-archive/Releases/2024.05.001/elpa-2024.05.001.tar.gz

tar xvf elpa-2024.05.001.tar.gz

安装脚本，仅供参考。这一步可能需要几分钟。如果运行脚本时显示oneAPI warnings提示已经设置过环境变量并退出，请打开一个新的shell环境，执行安装脚本。最后的make install和ln需要sudo权限，如果无法提供，请手动完成这两步。

#!/bin/bash -e

# buildelpa.sh
# run in elpa main dir

# source oneAPI environments
echo "using oneAPI 2024.2"
. /opt/intel/oneapi/2024.2/oneapi-vars.sh \
|| { echo "Failed to load oneAPI environment. Please restart in a new shell without oneAPI vars set."; false; }

# in elpa main dir
# check whether there is a 'build' directory
if [ -d "build" ]; then
    echo "rm -rf build"
    rm -rf build
fi
mkdir build && cd build

MKL_HOME=/opt/intel/oneapi/2024.2

CC=mpiicx CXX=mpiicpx FC=mpiifort ../configure \
--disable-avx --disable-avx2 --disable-avx512 --disable-sse --disable-sse-assembly \
SCALAPACK_LDFLAGS="-L$MKL_HOME/lib/ -lmkl_scalapack_lp64 -lmkl_intel_lp64 -lmkl_sequential \
                             -lmkl_core -lmkl_blacs_intelmpi_lp64 -lpthread -lm -Wl,-rpath,$MKL_HOME/lib/" \
SCALAPACK_FCFLAGS="-L$MKL_HOME/lib/ -lmkl_scalapack_lp64 -lmkl_intel_lp64 -lmkl_sequential \
                    -lmkl_core -lmkl_blacs_intelmpi_lp64 -lpthread -lm -I$MKL_HOME/include/mkl/intel64/lp64"

make -j$(nproc) > make.log 2>&1 
echo "installation process may require administrative privileges."
read -p "Would you like to continue with 'sudo make install'? (y/n): " -n 1 -r
echo    # (Optional) Move to a new line

if [[ $REPLY =~ ^[Yy]$ ]]
then
    echo "Proceeding with installation using administrative privileges..."
    sudo make install > install.log 2>&1 
else
    echo "Installation has been canceled."
    echo "Please manually execute 'make install' and link elpa to default path."
fi

# link elpa to /usr/local/include

# The target path for the symbolic link
LINK_PATH="/usr/local/include/elpa"
# The source path for the original link (replace with the actual source path)
SOURCE_PATH="/usr/local/include/elpa-2024.05.001/elpa"

# Check if the link exists
if [ -L "$LINK_PATH" ]; then
    # If the link exists, delete it
    echo "The link already exists, deleting the old link..."
    sudo rm "$LINK_PATH"
else
    # If the link does not exist, check for the presence of a file or directory
    if [ -e "$LINK_PATH" ]; then
        echo "A file or directory exists at the path, unable to create the link. Please delete or rename the file/directory first."
        exit 1
    fi
fi

# Create a new symbolic link
sudo ln -s "$SOURCE_PATH" "$LINK_PATH"

# Check if the link was created successfully
if [ -L "$LINK_PATH" ]; then
    echo "The new symbolic link has been created successfully."
else
    echo "Failed to create the symbolic link."
    exit 1
fi

echo "elpa install over."

安装 ABACUS

配置好依赖后，我们可以开始安装 ABACUS。

构建时，可以选择利用 abacus-develop/toolchain/build_abacus_intel.sh 脚本直接构建 ABACUS（在其中修改配置选项），也可自行构建。

如果选择 toolchain 安装，需要记住此前安装 elpa 的目录。

# 设置环境
. /opt/intel/oneapi/2024.2/oneapi-vars.sh
# configure
# 在此选择oneAPI的编译器，添加编译选项，指定此前的安装路径
CXX=mpiicpx cmake -B build \
-DELPA_DIR=~/abacus-develop/toolchain/install/elpa-2023.05.001/cpu/

# build
cmake --build build -j`nproc` 
# install
cmake --install build

常见问题和解决方法

在开始构建之前，请清除原有的 build 目录。

rm -rf build

找不到编译器，记得运行 vars 脚本设置 oneAPI 环境变量。

CMake Error at /usr/share/cmake-3.22/Modules/CMakeDetermineCXXCompiler.cmake:48 (message):
  Could not find compiler set in environment variable CXX:

  mpiicpx.

Call Stack (most recent call first):
  CMakeLists.txt:7 (project)


CMake Error: CMAKE_CXX_COMPILER not set, after EnableLanguage
-- Configuring incomplete, errors occurred!

# 请设置环境
. /opt/intel/oneapi/2024.2/oneapi-vars.sh

找不到 elpa，请在配置时指定安装路径。

CMake Error in CMakeLists.txt:
  Imported target "ELPA::ELPA" includes non-existent path

    "/usr/include/elpa"

  in its INTERFACE_INCLUDE_DIRECTORIES.  Possible reasons include:

  * The path was deleted, renamed, or moved to another location.

  * An install or uninstall procedure did not complete successfully.

  * The installation package was faulty and references files it does not
  provide.


# 请指定ELPA_DIR（及其他自己手动构建的库）
CXX=mpiicpx cmake -B build \
-DELPA_DIR=~/abacus-develop/toolchain/install/elpa-2023.05.001/cpu/


#####
CXX=mpiicpx cmake -B build -DELPA_DIR=~/abacus-develop/toolchain/install/elpa-2023.05.001/cpu/

期望使用 intel 工具链编译，但 cmake 显示使用 GNU 工具链。请使用 CXX=mpiicpx 指定编译器。

cmake -B build -DELPA_DIR=~/abacus-develop/toolchain/install/elpa-2023.05.001/cpu/
-- The CXX compiler identification is GNU 11.4.0
# CXX=mpiicpx cmake ...
# -- The CXX compiler identification is IntelLLVM 2024.2.0

cmake 提示编译器错误，请使用新版的 icpx/mpiicpx，而不是 icpc/mpiicpc

CMake Error at /usr/share/cmake-3.22/Modules/CMakeTestCXXCompiler.cmake:62 (message):
  The C++ compiler

    "/opt/intel/oneapi/2024.2/bin/mpiicpc"

  is not able to compile a simple test program.

  # use CXX=mpiicpx instead of CXX=mpiicpc

运行了oneAPI配置环境变量脚本，但是链接错误
- 请检查oneAPI HPC kits的安装；可进入installer查看当前安装的所有Toolkits和对应版本，见下条。
- 使用/opt/intel/oneapi/2024.2/oneapi-vars.sh，而不是/opt/intel/oneapi/setvars.sh
如果安装了多版本的 oneAPI 工具链，怀疑环境遭到破坏，可以使用 /opt/intel/oneapi/installer 中的 installer 工具修复和移除不需要版本以及更新。

cd /opt/intel/oneapi/installer
sudo ./installer

# 可以用Repair尝试修复环境
# 使用Remove移除不需要的组件
# 使用Update获得新版本

如果遇到 libmpi.so 相关报错，可以用 locate 查看所有相关库。

locate libmpi.so

运行算例或测试失败，请确保最新构建后运行了install命令，且没有因为权限不足安装失败。

参考

Abacus 文档

Easy Installation

一键配置编译 ABACUS | toolchain 脚本的使用

Intel oneAPI 编译 ABACUS 教程 · GitBook

elpa

documentation/INSTALL.md · master · elpa / elpa · GitLab

Intel 文档

Use the setvars and oneapi-vars Scripts with Linux*

Intel® C++ Compiler Classic Release Notes

Porting Guide for DPCPP or ICX

Porting Guide for ifort Users to ifx

Intel® oneAPI Base Toolkit Release Notes

Intel oneAPI 2024.x 编译 ABACUS 教程

Intel oneAPI 2024.x 编译 ABACUS 教程

Intel OneAPI 工具链

简介

OneAPI Base Toolkit

OneAPI HPC Toolkit

安装

环境变量设置

abacus 安装

依赖库

安装 cereal

安装 elpa

使用 toolchain

自行编译安装

安装 ABACUS

常见问题和解决方法

参考

results matching ""

No results matching ""