Module core::arch

1.27.0 · source ·
Expand description

SIMD 和供应商内部功能模块。

此模块旨在用作特定于体系结构的固有函数的门户，该固有函数通常与 SIMD 相关 (但并非总是如此！)。 Rust 编译到的每个体系结构都可能在此处包含一个子模块，这意味着这不是便携式模块！ 如果您要编写可移植的库，请在使用这些 API 时多加注意！

在此模块下，您将找到一个以架构命名的模块，例如 x86_64。Rust 可以编译的每个 #[cfg(target_arch)] 此处可能都有一个模块条目，仅存在于该特定目标上。 例如，i686-pc-windows-msvc 目标在此处将具有 x86 模块，而 x86_64-pc-windows-msvc 具有 x86_64。

Overview

该模块公开了特定于供应商的内部函数，这些内部函数通常对应于单个机器指令。 这些内部函数不是可移植的：它们的可用性取决于体系结构，并且并非该体系结构的所有机器都可以提供该内部函数。

arch 模块旨在作为高级 API 的实现细节。正确使用它可能会非常棘手，因为您需要确保至少遵守以下几点保证：

  • 使用了正确的体系结构模块。例如，arm 模块在 x86_64-unknown-linux-gnu 目标上不可用。 通常，通过在使用此模块时确保正确使用 #[cfg] 来完成此操作。
  • 程序当前正在运行的 CPU 支持被调用的函数。例如，在实际上不支持 AVX2 的 CPU 上调用 AVX2 函数是不安全的。

由于后者的保证，该模块中的所有内部函数都是 unsafe，因此在调用它们时要格外小心！

CPU 特性检测

为了以一种安全的方式调用这些 API，有许多机制可用来确保正确的 CPU 特性可用于调用内部函数。 例如，让我们考虑 x86 和 x86_64 体系结构上的 _mm256_add_epi64 内部函数。 这个函数需要 AVX2 特性，由英特尔记录，所以为了正确调用这个函数，我们需要 (a) 保证我们仅在 x86/x86_64 和 (b) 上调用它，以确保 CPU 特性可用

静态 CPU 特性检测

我们可以使用的第一个选项是通过 #[cfg] 属性有条件地编译代码。CPU 特性对应于可用的 target_feature cfg，可以这样使用：

ⓘ
#[cfg(
    all(
        any(target_arch = "x86", target_arch = "x86_64"),
        target_feature = "avx2"
    )
)]
fn foo() {
    #[cfg(target_arch = "x86")]
    use std::arch::x86::_mm256_add_epi64;
    #[cfg(target_arch = "x86_64")]
    use std::arch::x86_64::_mm256_add_epi64;

    unsafe {
        _mm256_add_epi64(...);
    }
}
Run

在这里，我们使用 #[cfg(target_feature = "avx2")] 有条件地将此函数编译到我们的模块中。 这意味着，如果 avx2 特性是静态启用的，那么我们将在运行时使用 _mm256_add_epi64 函数。 可以通过使用 #[cfg] 来证明此处的 unsafe 块合理，仅在维护安全保证的情况下才编译代码。

静态启用一个特性通常是通过向编译器提供 -C target-feature 或 -C target-cpu 标志来完成的。例如，如果您的本地 CPU 支持 AVX2，则可以使用以下命令编译上述函数：

$ RUSTFLAGS='-C target-cpu=native' cargo build

否则，您可以专门启用 AVX2 特性：

$ RUSTFLAGS='-C target-feature=+avx2' cargo build

请注意，在编译启用了特定特性的二进制文件时，确保仅在满足所需特性集的系统上运行二进制文件非常重要。

动态 CPU 特性检测

有时静态分派并不是您想要的。相反，您可能想构建一个可在各种 CPU 上运行的可移植二进制文件，但是在运行时它将选择可用的最优化的实现。 这使您可以构建 “最小公分母” 二进制文件，其中的某些部分针对不同的 CPU 进行了优化。

以之前的示例为例，我们将编译我们的二进制文件，而没有 AVX2 支持，但是我们只想为一个函数启用它。 我们可以按照以下方式进行操作：

ⓘ
fn foo() {
    #[cfg(any(target_arch = "x86", target_arch = "x86_64"))]
    {
        if is_x86_feature_detected!("avx2") {
            return unsafe { foo_avx2() };
        }
    }

    // fallback implementation without using AVX2
}

#[cfg(any(target_arch = "x86", target_arch = "x86_64"))]
#[target_feature(enable = "avx2")]
unsafe fn foo_avx2() {
    #[cfg(target_arch = "x86")]
    use std::arch::x86::_mm256_add_epi64;
    #[cfg(target_arch = "x86_64")]
    use std::arch::x86_64::_mm256_add_epi64;

    _mm256_add_epi64(...);
}
Run

这里有几个组件在起作用，所以让我们详细研究它们！

  • 首先，我们注意到 is_x86_feature_detected! 宏。 由标准库提供，此宏将执行必要的运行时检测，以确定程序所运行的 CPU 是否支持指定的特性。 在这种情况下，宏将扩展为一个布尔表达式，以评估本地 CPU 是否具有 AVX2 特性。

    请注意，与 arch 模块一样，此宏是特定于平台的。例如，在 ARM 上调用 is_x86_feature_detected!("avx2") 将是编译时错误。 为了确保我们不会遇到此错误，语句级别 #[cfg] 仅用于编译 x86/x86_64 上的宏用法。

  • 接下来，我们看到启用了 AVX2 的函数 foo_avx2。此函数用 #[target_feature] 属性修饰，该属性仅为此一个函数启用 CPU 特性。 使用 -C target-feature=+avx2 之类的编译器标志将为整个程序启用 AVX2，但使用属性将仅为一个函数启用它。 如此处所示，当前使用 #[target_feature] 属性要求函数也必须为 unsafe。 这是因为只能在具有 AVX2 的系统上正确调用该函数 (例如内部函数本身)。

有了所有这些，我们应该有一个有效的程序！ 该程序将在所有计算机上运行，并且将在检测到支持的计算机上使用优化的 AVX2 实现。

Ergonomics

重要的是要注意，使用 arch 模块并不是世界上最简单的事情，因此，如果您想尝试一下，您可能会想方设法为自己做好准备！

该模块的主要目的是使 crates.io 上的稳定 crates 能够构建更多的人体工程学抽象，最终在引擎盖下使用 SIMD。 随着时间的流逝，这些抽象也可能会移入标准库本身，但是目前，此模块的任务是提供在稳定的 Rust 上使用供应商内部函数所需的最低限度的最低要求。

其他架构

本文档仅适用于一种特定的体系结构，您可以在以下位置找到其他文档：

Examples

首先，让我们看看实际上没有使用任何内部函数，而是使用 LLVM 的自动矢量化为 AVX2 和默认平台生成优化的矢量化代码。

fn main() {
    let mut dst = [0];
    add_quickly(&[1], &[2], &mut dst);
    assert_eq!(dst[0], 3);
}

fn add_quickly(a: &[u8], b: &[u8], c: &mut [u8]) {
    #[cfg(any(target_arch = "x86", target_arch = "x86_64"))]
    {
        // 请注意，此 `unsafe` 块是安全的，因为我们正在测试 `avx2` 特性确实在我们的 CPU 上可用。
        //
        if is_x86_feature_detected!("avx2") {
            return unsafe { add_quickly_avx2(a, b, c) };
        }
    }

    add_quickly_fallback(a, b, c)
}

#[cfg(any(target_arch = "x86", target_arch = "x86_64"))]
#[target_feature(enable = "avx2")]
unsafe fn add_quickly_avx2(a: &[u8], b: &[u8], c: &mut [u8]) {
    add_quickly_fallback(a, b, c) // 下面的函数内联在这里
}

fn add_quickly_fallback(a: &[u8], b: &[u8], c: &mut [u8]) {
    for ((a, b), c) in a.iter().zip(b).zip(c) {
        *c = *a + *b;
    }
}
Run

接下来，让我们来看一个手动使用内部函数的示例。在这里，我们将使用 SSE4.1 特性来实现十六进制编码。

fn main() {
    let mut dst = [0; 32];
    hex_encode(b"\x01\x02\x03", &mut dst);
    assert_eq!(&dst[..6], b"010203");

    let mut src = [0; 16];
    for i in 0..16 {
        src[i] = (i + 1) as u8;
    }
    hex_encode(&src, &mut dst);
    assert_eq!(&dst, b"0102030405060708090a0b0c0d0e0f10");
}

pub fn hex_encode(src: &[u8], dst: &mut [u8]) {
    let len = src.len().checked_mul(2).unwrap();
    assert!(dst.len() >= len);

    #[cfg(any(target_arch = "x86", target_arch = "x86_64"))]
    {
        if is_x86_feature_detected!("sse4.1") {
            return unsafe { hex_encode_sse41(src, dst) };
        }
    }

    hex_encode_fallback(src, dst)
}

// translated from
// <https://github.com/Matherunner/bin2hex-sse/blob/master/base16_sse4.cpp>
#[target_feature(enable = "sse4.1")]
#[cfg(any(target_arch = "x86", target_arch = "x86_64"))]
unsafe fn hex_encode_sse41(mut src: &[u8], dst: &mut [u8]) {
    #[cfg(target_arch = "x86")]
    use std::arch::x86::*;
    #[cfg(target_arch = "x86_64")]
    use std::arch::x86_64::*;

    let ascii_zero = _mm_set1_epi8(b'0' as i8);
    let nines = _mm_set1_epi8(9);
    let ascii_a = _mm_set1_epi8((b'a' - 9 - 1) as i8);
    let and4bits = _mm_set1_epi8(0xf);

    let mut i = 0_isize;
    while src.len() >= 16 {
        let invec = _mm_loadu_si128(src.as_ptr() as *const _);

        let masked1 = _mm_and_si128(invec, and4bits);
        let masked2 = _mm_and_si128(_mm_srli_epi64(invec, 4), and4bits);

        // return 0xff corresponding to the elements > 9, or 0x00 otherwise
        let cmpmask1 = _mm_cmpgt_epi8(masked1, nines);
        let cmpmask2 = _mm_cmpgt_epi8(masked2, nines);

        // add '0' or the offset depending on the masks
        let masked1 = _mm_add_epi8(
            masked1,
            _mm_blendv_epi8(ascii_zero, ascii_a, cmpmask1),
        );
        let masked2 = _mm_add_epi8(
            masked2,
            _mm_blendv_epi8(ascii_zero, ascii_a, cmpmask2),
        );

        // interleave masked1 and masked2 bytes
        let res1 = _mm_unpacklo_epi8(masked2, masked1);
        let res2 = _mm_unpackhi_epi8(masked2, masked1);

        _mm_storeu_si128(dst.as_mut_ptr().offset(i * 2) as *mut _, res1);
        _mm_storeu_si128(
            dst.as_mut_ptr().offset(i * 2 + 16) as *mut _,
            res2,
        );
        src = &src[16..];
        i += 16;
    }

    let i = i as usize;
    hex_encode_fallback(src, &mut dst[i * 2..]);
}

fn hex_encode_fallback(src: &[u8], dst: &mut [u8]) {
    fn hex(byte: u8) -> u8 {
        static TABLE: &[u8] = b"0123456789abcdef";
        TABLE[byte as usize]
    }

    for (byte, slots) in src.iter().zip(dst.chunks_mut(2)) {
        slots[0] = hex((*byte >> 4) & 0xf);
        slots[1] = hex(*byte & 0xf);
    }
}
Run

Modules

  • armExperimentalARM
    特定于平台的用于 arm 平台的内部函数。
  • mipsExperimentalMIPS
    特定于平台的用于 mips 平台的内部函数。
  • mips64ExperimentalMIPS-64
    特定于平台的用于 mips64 平台的内部函数。
  • nvptxExperimentaltarget_arch="nvptx64"
    特定于平台的用于 NVPTX 平台的内部函数。
  • powerpcExperimentalPowerPC
    特定于平台的用于 PowerPC 平台的内部函数。
  • powerpc64ExperimentalPowerPC-64
    特定于平台的用于 PowerPC64 平台的内部函数。
  • riscv32ExperimentalRISC-V RV32
    特定于平台的用于 riscv32 平台的内部函数。
  • riscv64ExperimentalRISC-V RV64
    特定于平台的用于 riscv64 平台的内部函数。
  • wasmExperimentaltarget_family="wasm"
    特定于平台的用于 wasm 目标家庭的内部函数。
  • wasm64ExperimentalWebAssembly
    特定于平台的用于 wasm64 平台的内部函数。
  • aarch64AArch64
    特定于平台的用于 aarch64 平台的内部函数。
  • wasm32WebAssembly
    特定于平台的用于 wasm32 平台的内部函数。
  • x86x86
    特定于平台的用于 x86 平台的内部函数。
  • x86_64x86-64
    特定于平台的用于 x86_64 平台的内部函数。

Macros