mirror of
https://github.com/zebrajr/pytorch.git
synced 2026-01-15 12:15:51 +00:00
[ROCm] Enable inductor-periodic testing for MI300 (#144594)
Pull Request resolved: https://github.com/pytorch/pytorch/pull/144594 Approved by: https://github.com/malfet, https://github.com/huydhn Co-authored-by: Jeff Daily <jeff.daily@amd.com>
This commit is contained in:
blorange-amd
committed by
PyTorch MergeBot
PyTorch MergeBot
parent
b8261358ca
commit
5fd15a04b7
@@ -86,6 +86,10 @@ CMAKE_VERSION=3.18.5
|
||||
|
||||
_UCX_COMMIT=7bb2722ff2187a0cad557ae4a6afa090569f83fb
|
||||
_UCC_COMMIT=20eae37090a4ce1b32bcce6144ccad0b49943e0b
|
||||
if [[ "$image" == *rocm* ]]; then
|
||||
_UCX_COMMIT=cc312eaa4655c0cc5c2bcd796db938f90563bcf6
|
||||
_UCC_COMMIT=0c0fc21559835044ab107199e334f7157d6a0d3d
|
||||
fi
|
||||
|
||||
# It's annoying to rename jobs every time you want to rewrite a
|
||||
# configuration, so we hardcode everything here rather than do it
|
||||
@@ -206,7 +210,7 @@ case "$image" in
|
||||
;;
|
||||
pytorch-linux-focal-rocm-n-1-py3)
|
||||
ANACONDA_PYTHON_VERSION=3.10
|
||||
GCC_VERSION=9
|
||||
GCC_VERSION=11
|
||||
PROTOBUF=yes
|
||||
DB=yes
|
||||
VISION=yes
|
||||
@@ -214,10 +218,14 @@ case "$image" in
|
||||
NINJA_VERSION=1.9.0
|
||||
CONDA_CMAKE=yes
|
||||
TRITON=yes
|
||||
KATEX=yes
|
||||
UCX_COMMIT=${_UCX_COMMIT}
|
||||
UCC_COMMIT=${_UCC_COMMIT}
|
||||
INDUCTOR_BENCHMARKS=yes
|
||||
;;
|
||||
pytorch-linux-focal-rocm-n-py3)
|
||||
ANACONDA_PYTHON_VERSION=3.10
|
||||
GCC_VERSION=9
|
||||
GCC_VERSION=11
|
||||
PROTOBUF=yes
|
||||
DB=yes
|
||||
VISION=yes
|
||||
@@ -225,6 +233,10 @@ case "$image" in
|
||||
NINJA_VERSION=1.9.0
|
||||
CONDA_CMAKE=yes
|
||||
TRITON=yes
|
||||
KATEX=yes
|
||||
UCX_COMMIT=${_UCX_COMMIT}
|
||||
UCC_COMMIT=${_UCC_COMMIT}
|
||||
INDUCTOR_BENCHMARKS=yes
|
||||
;;
|
||||
pytorch-linux-jammy-xpu-2024.0-py3)
|
||||
ANACONDA_PYTHON_VERSION=3.9
|
||||
|
||||
@@ -8,6 +8,12 @@ else
|
||||
with_cuda=no
|
||||
fi
|
||||
|
||||
if [[ -d "/opt/rocm" ]]; then
|
||||
with_rocm=/opt/rocm
|
||||
else
|
||||
with_rocm=no
|
||||
fi
|
||||
|
||||
function install_ucx() {
|
||||
set -ex
|
||||
git clone --recursive https://github.com/openucx/ucx.git
|
||||
@@ -19,6 +25,7 @@ function install_ucx() {
|
||||
./configure --prefix=$UCX_HOME \
|
||||
--enable-mt \
|
||||
--with-cuda=$with_cuda \
|
||||
--with-rocm=$with_rocm \
|
||||
--enable-profiling \
|
||||
--enable-stats
|
||||
time make -j
|
||||
@@ -36,12 +43,29 @@ function install_ucc() {
|
||||
git submodule update --init --recursive
|
||||
|
||||
./autogen.sh
|
||||
|
||||
# We only run distributed tests on Tesla M60 and A10G
|
||||
NVCC_GENCODE="-gencode=arch=compute_52,code=sm_52 -gencode=arch=compute_86,code=compute_86"
|
||||
|
||||
if [[ -n "$ROCM_VERSION" ]]; then
|
||||
if [[ -n "$PYTORCH_ROCM_ARCH" ]]; then
|
||||
amdgpu_targets=`echo $PYTORCH_ROCM_ARCH | sed 's/;/ /g'`
|
||||
else
|
||||
amdgpu_targets=`rocm_agent_enumerator | grep -v gfx000 | sort -u | xargs`
|
||||
fi
|
||||
for arch in $amdgpu_targets; do
|
||||
HIP_OFFLOAD="$HIP_OFFLOAD --offload-arch=$arch"
|
||||
done
|
||||
else
|
||||
HIP_OFFLOAD="all-arch-no-native"
|
||||
fi
|
||||
|
||||
./configure --prefix=$UCC_HOME \
|
||||
--with-ucx=$UCX_HOME \
|
||||
--with-cuda=$with_cuda \
|
||||
--with-nvcc-gencode="${NVCC_GENCODE}"
|
||||
--with-nvcc-gencode="${NVCC_GENCODE}" \
|
||||
--with-rocm=$with_rocm \
|
||||
--with-rocm-arch="${HIP_OFFLOAD}"
|
||||
time make -j
|
||||
sudo make install
|
||||
|
||||
|
||||
@@ -14,21 +14,20 @@ ENV PYTORCH_ROCM_ARCH ${PYTORCH_ROCM_ARCH}
|
||||
COPY ./common/install_base.sh install_base.sh
|
||||
RUN bash ./install_base.sh && rm install_base.sh
|
||||
|
||||
# Install clang
|
||||
ARG LLVMDEV
|
||||
ARG CLANG_VERSION
|
||||
COPY ./common/install_clang.sh install_clang.sh
|
||||
RUN bash ./install_clang.sh && rm install_clang.sh
|
||||
|
||||
# Install user
|
||||
COPY ./common/install_user.sh install_user.sh
|
||||
RUN bash ./install_user.sh && rm install_user.sh
|
||||
|
||||
# Install katex
|
||||
ARG KATEX
|
||||
COPY ./common/install_docs_reqs.sh install_docs_reqs.sh
|
||||
RUN bash ./install_docs_reqs.sh && rm install_docs_reqs.sh
|
||||
|
||||
# Install conda and other packages (e.g., numpy, pytest)
|
||||
ARG ANACONDA_PYTHON_VERSION
|
||||
ARG CONDA_CMAKE
|
||||
ENV ANACONDA_PYTHON_VERSION=$ANACONDA_PYTHON_VERSION
|
||||
ENV PATH /opt/conda/envs/py_$ANACONDA_PYTHON_VERSION/bin:/opt/conda/bin:$PATH
|
||||
ARG CONDA_CMAKE
|
||||
COPY requirements-ci.txt /opt/conda/requirements-ci.txt
|
||||
COPY ./common/install_conda.sh install_conda.sh
|
||||
COPY ./common/common_utils.sh common_utils.sh
|
||||
@@ -39,6 +38,11 @@ ARG GCC_VERSION
|
||||
COPY ./common/install_gcc.sh install_gcc.sh
|
||||
RUN bash ./install_gcc.sh && rm install_gcc.sh
|
||||
|
||||
# Install clang
|
||||
ARG CLANG_VERSION
|
||||
COPY ./common/install_clang.sh install_clang.sh
|
||||
RUN bash ./install_clang.sh && rm install_clang.sh
|
||||
|
||||
# (optional) Install protobuf for ONNX
|
||||
ARG PROTOBUF
|
||||
COPY ./common/install_protobuf.sh install_protobuf.sh
|
||||
@@ -85,6 +89,32 @@ COPY ./common/install_amdsmi.sh install_amdsmi.sh
|
||||
RUN bash ./install_amdsmi.sh
|
||||
RUN rm install_amdsmi.sh
|
||||
|
||||
# (optional) Install UCC
|
||||
ARG UCX_COMMIT
|
||||
ARG UCC_COMMIT
|
||||
ENV UCX_COMMIT $UCX_COMMIT
|
||||
ENV UCC_COMMIT $UCC_COMMIT
|
||||
ENV UCX_HOME /usr
|
||||
ENV UCC_HOME /usr
|
||||
ADD ./common/install_ucc.sh install_ucc.sh
|
||||
RUN if [ -n "${UCX_COMMIT}" ] && [ -n "${UCC_COMMIT}" ]; then bash ./install_ucc.sh; fi
|
||||
RUN rm install_ucc.sh
|
||||
|
||||
COPY ./common/install_openssl.sh install_openssl.sh
|
||||
ENV OPENSSL_ROOT_DIR /opt/openssl
|
||||
RUN bash ./install_openssl.sh
|
||||
ENV OPENSSL_DIR /opt/openssl
|
||||
|
||||
ARG INDUCTOR_BENCHMARKS
|
||||
ARG ANACONDA_PYTHON_VERSION
|
||||
ENV ANACONDA_PYTHON_VERSION=$ANACONDA_PYTHON_VERSION
|
||||
COPY ./common/install_inductor_benchmark_deps.sh install_inductor_benchmark_deps.sh
|
||||
COPY ./common/common_utils.sh common_utils.sh
|
||||
COPY ci_commit_pins/huggingface.txt huggingface.txt
|
||||
COPY ci_commit_pins/timm.txt timm.txt
|
||||
RUN if [ -n "${INDUCTOR_BENCHMARKS}" ]; then bash ./install_inductor_benchmark_deps.sh; fi
|
||||
RUN rm install_inductor_benchmark_deps.sh common_utils.sh timm.txt huggingface.txt
|
||||
|
||||
# (optional) Install non-default CMake version
|
||||
ARG CMAKE_VERSION
|
||||
COPY ./common/install_cmake.sh install_cmake.sh
|
||||
@@ -107,17 +137,17 @@ COPY triton_version.txt triton_version.txt
|
||||
RUN if [ -n "${TRITON}" ]; then bash ./install_triton.sh; fi
|
||||
RUN rm install_triton.sh common_utils.sh triton.txt triton_version.txt
|
||||
|
||||
# This is needed by sccache
|
||||
COPY ./common/install_openssl.sh install_openssl.sh
|
||||
ENV OPENSSL_ROOT_DIR /opt/openssl
|
||||
RUN bash ./install_openssl.sh
|
||||
ENV OPENSSL_DIR /opt/openssl
|
||||
|
||||
# Install ccache/sccache (do this last, so we get priority in PATH)
|
||||
COPY ./common/install_cache.sh install_cache.sh
|
||||
ENV PATH /opt/cache/bin:$PATH
|
||||
RUN bash ./install_cache.sh && rm install_cache.sh
|
||||
|
||||
# Install Open MPI for ROCm
|
||||
COPY ./common/install_openmpi.sh install_openmpi.sh
|
||||
RUN if [ -n "${CUDA_VERSION}" ]; then bash install_openmpi.sh; fi
|
||||
RUN rm install_openmpi.sh
|
||||
|
||||
# Include BUILD_ENVIRONMENT environment variable in image
|
||||
ARG BUILD_ENVIRONMENT
|
||||
ENV BUILD_ENVIRONMENT ${BUILD_ENVIRONMENT}
|
||||
|
||||
@@ -169,13 +169,35 @@ function install_torchrec_and_fbgemm() {
|
||||
torchrec_commit=$(get_pinned_commit torchrec)
|
||||
local fbgemm_commit
|
||||
fbgemm_commit=$(get_pinned_commit fbgemm)
|
||||
if [[ "$BUILD_ENVIRONMENT" == *rocm* ]] ; then
|
||||
fbgemm_commit=$(get_pinned_commit fbgemm_rocm)
|
||||
fi
|
||||
pip_uninstall torchrec-nightly
|
||||
pip_uninstall fbgemm-gpu-nightly
|
||||
pip_install setuptools-git-versioning scikit-build pyre-extensions
|
||||
|
||||
# See https://github.com/pytorch/pytorch/issues/106971
|
||||
CUDA_PATH=/usr/local/cuda-12.1 pip_install --no-use-pep517 --user "git+https://github.com/pytorch/FBGEMM.git@${fbgemm_commit}#egg=fbgemm-gpu&subdirectory=fbgemm_gpu"
|
||||
pip_install --no-use-pep517 --user "git+https://github.com/pytorch/torchrec.git@${torchrec_commit}"
|
||||
if [[ "$BUILD_ENVIRONMENT" == *rocm* ]] ; then
|
||||
# install torchrec first because it installs fbgemm nightly on top of rocm fbgemm
|
||||
pip_install --no-use-pep517 --user "git+https://github.com/pytorch/torchrec.git@${torchrec_commit}"
|
||||
pip_uninstall fbgemm-gpu-nightly
|
||||
|
||||
pip_install tabulate # needed for newer fbgemm
|
||||
pip_install patchelf # needed for rocm fbgemm
|
||||
git clone --recursive https://github.com/pytorch/fbgemm
|
||||
pushd fbgemm/fbgemm_gpu
|
||||
git checkout "${fbgemm_commit}"
|
||||
python setup.py install \
|
||||
--package_variant=rocm \
|
||||
-DHIP_ROOT_DIR="${ROCM_PATH}" \
|
||||
-DCMAKE_C_FLAGS="-DTORCH_USE_HIP_DSA" \
|
||||
-DCMAKE_CXX_FLAGS="-DTORCH_USE_HIP_DSA"
|
||||
popd
|
||||
rm -rf fbgemm
|
||||
else
|
||||
# See https://github.com/pytorch/pytorch/issues/106971
|
||||
CUDA_PATH=/usr/local/cuda-12.1 pip_install --no-use-pep517 --user "git+https://github.com/pytorch/FBGEMM.git@${fbgemm_commit}#egg=fbgemm-gpu&subdirectory=fbgemm_gpu"
|
||||
pip_install --no-use-pep517 --user "git+https://github.com/pytorch/torchrec.git@${torchrec_commit}"
|
||||
fi
|
||||
}
|
||||
|
||||
function clone_pytorch_xla() {
|
||||
|
||||
@@ -177,6 +177,9 @@ if [[ "$BUILD_ENVIRONMENT" == *rocm* ]]; then
|
||||
# Print GPU info
|
||||
rocminfo
|
||||
rocminfo | grep -E 'Name:.*\sgfx|Marketing'
|
||||
|
||||
# for benchmarks/dynamo/check_accuracy.py, we need to put results in a rocm specific directory to avoid clashes with cuda
|
||||
MAYBE_ROCM="rocm/"
|
||||
fi
|
||||
|
||||
if [[ "$BUILD_ENVIRONMENT" == *xpu* ]]; then
|
||||
@@ -429,7 +432,7 @@ test_inductor_cpp_wrapper_shard() {
|
||||
--output "$TEST_REPORTS_DIR/inductor_cpp_wrapper_training.csv"
|
||||
python benchmarks/dynamo/check_accuracy.py \
|
||||
--actual "$TEST_REPORTS_DIR/inductor_cpp_wrapper_training.csv" \
|
||||
--expected "benchmarks/dynamo/ci_expected_accuracy/inductor_timm_training.csv"
|
||||
--expected "benchmarks/dynamo/ci_expected_accuracy/${MAYBE_ROCM}inductor_timm_training.csv"
|
||||
|
||||
python benchmarks/dynamo/torchbench.py --device cuda --accuracy \
|
||||
--bfloat16 --inference --inductor --only hf_T5 --output "$TEST_REPORTS_DIR/inductor_cpp_wrapper_inference.csv"
|
||||
@@ -439,7 +442,7 @@ test_inductor_cpp_wrapper_shard() {
|
||||
--bfloat16 --inference --inductor --only moco --output "$TEST_REPORTS_DIR/inductor_cpp_wrapper_inference.csv"
|
||||
python benchmarks/dynamo/check_accuracy.py \
|
||||
--actual "$TEST_REPORTS_DIR/inductor_cpp_wrapper_inference.csv" \
|
||||
--expected "benchmarks/dynamo/ci_expected_accuracy/inductor_torchbench_inference.csv"
|
||||
--expected "benchmarks/dynamo/ci_expected_accuracy/${MAYBE_ROCM}inductor_torchbench_inference.csv"
|
||||
fi
|
||||
}
|
||||
|
||||
@@ -638,10 +641,10 @@ test_single_dynamo_benchmark() {
|
||||
--output "$TEST_REPORTS_DIR/${name}_${suite}.csv"
|
||||
python benchmarks/dynamo/check_accuracy.py \
|
||||
--actual "$TEST_REPORTS_DIR/${name}_$suite.csv" \
|
||||
--expected "benchmarks/dynamo/ci_expected_accuracy/${TEST_CONFIG}_${name}.csv"
|
||||
--expected "benchmarks/dynamo/ci_expected_accuracy/${MAYBE_ROCM}${TEST_CONFIG}_${name}.csv"
|
||||
python benchmarks/dynamo/check_graph_breaks.py \
|
||||
--actual "$TEST_REPORTS_DIR/${name}_$suite.csv" \
|
||||
--expected "benchmarks/dynamo/ci_expected_accuracy/${TEST_CONFIG}_${name}.csv"
|
||||
--expected "benchmarks/dynamo/ci_expected_accuracy/${MAYBE_ROCM}${TEST_CONFIG}_${name}.csv"
|
||||
fi
|
||||
}
|
||||
|
||||
@@ -728,7 +731,7 @@ test_inductor_torchbench_smoketest_perf() {
|
||||
--only $test --output "$TEST_REPORTS_DIR/inductor_warm_start_smoketest_$test.csv"
|
||||
python benchmarks/dynamo/check_accuracy.py \
|
||||
--actual "$TEST_REPORTS_DIR/inductor_warm_start_smoketest_$test.csv" \
|
||||
--expected "benchmarks/dynamo/ci_expected_accuracy/inductor_huggingface_training.csv"
|
||||
--expected "benchmarks/dynamo/ci_expected_accuracy/${MAYBE_ROCM}inductor_huggingface_training.csv"
|
||||
done
|
||||
}
|
||||
|
||||
|
||||
1
.github/ci_commit_pins/fbgemm_rocm.txt
vendored
Normal file
1
.github/ci_commit_pins/fbgemm_rocm.txt
vendored
Normal file
@@ -0,0 +1 @@
|
||||
5fb5024118e9bb9decf96c2b0b1a8f0010bf56be
|
||||
@@ -77,8 +77,7 @@ jobs:
|
||||
curr_ref_type: ${{ github.ref_type }}
|
||||
|
||||
linux-focal-rocm6_3-py3_10-inductor-benchmark-build:
|
||||
# TODO (huydhn): Remove this once https://github.com/pytorch/pytorch/pull/144594 lands
|
||||
if: false
|
||||
if: github.repository_owner == 'pytorch'
|
||||
name: rocm6_3-py3_10-inductor-benchmark-build
|
||||
uses: ./.github/workflows/_linux-build.yml
|
||||
with:
|
||||
@@ -86,18 +85,18 @@ jobs:
|
||||
docker-image-name: pytorch-linux-focal-rocm-n-py3
|
||||
test-matrix: |
|
||||
{ include: [
|
||||
{ config: "inductor_huggingface_perf_rocm", shard: 1, num_shards: 3, runner: "linux.rocm.gpu.mi300.2" },
|
||||
{ config: "inductor_huggingface_perf_rocm", shard: 2, num_shards: 3, runner: "linux.rocm.gpu.mi300.2" },
|
||||
{ config: "inductor_huggingface_perf_rocm", shard: 3, num_shards: 3, runner: "linux.rocm.gpu.mi300.2" },
|
||||
{ config: "inductor_timm_perf_rocm", shard: 1, num_shards: 5, runner: "linux.rocm.gpu.mi300.2" },
|
||||
{ config: "inductor_timm_perf_rocm", shard: 2, num_shards: 5, runner: "linux.rocm.gpu.mi300.2" },
|
||||
{ config: "inductor_timm_perf_rocm", shard: 3, num_shards: 5, runner: "linux.rocm.gpu.mi300.2" },
|
||||
{ config: "inductor_timm_perf_rocm", shard: 4, num_shards: 5, runner: "linux.rocm.gpu.mi300.2" },
|
||||
{ config: "inductor_timm_perf_rocm", shard: 5, num_shards: 5, runner: "linux.rocm.gpu.mi300.2" },
|
||||
{ config: "inductor_torchbench_perf_rocm", shard: 1, num_shards: 4, runner: "linux.rocm.gpu.mi300.2" },
|
||||
{ config: "inductor_torchbench_perf_rocm", shard: 2, num_shards: 4, runner: "linux.rocm.gpu.mi300.2" },
|
||||
{ config: "inductor_torchbench_perf_rocm", shard: 3, num_shards: 4, runner: "linux.rocm.gpu.mi300.2" },
|
||||
{ config: "inductor_torchbench_perf_rocm", shard: 4, num_shards: 4, runner: "linux.rocm.gpu.mi300.2" },
|
||||
{ config: "inductor_huggingface_perf_rocm", shard: 1, num_shards: 3, runner: "linux.rocm.gpu.mi300.2.c1" },
|
||||
{ config: "inductor_huggingface_perf_rocm", shard: 2, num_shards: 3, runner: "linux.rocm.gpu.mi300.2.c2" },
|
||||
{ config: "inductor_huggingface_perf_rocm", shard: 3, num_shards: 3, runner: "linux.rocm.gpu.mi300.2.c1" },
|
||||
{ config: "inductor_timm_perf_rocm", shard: 1, num_shards: 5, runner: "linux.rocm.gpu.mi300.2.c2" },
|
||||
{ config: "inductor_timm_perf_rocm", shard: 2, num_shards: 5, runner: "linux.rocm.gpu.mi300.2.c1" },
|
||||
{ config: "inductor_timm_perf_rocm", shard: 3, num_shards: 5, runner: "linux.rocm.gpu.mi300.2.c2" },
|
||||
{ config: "inductor_timm_perf_rocm", shard: 4, num_shards: 5, runner: "linux.rocm.gpu.mi300.2.c1" },
|
||||
{ config: "inductor_timm_perf_rocm", shard: 5, num_shards: 5, runner: "linux.rocm.gpu.mi300.2.c2" },
|
||||
{ config: "inductor_torchbench_perf_rocm", shard: 1, num_shards: 4, runner: "linux.rocm.gpu.mi300.2.c1" },
|
||||
{ config: "inductor_torchbench_perf_rocm", shard: 2, num_shards: 4, runner: "linux.rocm.gpu.mi300.2.c2" },
|
||||
{ config: "inductor_torchbench_perf_rocm", shard: 3, num_shards: 4, runner: "linux.rocm.gpu.mi300.2.c1" },
|
||||
{ config: "inductor_torchbench_perf_rocm", shard: 4, num_shards: 4, runner: "linux.rocm.gpu.mi300.2.c2" },
|
||||
]}
|
||||
secrets: inherit
|
||||
|
||||
|
||||
41
.github/workflows/inductor-periodic.yml
vendored
41
.github/workflows/inductor-periodic.yml
vendored
@@ -67,6 +67,47 @@ jobs:
|
||||
test-matrix: ${{ needs.linux-focal-cuda12_4-py3_10-gcc9-periodic-dynamo-benchmarks-build.outputs.test-matrix }}
|
||||
secrets: inherit
|
||||
|
||||
linux-focal-rocm6_3-py3_10-periodic-dynamo-benchmarks-build:
|
||||
if: github.repository_owner == 'pytorch'
|
||||
name: rocm6_3-py3_10-periodic-dynamo-benchmarks
|
||||
uses: ./.github/workflows/_linux-build.yml
|
||||
with:
|
||||
build-environment: linux-focal-rocm6_3-py3_10
|
||||
docker-image-name: pytorch-linux-focal-rocm-n-py3
|
||||
sync-tag: rocm-build
|
||||
test-matrix: |
|
||||
{ include: [
|
||||
{ config: "dynamo_eager_torchbench", shard: 1, num_shards: 2, runner: "linux.rocm.gpu.mi300.2.c2" },
|
||||
{ config: "dynamo_eager_torchbench", shard: 2, num_shards: 2, runner: "linux.rocm.gpu.mi300.2.c1" },
|
||||
{ config: "dynamo_eager_huggingface", shard: 1, num_shards: 1, runner: "linux.rocm.gpu.mi300.2.c2" },
|
||||
{ config: "dynamo_eager_timm", shard: 1, num_shards: 2, runner: "linux.rocm.gpu.mi300.2.c1" },
|
||||
{ config: "dynamo_eager_timm", shard: 2, num_shards: 2, runner: "linux.rocm.gpu.mi300.2.c2" },
|
||||
{ config: "aot_eager_torchbench", shard: 1, num_shards: 2, runner: "linux.rocm.gpu.mi300.2.c1" },
|
||||
{ config: "aot_eager_torchbench", shard: 2, num_shards: 2, runner: "linux.rocm.gpu.mi300.2.c2" },
|
||||
{ config: "aot_eager_huggingface", shard: 1, num_shards: 1, runner: "linux.rocm.gpu.mi300.2.c1" },
|
||||
{ config: "aot_eager_timm", shard: 1, num_shards: 2, runner: "linux.rocm.gpu.mi300.2.c2" },
|
||||
{ config: "aot_eager_timm", shard: 2, num_shards: 2, runner: "linux.rocm.gpu.mi300.2.c1" },
|
||||
{ config: "dynamic_aot_eager_torchbench", shard: 1, num_shards: 2, runner: "linux.rocm.gpu.mi300.2.c2" },
|
||||
{ config: "dynamic_aot_eager_torchbench", shard: 2, num_shards: 2, runner: "linux.rocm.gpu.mi300.2.c1" },
|
||||
{ config: "dynamic_aot_eager_huggingface", shard: 1, num_shards: 1, runner: "linux.rocm.gpu.mi300.2.c2" },
|
||||
{ config: "dynamic_aot_eager_timm", shard: 1, num_shards: 2, runner: "linux.rocm.gpu.mi300.2.c1" },
|
||||
{ config: "dynamic_aot_eager_timm", shard: 2, num_shards: 2, runner: "linux.rocm.gpu.mi300.2.c2" },
|
||||
]}
|
||||
secrets: inherit
|
||||
|
||||
linux-focal-rocm6_3-py3_10-periodic-dynamo-benchmarks-test:
|
||||
permissions:
|
||||
id-token: write
|
||||
contents: read
|
||||
name: rocm6_3-py3_10-periodic-dynamo-benchmarks
|
||||
uses: ./.github/workflows/_rocm-test.yml
|
||||
needs: linux-focal-rocm6_3-py3_10-periodic-dynamo-benchmarks-build
|
||||
with:
|
||||
build-environment: linux-focal-rocm6_3-py3_10
|
||||
docker-image: ${{ needs.linux-focal-rocm6_3-py3_10-periodic-dynamo-benchmarks-build.outputs.docker-image }}
|
||||
test-matrix: ${{ needs.linux-focal-rocm6_3-py3_10-periodic-dynamo-benchmarks-build.outputs.test-matrix }}
|
||||
secrets: inherit
|
||||
|
||||
linux-focal-cuda12_4-py3_10-gcc9-inductor-build-gcp:
|
||||
name: cuda12.4-py3.10-gcc9-sm80
|
||||
uses: ./.github/workflows/_linux-build.yml
|
||||
|
||||
@@ -27,6 +27,50 @@ def check_accuracy(actual_csv, expected_csv, expected_filename):
|
||||
failed = []
|
||||
improved = []
|
||||
|
||||
if "rocm" in expected_filename:
|
||||
flaky_models.update(
|
||||
{
|
||||
"alexnet",
|
||||
"cait_m36_384",
|
||||
"demucs",
|
||||
"densenet121",
|
||||
"detectron2_fcos_r_50_fpn",
|
||||
"doctr_det_predictor",
|
||||
"doctr_reco_predictor",
|
||||
"hf_BigBird",
|
||||
"hf_Longformer",
|
||||
"hf_Reformer",
|
||||
"hf_Roberta_base",
|
||||
"hf_T5",
|
||||
"hf_T5_base",
|
||||
"levit_128",
|
||||
"llava",
|
||||
"microbench_unbacked_tolist_sum",
|
||||
"mnasnet1_0",
|
||||
"mobilenet_v2",
|
||||
"pytorch_CycleGAN_and_pix2pix",
|
||||
"pytorch_stargan",
|
||||
"resnet152",
|
||||
"resnet18",
|
||||
"resnet50",
|
||||
"resnext50_32x4d",
|
||||
"sam",
|
||||
"sam_fast",
|
||||
"shufflenet_v2_x1_0",
|
||||
"squeezenet1_1",
|
||||
"stable_diffusion_text_encoder",
|
||||
"stable_diffusion_unet",
|
||||
"timm_efficientdet",
|
||||
"timm_efficientnet",
|
||||
"timm_nfnet",
|
||||
"timm_regnet",
|
||||
"timm_resnest",
|
||||
"timm_vovnet",
|
||||
"torchrec_dlrm",
|
||||
"vgg16",
|
||||
}
|
||||
)
|
||||
|
||||
for model in actual_csv["name"]:
|
||||
accuracy = get_field(actual_csv, model, "accuracy")
|
||||
expected_accuracy = get_field(expected_csv, model, "accuracy")
|
||||
|
||||
@@ -6,6 +6,16 @@ import textwrap
|
||||
import pandas as pd
|
||||
|
||||
|
||||
# Hack to have something similar to DISABLED_TEST. These models are flaky.
|
||||
|
||||
flaky_models = {
|
||||
"yolov3",
|
||||
"gluon_inception_v3",
|
||||
"detectron2_maskrcnn_r_101_c4",
|
||||
"XGLMForCausalLM", # discovered in https://github.com/pytorch/pytorch/pull/128148
|
||||
}
|
||||
|
||||
|
||||
def get_field(csv, model_name: str, field: str):
|
||||
try:
|
||||
return csv.loc[csv["name"] == model_name][field].item()
|
||||
@@ -17,23 +27,62 @@ def check_graph_breaks(actual_csv, expected_csv, expected_filename):
|
||||
failed = []
|
||||
improved = []
|
||||
|
||||
if "rocm" in expected_filename:
|
||||
flaky_models.update(
|
||||
{
|
||||
"alexnet",
|
||||
"cait_m36_384",
|
||||
"demucs",
|
||||
"densenet121",
|
||||
"detectron2_fcos_r_50_fpn",
|
||||
"doctr_det_predictor",
|
||||
"doctr_reco_predictor",
|
||||
"hf_BigBird",
|
||||
"hf_Longformer",
|
||||
"hf_Reformer",
|
||||
"hf_Roberta_base",
|
||||
"hf_T5",
|
||||
"hf_T5_base",
|
||||
"levit_128",
|
||||
"llava",
|
||||
"microbench_unbacked_tolist_sum",
|
||||
"sam",
|
||||
"sam_fast",
|
||||
"stable_diffusion_text_encoder",
|
||||
"stable_diffusion_unet",
|
||||
"timm_efficientdet",
|
||||
"timm_nfnet",
|
||||
"torchrec_dlrm",
|
||||
"vgg16",
|
||||
}
|
||||
)
|
||||
|
||||
for model in actual_csv["name"]:
|
||||
graph_breaks = get_field(actual_csv, model, "graph_breaks")
|
||||
expected_graph_breaks = get_field(expected_csv, model, "graph_breaks")
|
||||
flaky = model in flaky_models
|
||||
|
||||
if graph_breaks == expected_graph_breaks:
|
||||
status = "PASS"
|
||||
if expected_graph_breaks is None:
|
||||
status = "MISSING:"
|
||||
improved.append(model)
|
||||
elif graph_breaks == expected_graph_breaks:
|
||||
status = "PASS_BUT_FLAKY" if flaky else "PASS"
|
||||
print(f"{model:34} {status}")
|
||||
continue
|
||||
|
||||
elif graph_breaks > expected_graph_breaks:
|
||||
status = "FAIL:"
|
||||
failed.append(model)
|
||||
if flaky:
|
||||
status = "FAIL_BUT_FLAKY:"
|
||||
else:
|
||||
status = "FAIL:"
|
||||
failed.append(model)
|
||||
elif graph_breaks < expected_graph_breaks:
|
||||
status = "IMPROVED:"
|
||||
improved.append(model)
|
||||
if flaky:
|
||||
status = "IMPROVED_BUT_FLAKY:"
|
||||
else:
|
||||
status = "IMPROVED:"
|
||||
improved.append(model)
|
||||
print(
|
||||
f"{model:34} {status:9} graph_breaks={graph_breaks}, expected={expected_graph_breaks}"
|
||||
f"{model:34} {status:19} graph_breaks={graph_breaks}, expected={expected_graph_breaks}"
|
||||
)
|
||||
|
||||
msg = ""
|
||||
|
||||
@@ -0,0 +1,185 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
AlbertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
AlbertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
AllenaiLongformerBase,pass,4
|
||||
|
||||
|
||||
|
||||
BartForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
BartForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
BertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
BertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
BlenderbotForCausalLM,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
BlenderbotSmallForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
BlenderbotSmallForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
CamemBert,pass,0
|
||||
|
||||
|
||||
|
||||
DebertaForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
DebertaForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
DebertaV2ForMaskedLM,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
DebertaV2ForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
DistilBertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
DistilBertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
DistillGPT2,pass,0
|
||||
|
||||
|
||||
|
||||
ElectraForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
ElectraForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
GPT2ForSequenceClassification,pass,0
|
||||
|
||||
|
||||
|
||||
GoogleFnet,pass,0
|
||||
|
||||
|
||||
|
||||
LayoutLMForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
LayoutLMForSequenceClassification,pass,0
|
||||
|
||||
|
||||
|
||||
M2M100ForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
MBartForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
MBartForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
MT5ForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
MegatronBertForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
MegatronBertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
MobileBertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
MobileBertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
OPTForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
PLBartForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
PLBartForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
PegasusForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
PegasusForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
RobertaForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
RobertaForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
Speech2Text2ForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
T5ForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
T5Small,pass,0
|
||||
|
||||
|
||||
|
||||
TrOCRForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
XGLMForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
XLNetLMHeadModel,pass,0
|
||||
|
||||
|
||||
|
||||
YituTechConvBert,pass,0
|
||||
|
@@ -0,0 +1,185 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
AlbertForMaskedLM,pass,4
|
||||
|
||||
|
||||
|
||||
AlbertForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
AllenaiLongformerBase,pass,9
|
||||
|
||||
|
||||
|
||||
BartForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
BartForConditionalGeneration,pass,8
|
||||
|
||||
|
||||
|
||||
BertForMaskedLM,pass,5
|
||||
|
||||
|
||||
|
||||
BertForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
BlenderbotForCausalLM,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
BlenderbotSmallForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
BlenderbotSmallForConditionalGeneration,pass,8
|
||||
|
||||
|
||||
|
||||
CamemBert,pass,5
|
||||
|
||||
|
||||
|
||||
DebertaForMaskedLM,pass,5
|
||||
|
||||
|
||||
|
||||
DebertaForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
DebertaV2ForMaskedLM,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
DebertaV2ForQuestionAnswering,pass,4
|
||||
|
||||
|
||||
|
||||
DistilBertForMaskedLM,pass,5
|
||||
|
||||
|
||||
|
||||
DistilBertForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
DistillGPT2,pass,5
|
||||
|
||||
|
||||
|
||||
ElectraForCausalLM,pass,4
|
||||
|
||||
|
||||
|
||||
ElectraForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
GPT2ForSequenceClassification,pass,5
|
||||
|
||||
|
||||
|
||||
GoogleFnet,pass,5
|
||||
|
||||
|
||||
|
||||
LayoutLMForMaskedLM,pass,5
|
||||
|
||||
|
||||
|
||||
LayoutLMForSequenceClassification,pass,5
|
||||
|
||||
|
||||
|
||||
M2M100ForConditionalGeneration,pass,4
|
||||
|
||||
|
||||
|
||||
MBartForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
MBartForConditionalGeneration,pass,8
|
||||
|
||||
|
||||
|
||||
MT5ForConditionalGeneration,pass,5
|
||||
|
||||
|
||||
|
||||
MegatronBertForCausalLM,pass,5
|
||||
|
||||
|
||||
|
||||
MegatronBertForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
MobileBertForMaskedLM,pass,3
|
||||
|
||||
|
||||
|
||||
MobileBertForQuestionAnswering,pass,3
|
||||
|
||||
|
||||
|
||||
OPTForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
PLBartForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
PLBartForConditionalGeneration,pass,8
|
||||
|
||||
|
||||
|
||||
PegasusForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
PegasusForConditionalGeneration,pass,7
|
||||
|
||||
|
||||
|
||||
RobertaForCausalLM,pass,5
|
||||
|
||||
|
||||
|
||||
RobertaForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
Speech2Text2ForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
T5ForConditionalGeneration,pass,5
|
||||
|
||||
|
||||
|
||||
T5Small,pass,5
|
||||
|
||||
|
||||
|
||||
TrOCRForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
XGLMForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
XLNetLMHeadModel,pass,5
|
||||
|
||||
|
||||
|
||||
YituTechConvBert,pass,5
|
||||
|
@@ -0,0 +1,245 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
adv_inception_v3,pass,0
|
||||
|
||||
|
||||
|
||||
beit_base_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
botnet26t_256,pass,0
|
||||
|
||||
|
||||
|
||||
cait_m36_384,pass,0
|
||||
|
||||
|
||||
|
||||
coat_lite_mini,pass,0
|
||||
|
||||
|
||||
|
||||
convit_base,pass,0
|
||||
|
||||
|
||||
|
||||
convmixer_768_32,pass,0
|
||||
|
||||
|
||||
|
||||
convnext_base,pass,0
|
||||
|
||||
|
||||
|
||||
crossvit_9_240,pass,0
|
||||
|
||||
|
||||
|
||||
cspdarknet53,pass,0
|
||||
|
||||
|
||||
|
||||
deit_base_distilled_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
dla102,pass,0
|
||||
|
||||
|
||||
|
||||
dm_nfnet_f0,pass,0
|
||||
|
||||
|
||||
|
||||
dpn107,pass,0
|
||||
|
||||
|
||||
|
||||
eca_botnext26ts_256,pass,0
|
||||
|
||||
|
||||
|
||||
eca_halonext26ts,pass,0
|
||||
|
||||
|
||||
|
||||
ese_vovnet19b_dw,pass,0
|
||||
|
||||
|
||||
|
||||
fbnetc_100,pass,0
|
||||
|
||||
|
||||
|
||||
fbnetv3_b,pass,0
|
||||
|
||||
|
||||
|
||||
gernet_l,pass,0
|
||||
|
||||
|
||||
|
||||
ghostnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
gluon_inception_v3,pass,0
|
||||
|
||||
|
||||
|
||||
gmixer_24_224,pass,0
|
||||
|
||||
|
||||
|
||||
gmlp_s16_224,pass,0
|
||||
|
||||
|
||||
|
||||
hrnet_w18,pass,0
|
||||
|
||||
|
||||
|
||||
inception_v3,pass,0
|
||||
|
||||
|
||||
|
||||
jx_nest_base,pass,0
|
||||
|
||||
|
||||
|
||||
lcnet_050,pass,0
|
||||
|
||||
|
||||
|
||||
levit_128,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
mixer_b16_224,pass,0
|
||||
|
||||
|
||||
|
||||
mixnet_l,pass,0
|
||||
|
||||
|
||||
|
||||
mnasnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenetv2_100,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenetv3_large_100,pass,0
|
||||
|
||||
|
||||
|
||||
mobilevit_s,pass,0
|
||||
|
||||
|
||||
|
||||
nfnet_l0,pass,0
|
||||
|
||||
|
||||
|
||||
pit_b_224,pass,0
|
||||
|
||||
|
||||
|
||||
pnasnet5large,pass,0
|
||||
|
||||
|
||||
|
||||
poolformer_m36,pass,0
|
||||
|
||||
|
||||
|
||||
regnety_002,pass,0
|
||||
|
||||
|
||||
|
||||
repvgg_a2,pass,0
|
||||
|
||||
|
||||
|
||||
res2net101_26w_4s,pass,0
|
||||
|
||||
|
||||
|
||||
res2net50_14w_8s,pass,0
|
||||
|
||||
|
||||
|
||||
res2next50,pass,0
|
||||
|
||||
|
||||
|
||||
resmlp_12_224,pass,0
|
||||
|
||||
|
||||
|
||||
resnest101e,pass,0
|
||||
|
||||
|
||||
|
||||
rexnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
sebotnet33ts_256,pass,0
|
||||
|
||||
|
||||
|
||||
selecsls42b,pass,0
|
||||
|
||||
|
||||
|
||||
spnasnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
swin_base_patch4_window7_224,pass,0
|
||||
|
||||
|
||||
|
||||
swsl_resnext101_32x16d,pass,0
|
||||
|
||||
|
||||
|
||||
tf_efficientnet_b0,pass,0
|
||||
|
||||
|
||||
|
||||
tf_mixnet_l,pass,0
|
||||
|
||||
|
||||
|
||||
tinynet_a,pass,0
|
||||
|
||||
|
||||
|
||||
tnt_s_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
twins_pcpvt_base,pass,0
|
||||
|
||||
|
||||
|
||||
visformer_small,pass,0
|
||||
|
||||
|
||||
|
||||
vit_base_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
volo_d1_224,pass,0
|
||||
|
||||
|
||||
|
||||
xcit_large_24_p8_224,pass,0
|
||||
|
@@ -0,0 +1,245 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
adv_inception_v3,pass,6
|
||||
|
||||
|
||||
|
||||
beit_base_patch16_224,pass,7
|
||||
|
||||
|
||||
|
||||
botnet26t_256,pass,6
|
||||
|
||||
|
||||
|
||||
cait_m36_384,pass,6
|
||||
|
||||
|
||||
|
||||
coat_lite_mini,pass,6
|
||||
|
||||
|
||||
|
||||
convit_base,pass,7
|
||||
|
||||
|
||||
|
||||
convmixer_768_32,pass,5
|
||||
|
||||
|
||||
|
||||
convnext_base,pass,7
|
||||
|
||||
|
||||
|
||||
crossvit_9_240,pass,7
|
||||
|
||||
|
||||
|
||||
cspdarknet53,pass,7
|
||||
|
||||
|
||||
|
||||
deit_base_distilled_patch16_224,pass,7
|
||||
|
||||
|
||||
|
||||
dla102,pass,7
|
||||
|
||||
|
||||
|
||||
dm_nfnet_f0,pass,6
|
||||
|
||||
|
||||
|
||||
dpn107,pass,6
|
||||
|
||||
|
||||
|
||||
eca_botnext26ts_256,pass,7
|
||||
|
||||
|
||||
|
||||
eca_halonext26ts,pass,7
|
||||
|
||||
|
||||
|
||||
ese_vovnet19b_dw,pass,7
|
||||
|
||||
|
||||
|
||||
fbnetc_100,pass,7
|
||||
|
||||
|
||||
|
||||
fbnetv3_b,pass,6
|
||||
|
||||
|
||||
|
||||
gernet_l,pass,6
|
||||
|
||||
|
||||
|
||||
ghostnet_100,pass,6
|
||||
|
||||
|
||||
|
||||
gluon_inception_v3,pass,7
|
||||
|
||||
|
||||
|
||||
gmixer_24_224,pass,6
|
||||
|
||||
|
||||
|
||||
gmlp_s16_224,pass,7
|
||||
|
||||
|
||||
|
||||
hrnet_w18,pass,5
|
||||
|
||||
|
||||
|
||||
inception_v3,pass,6
|
||||
|
||||
|
||||
|
||||
jx_nest_base,pass,7
|
||||
|
||||
|
||||
|
||||
lcnet_050,pass,6
|
||||
|
||||
|
||||
|
||||
levit_128,eager_fail_to_run,7
|
||||
|
||||
|
||||
|
||||
mixer_b16_224,pass,7
|
||||
|
||||
|
||||
|
||||
mixnet_l,pass,6
|
||||
|
||||
|
||||
|
||||
mnasnet_100,pass,7
|
||||
|
||||
|
||||
|
||||
mobilenetv2_100,pass,7
|
||||
|
||||
|
||||
|
||||
mobilenetv3_large_100,pass,7
|
||||
|
||||
|
||||
|
||||
mobilevit_s,pass,6
|
||||
|
||||
|
||||
|
||||
nfnet_l0,pass,7
|
||||
|
||||
|
||||
|
||||
pit_b_224,pass,6
|
||||
|
||||
|
||||
|
||||
pnasnet5large,pass,5
|
||||
|
||||
|
||||
|
||||
poolformer_m36,pass,6
|
||||
|
||||
|
||||
|
||||
regnety_002,pass,6
|
||||
|
||||
|
||||
|
||||
repvgg_a2,pass,7
|
||||
|
||||
|
||||
|
||||
res2net101_26w_4s,pass,6
|
||||
|
||||
|
||||
|
||||
res2net50_14w_8s,pass,6
|
||||
|
||||
|
||||
|
||||
res2next50,pass,6
|
||||
|
||||
|
||||
|
||||
resmlp_12_224,pass,6
|
||||
|
||||
|
||||
|
||||
resnest101e,pass,6
|
||||
|
||||
|
||||
|
||||
rexnet_100,pass,7
|
||||
|
||||
|
||||
|
||||
sebotnet33ts_256,pass,6
|
||||
|
||||
|
||||
|
||||
selecsls42b,pass,6
|
||||
|
||||
|
||||
|
||||
spnasnet_100,pass,7
|
||||
|
||||
|
||||
|
||||
swin_base_patch4_window7_224,pass,7
|
||||
|
||||
|
||||
|
||||
swsl_resnext101_32x16d,pass,6
|
||||
|
||||
|
||||
|
||||
tf_efficientnet_b0,pass,6
|
||||
|
||||
|
||||
|
||||
tf_mixnet_l,pass,6
|
||||
|
||||
|
||||
|
||||
tinynet_a,pass,6
|
||||
|
||||
|
||||
|
||||
tnt_s_patch16_224,pass,7
|
||||
|
||||
|
||||
|
||||
twins_pcpvt_base,pass,7
|
||||
|
||||
|
||||
|
||||
visformer_small,pass,7
|
||||
|
||||
|
||||
|
||||
vit_base_patch16_224,pass,7
|
||||
|
||||
|
||||
|
||||
volo_d1_224,pass,7
|
||||
|
||||
|
||||
|
||||
xcit_large_24_p8_224,pass_due_to_skip,7
|
||||
|
@@ -0,0 +1,396 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
torchrec_dlrm,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
BERT_pytorch,pass,0
|
||||
|
||||
|
||||
|
||||
Background_Matting,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
LearningToPaint,pass,0
|
||||
|
||||
|
||||
|
||||
Super_SloMo,pass,0
|
||||
|
||||
|
||||
|
||||
alexnet,pass,0
|
||||
|
||||
|
||||
|
||||
basic_gnn_edgecnn,pass,0
|
||||
|
||||
|
||||
|
||||
basic_gnn_gcn,pass,6
|
||||
|
||||
|
||||
|
||||
basic_gnn_gin,pass,0
|
||||
|
||||
|
||||
|
||||
basic_gnn_sage,pass,0
|
||||
|
||||
|
||||
|
||||
cm3leon_generate,pass,4
|
||||
|
||||
|
||||
|
||||
dcgan,pass,0
|
||||
|
||||
|
||||
|
||||
demucs,pass,3
|
||||
|
||||
|
||||
|
||||
densenet121,pass,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_101_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_101_dc5,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_101_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_50_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_50_dc5,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_50_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fcos_r_50_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_101_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_101_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_50_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_50_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
dlrm,pass,0
|
||||
|
||||
|
||||
|
||||
doctr_det_predictor,eager_fail_to_run,5
|
||||
|
||||
|
||||
|
||||
doctr_reco_predictor,eager_fail_to_run,4
|
||||
|
||||
|
||||
|
||||
drq,pass,0
|
||||
|
||||
|
||||
|
||||
fastNLP_Bert,pass,4
|
||||
|
||||
|
||||
|
||||
functorch_dp_cifar10,pass,0
|
||||
|
||||
|
||||
|
||||
functorch_maml_omniglot,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Albert,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Bart,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Bert,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Bert_large,pass,0
|
||||
|
||||
|
||||
|
||||
hf_BigBird,pass,9
|
||||
|
||||
|
||||
|
||||
hf_DistilBert,pass,0
|
||||
|
||||
|
||||
|
||||
hf_GPT2,pass,0
|
||||
|
||||
|
||||
|
||||
hf_GPT2_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
hf_Longformer,pass,4
|
||||
|
||||
|
||||
|
||||
hf_Reformer,pass,5
|
||||
|
||||
|
||||
|
||||
hf_Roberta_base,pass,0
|
||||
|
||||
|
||||
hf_T5,pass,0
|
||||
|
||||
|
||||
|
||||
hf_T5_base,pass,0
|
||||
|
||||
|
||||
|
||||
hf_T5_generate,pass,5
|
||||
|
||||
|
||||
|
||||
hf_T5_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
hf_Whisper,pass,0
|
||||
|
||||
|
||||
|
||||
hf_distil_whisper,pass,0
|
||||
|
||||
|
||||
|
||||
lennard_jones,pass,0
|
||||
|
||||
|
||||
|
||||
llama,pass,0
|
||||
|
||||
|
||||
|
||||
llama_v2_7b_16h,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
llava,pass,0
|
||||
|
||||
|
||||
|
||||
maml,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
maml_omniglot,pass,0
|
||||
|
||||
|
||||
|
||||
microbench_unbacked_tolist_sum,pass,1
|
||||
|
||||
|
||||
|
||||
mnasnet1_0,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenet_v2,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenet_v2_quantized_qat,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
mobilenet_v3_large,pass,0
|
||||
|
||||
|
||||
|
||||
moco,pass,7
|
||||
|
||||
|
||||
|
||||
moondream,pass,0
|
||||
|
||||
|
||||
|
||||
nanogpt,pass,0
|
||||
|
||||
|
||||
|
||||
nvidia_deeprecommender,pass,0
|
||||
|
||||
|
||||
|
||||
opacus_cifar10,pass,0
|
||||
|
||||
|
||||
|
||||
phlippe_densenet,pass,0
|
||||
|
||||
|
||||
|
||||
phlippe_resnet,pass,0
|
||||
|
||||
|
||||
|
||||
pyhpc_equation_of_state,pass,0
|
||||
|
||||
|
||||
|
||||
pyhpc_isoneutral_mixing,pass,0
|
||||
|
||||
|
||||
|
||||
pyhpc_turbulent_kinetic_energy,pass,0
|
||||
|
||||
|
||||
|
||||
pytorch_CycleGAN_and_pix2pix,pass,0
|
||||
|
||||
|
||||
|
||||
pytorch_stargan,pass,0
|
||||
|
||||
|
||||
|
||||
pytorch_unet,pass,0
|
||||
|
||||
|
||||
|
||||
resnet152,pass,0
|
||||
|
||||
|
||||
|
||||
resnet18,pass,0
|
||||
|
||||
|
||||
|
||||
resnet50,pass,0
|
||||
|
||||
|
||||
|
||||
resnet50_quantized_qat,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
resnext50_32x4d,pass,0
|
||||
|
||||
|
||||
|
||||
sam,pass,0
|
||||
|
||||
|
||||
|
||||
sam_fast,pass,0
|
||||
|
||||
|
||||
|
||||
shufflenet_v2_x1_0,pass,0
|
||||
|
||||
|
||||
|
||||
soft_actor_critic,pass,0
|
||||
|
||||
|
||||
|
||||
speech_transformer,pass,10
|
||||
|
||||
|
||||
|
||||
squeezenet1_1,pass,0
|
||||
|
||||
|
||||
|
||||
stable_diffusion_text_encoder,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
stable_diffusion_unet,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
timm_efficientdet,pass,2
|
||||
|
||||
|
||||
|
||||
timm_efficientnet,pass,0
|
||||
|
||||
|
||||
|
||||
timm_nfnet,pass,0
|
||||
|
||||
|
||||
|
||||
timm_regnet,pass,0
|
||||
|
||||
|
||||
|
||||
timm_resnest,pass,0
|
||||
|
||||
|
||||
|
||||
timm_vision_transformer,pass,0
|
||||
|
||||
|
||||
|
||||
timm_vision_transformer_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
timm_vovnet,pass,0
|
||||
|
||||
|
||||
|
||||
torch_multimodal_clip,pass,0
|
||||
|
||||
|
||||
|
||||
tts_angular,pass,2
|
||||
|
||||
|
||||
|
||||
vgg16,eager_two_runs_differ,0
|
||||
|
||||
|
||||
|
||||
vision_maskrcnn,pass,18
|
||||
|
||||
|
||||
|
||||
yolov3,pass,0
|
||||
|
@@ -0,0 +1,305 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
torchrec_dlrm,pass,6
|
||||
|
||||
|
||||
|
||||
BERT_pytorch,pass,6
|
||||
|
||||
|
||||
|
||||
Background_Matting,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
LearningToPaint,pass,6
|
||||
|
||||
|
||||
|
||||
Super_SloMo,pass,7
|
||||
|
||||
|
||||
|
||||
alexnet,pass,6
|
||||
|
||||
|
||||
|
||||
basic_gnn_edgecnn,pass,20
|
||||
|
||||
|
||||
|
||||
basic_gnn_gcn,pass,13
|
||||
|
||||
|
||||
|
||||
basic_gnn_gin,pass,7
|
||||
|
||||
|
||||
|
||||
basic_gnn_sage,pass,7
|
||||
|
||||
|
||||
|
||||
dcgan,pass,6
|
||||
|
||||
|
||||
|
||||
demucs,pass,9
|
||||
|
||||
|
||||
|
||||
densenet121,pass,6
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_50_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
dlrm,pass,6
|
||||
|
||||
|
||||
|
||||
drq,pass,7
|
||||
|
||||
|
||||
|
||||
fastNLP_Bert,pass,10
|
||||
|
||||
|
||||
|
||||
functorch_dp_cifar10,pass,7
|
||||
|
||||
|
||||
|
||||
functorch_maml_omniglot,pass,7
|
||||
|
||||
|
||||
|
||||
hf_Albert,pass,6
|
||||
|
||||
|
||||
|
||||
hf_Bart,pass,6
|
||||
|
||||
|
||||
|
||||
hf_Bert,pass,6
|
||||
|
||||
|
||||
|
||||
hf_Bert_large,pass,6
|
||||
|
||||
|
||||
|
||||
hf_BigBird,pass,6
|
||||
|
||||
|
||||
|
||||
hf_DistilBert,pass,6
|
||||
|
||||
|
||||
|
||||
hf_GPT2,pass,6
|
||||
|
||||
|
||||
|
||||
hf_GPT2_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
hf_Longformer,pass,4
|
||||
|
||||
|
||||
|
||||
hf_Reformer,pass,23
|
||||
|
||||
|
||||
|
||||
hf_Roberta_base,pass,6
|
||||
|
||||
|
||||
|
||||
hf_T5,pass,0
|
||||
|
||||
|
||||
|
||||
hf_T5_base,eager_2nd_run_OOM,0
|
||||
|
||||
|
||||
|
||||
hf_T5_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
hf_Whisper,pass,6
|
||||
|
||||
|
||||
|
||||
hf_distil_whisper,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
lennard_jones,pass,7
|
||||
|
||||
|
||||
|
||||
llava,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
maml_omniglot,pass,7
|
||||
|
||||
|
||||
|
||||
mnasnet1_0,pass,7
|
||||
|
||||
|
||||
|
||||
mobilenet_v2,pass,6
|
||||
|
||||
|
||||
|
||||
mobilenet_v2_quantized_qat,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
mobilenet_v3_large,pass,7
|
||||
|
||||
|
||||
|
||||
moco,pass,13
|
||||
|
||||
|
||||
|
||||
nanogpt,pass,7
|
||||
|
||||
|
||||
|
||||
nvidia_deeprecommender,pass,7
|
||||
|
||||
|
||||
|
||||
opacus_cifar10,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
phlippe_densenet,pass,6
|
||||
|
||||
|
||||
|
||||
phlippe_resnet,pass,6
|
||||
|
||||
|
||||
|
||||
pytorch_CycleGAN_and_pix2pix,pass,6
|
||||
|
||||
|
||||
|
||||
pytorch_stargan,pass,6
|
||||
|
||||
|
||||
|
||||
pytorch_unet,pass_due_to_skip,7
|
||||
|
||||
|
||||
|
||||
resnet152,pass,7
|
||||
|
||||
|
||||
|
||||
resnet18,pass,6
|
||||
|
||||
|
||||
|
||||
resnet50,pass,6
|
||||
|
||||
|
||||
|
||||
resnet50_quantized_qat,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
resnext50_32x4d,pass,7
|
||||
|
||||
|
||||
|
||||
sam,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
shufflenet_v2_x1_0,pass,6
|
||||
|
||||
|
||||
|
||||
soft_actor_critic,pass,6
|
||||
|
||||
|
||||
|
||||
speech_transformer,pass,16
|
||||
|
||||
|
||||
|
||||
squeezenet1_1,pass,6
|
||||
|
||||
|
||||
|
||||
stable_diffusion_text_encoder,pass,0
|
||||
|
||||
|
||||
|
||||
stable_diffusion_unet,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
timm_efficientdet,pass,2
|
||||
|
||||
|
||||
|
||||
timm_efficientnet,pass,7
|
||||
|
||||
|
||||
|
||||
timm_nfnet,pass,0
|
||||
|
||||
|
||||
|
||||
timm_regnet,pass,6
|
||||
|
||||
|
||||
|
||||
timm_resnest,pass,7
|
||||
|
||||
|
||||
|
||||
timm_vision_transformer,pass,6
|
||||
|
||||
|
||||
|
||||
timm_vision_transformer_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
timm_vovnet,pass,6
|
||||
|
||||
|
||||
|
||||
torch_multimodal_clip,pass,7
|
||||
|
||||
|
||||
|
||||
tts_angular,pass,9
|
||||
|
||||
|
||||
|
||||
vgg16,pass,6
|
||||
|
||||
|
||||
|
||||
vision_maskrcnn,pass,35
|
||||
|
||||
|
||||
|
||||
yolov3,pass,8
|
||||
|
@@ -0,0 +1,181 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
AlbertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
AlbertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
BartForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
BartForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
BertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
BertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
BlenderbotForCausalLM,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
BlenderbotSmallForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
BlenderbotSmallForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
CamemBert,pass,0
|
||||
|
||||
|
||||
|
||||
DebertaForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
DebertaForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
DebertaV2ForMaskedLM,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
DebertaV2ForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
DistilBertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
DistilBertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
DistillGPT2,pass,0
|
||||
|
||||
|
||||
|
||||
ElectraForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
ElectraForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
GPT2ForSequenceClassification,pass,0
|
||||
|
||||
|
||||
|
||||
GoogleFnet,pass,0
|
||||
|
||||
|
||||
|
||||
LayoutLMForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
LayoutLMForSequenceClassification,pass,0
|
||||
|
||||
|
||||
|
||||
M2M100ForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
MBartForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
MBartForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
MT5ForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
MegatronBertForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
MegatronBertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
MobileBertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
MobileBertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
OPTForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
PLBartForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
PLBartForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
PegasusForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
PegasusForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
RobertaForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
RobertaForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
Speech2Text2ForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
T5ForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
T5Small,pass,0
|
||||
|
||||
|
||||
|
||||
TrOCRForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
XGLMForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
XLNetLMHeadModel,pass,0
|
||||
|
||||
|
||||
|
||||
YituTechConvBert,pass,0
|
||||
|
@@ -0,0 +1,245 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
adv_inception_v3,pass,0
|
||||
|
||||
|
||||
|
||||
beit_base_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
botnet26t_256,pass,0
|
||||
|
||||
|
||||
|
||||
cait_m36_384,pass,0
|
||||
|
||||
|
||||
|
||||
coat_lite_mini,pass,0
|
||||
|
||||
|
||||
|
||||
convit_base,pass,0
|
||||
|
||||
|
||||
|
||||
convmixer_768_32,pass,0
|
||||
|
||||
|
||||
|
||||
convnext_base,pass,0
|
||||
|
||||
|
||||
|
||||
crossvit_9_240,pass,0
|
||||
|
||||
|
||||
|
||||
cspdarknet53,pass,0
|
||||
|
||||
|
||||
|
||||
deit_base_distilled_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
dla102,pass,0
|
||||
|
||||
|
||||
|
||||
dm_nfnet_f0,pass,0
|
||||
|
||||
|
||||
|
||||
dpn107,pass,0
|
||||
|
||||
|
||||
|
||||
eca_botnext26ts_256,pass,0
|
||||
|
||||
|
||||
|
||||
eca_halonext26ts,pass,0
|
||||
|
||||
|
||||
|
||||
ese_vovnet19b_dw,pass,0
|
||||
|
||||
|
||||
|
||||
fbnetc_100,pass,0
|
||||
|
||||
|
||||
|
||||
fbnetv3_b,pass,0
|
||||
|
||||
|
||||
|
||||
gernet_l,pass,0
|
||||
|
||||
|
||||
|
||||
ghostnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
gluon_inception_v3,pass,0
|
||||
|
||||
|
||||
|
||||
gmixer_24_224,pass,0
|
||||
|
||||
|
||||
|
||||
gmlp_s16_224,pass,0
|
||||
|
||||
|
||||
|
||||
hrnet_w18,pass,0
|
||||
|
||||
|
||||
|
||||
inception_v3,pass,0
|
||||
|
||||
|
||||
|
||||
jx_nest_base,pass,0
|
||||
|
||||
|
||||
|
||||
lcnet_050,pass,0
|
||||
|
||||
|
||||
|
||||
levit_128,pass,0
|
||||
|
||||
|
||||
|
||||
mixer_b16_224,pass,0
|
||||
|
||||
|
||||
|
||||
mixnet_l,pass,0
|
||||
|
||||
|
||||
|
||||
mnasnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenetv2_100,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenetv3_large_100,pass,0
|
||||
|
||||
|
||||
|
||||
mobilevit_s,pass,0
|
||||
|
||||
|
||||
|
||||
nfnet_l0,pass,0
|
||||
|
||||
|
||||
|
||||
pit_b_224,pass,0
|
||||
|
||||
|
||||
|
||||
pnasnet5large,pass,0
|
||||
|
||||
|
||||
|
||||
poolformer_m36,pass,0
|
||||
|
||||
|
||||
|
||||
regnety_002,pass,0
|
||||
|
||||
|
||||
|
||||
repvgg_a2,pass,0
|
||||
|
||||
|
||||
|
||||
res2net101_26w_4s,pass,0
|
||||
|
||||
|
||||
|
||||
res2net50_14w_8s,pass,0
|
||||
|
||||
|
||||
|
||||
res2next50,pass,0
|
||||
|
||||
|
||||
|
||||
resmlp_12_224,pass,0
|
||||
|
||||
|
||||
|
||||
resnest101e,pass,0
|
||||
|
||||
|
||||
|
||||
rexnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
sebotnet33ts_256,pass,0
|
||||
|
||||
|
||||
|
||||
selecsls42b,pass,0
|
||||
|
||||
|
||||
|
||||
spnasnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
swin_base_patch4_window7_224,pass,0
|
||||
|
||||
|
||||
|
||||
swsl_resnext101_32x16d,pass,0
|
||||
|
||||
|
||||
|
||||
tf_efficientnet_b0,pass,0
|
||||
|
||||
|
||||
|
||||
tf_mixnet_l,pass,0
|
||||
|
||||
|
||||
|
||||
tinynet_a,pass,0
|
||||
|
||||
|
||||
|
||||
tnt_s_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
twins_pcpvt_base,pass,0
|
||||
|
||||
|
||||
|
||||
visformer_small,pass,0
|
||||
|
||||
|
||||
|
||||
vit_base_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
volo_d1_224,pass,0
|
||||
|
||||
|
||||
|
||||
xcit_large_24_p8_224,pass,0
|
||||
|
@@ -0,0 +1,349 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
torchrec_dlrm,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
BERT_pytorch,pass,0
|
||||
|
||||
|
||||
|
||||
Background_Matting,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
LearningToPaint,pass,0
|
||||
|
||||
|
||||
|
||||
Super_SloMo,pass,0
|
||||
|
||||
|
||||
|
||||
alexnet,pass,0
|
||||
|
||||
|
||||
|
||||
basic_gnn_edgecnn,pass,0
|
||||
|
||||
|
||||
|
||||
basic_gnn_gcn,pass,0
|
||||
|
||||
|
||||
|
||||
basic_gnn_gin,pass,0
|
||||
|
||||
|
||||
|
||||
basic_gnn_sage,pass,0
|
||||
|
||||
|
||||
|
||||
dcgan,pass,0
|
||||
|
||||
|
||||
|
||||
demucs,pass,0
|
||||
|
||||
|
||||
|
||||
densenet121,pass,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_101_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_101_dc5,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_101_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_50_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_50_dc5,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_50_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_101_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_101_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_50_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_50_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
dlrm,pass,0
|
||||
|
||||
|
||||
|
||||
doctr_det_predictor,fail_to_run,0
|
||||
|
||||
|
||||
|
||||
doctr_reco_predictor,fail_to_run,0
|
||||
|
||||
|
||||
|
||||
drq,fail_to_run,0
|
||||
|
||||
|
||||
|
||||
functorch_dp_cifar10,pass,0
|
||||
|
||||
|
||||
|
||||
functorch_maml_omniglot,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Albert,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Bart,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Bert,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Bert_large,pass,0
|
||||
|
||||
|
||||
|
||||
hf_BigBird,fail_accuracy,0
|
||||
|
||||
|
||||
|
||||
hf_DistilBert,pass,0
|
||||
|
||||
|
||||
|
||||
hf_GPT2,pass,0
|
||||
|
||||
|
||||
|
||||
hf_GPT2_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
hf_T5,pass,0
|
||||
|
||||
|
||||
|
||||
hf_T5_base,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
hf_T5_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
hf_Whisper,pass,0
|
||||
|
||||
|
||||
|
||||
hf_distil_whisper,pass,0
|
||||
|
||||
|
||||
|
||||
lennard_jones,pass,0
|
||||
|
||||
|
||||
|
||||
llama,fail_to_run,0
|
||||
|
||||
|
||||
|
||||
llama_v2_7b_16h,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
llava,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
maml,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
maml_omniglot,pass,0
|
||||
|
||||
|
||||
|
||||
mnasnet1_0,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenet_v2,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenet_v2_quantized_qat,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
mobilenet_v3_large,pass,0
|
||||
|
||||
|
||||
|
||||
moco,fail_to_run,0
|
||||
|
||||
|
||||
|
||||
moondream,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
nanogpt,pass,0
|
||||
|
||||
|
||||
|
||||
nvidia_deeprecommender,pass,0
|
||||
|
||||
|
||||
|
||||
phlippe_densenet,pass,0
|
||||
|
||||
|
||||
|
||||
phlippe_resnet,pass,0
|
||||
|
||||
|
||||
|
||||
pyhpc_equation_of_state,pass,0
|
||||
|
||||
|
||||
|
||||
pyhpc_isoneutral_mixing,pass,0
|
||||
|
||||
|
||||
|
||||
pyhpc_turbulent_kinetic_energy,pass,0
|
||||
|
||||
|
||||
|
||||
pytorch_CycleGAN_and_pix2pix,pass,0
|
||||
|
||||
|
||||
|
||||
pytorch_stargan,pass,0
|
||||
|
||||
|
||||
|
||||
pytorch_unet,pass,0
|
||||
|
||||
|
||||
|
||||
resnet152,pass,0
|
||||
|
||||
|
||||
|
||||
resnet18,pass,0
|
||||
|
||||
|
||||
|
||||
resnet50,pass,0
|
||||
|
||||
|
||||
|
||||
resnet50_quantized_qat,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
resnext50_32x4d,pass,0
|
||||
|
||||
|
||||
|
||||
sam,pass,0
|
||||
|
||||
|
||||
|
||||
sam_fast,fail_to_run,0
|
||||
|
||||
|
||||
|
||||
shufflenet_v2_x1_0,pass,0
|
||||
|
||||
|
||||
|
||||
soft_actor_critic,fail_to_run,0
|
||||
|
||||
|
||||
|
||||
squeezenet1_1,pass,0
|
||||
|
||||
|
||||
|
||||
stable_diffusion_text_encoder,pass,0
|
||||
|
||||
|
||||
|
||||
stable_diffusion_unet,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
timm_efficientnet,pass,0
|
||||
|
||||
|
||||
|
||||
timm_regnet,pass,0
|
||||
|
||||
|
||||
|
||||
timm_resnest,pass,0
|
||||
|
||||
|
||||
|
||||
timm_vision_transformer,pass,0
|
||||
|
||||
|
||||
|
||||
timm_vision_transformer_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
timm_vovnet,pass,0
|
||||
|
||||
|
||||
|
||||
torch_multimodal_clip,pass,0
|
||||
|
||||
|
||||
|
||||
tts_angular,fail_to_run,0
|
||||
|
||||
|
||||
|
||||
vgg16,pass,0
|
||||
|
||||
|
||||
|
||||
vision_maskrcnn,fail_to_run,0
|
||||
|
||||
|
||||
|
||||
yolov3,pass,0
|
||||
|
@@ -0,0 +1,185 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
AlbertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
AlbertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
AllenaiLongformerBase,pass,4
|
||||
|
||||
|
||||
|
||||
BartForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
BartForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
BertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
BertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
BlenderbotForCausalLM,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
BlenderbotSmallForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
BlenderbotSmallForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
CamemBert,pass,0
|
||||
|
||||
|
||||
|
||||
DebertaForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
DebertaForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
DebertaV2ForMaskedLM,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
DebertaV2ForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
DistilBertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
DistilBertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
DistillGPT2,pass,0
|
||||
|
||||
|
||||
|
||||
ElectraForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
ElectraForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
GPT2ForSequenceClassification,pass,0
|
||||
|
||||
|
||||
|
||||
GoogleFnet,pass,0
|
||||
|
||||
|
||||
|
||||
LayoutLMForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
LayoutLMForSequenceClassification,pass,0
|
||||
|
||||
|
||||
|
||||
M2M100ForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
MBartForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
MBartForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
MT5ForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
MegatronBertForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
MegatronBertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
MobileBertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
MobileBertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
OPTForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
PLBartForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
PLBartForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
PegasusForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
PegasusForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
RobertaForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
RobertaForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
Speech2Text2ForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
T5ForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
T5Small,pass,0
|
||||
|
||||
|
||||
|
||||
TrOCRForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
XGLMForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
XLNetLMHeadModel,pass,0
|
||||
|
||||
|
||||
|
||||
YituTechConvBert,pass,0
|
||||
|
@@ -0,0 +1,185 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
AlbertForMaskedLM,pass,4
|
||||
|
||||
|
||||
|
||||
AlbertForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
AllenaiLongformerBase,pass,9
|
||||
|
||||
|
||||
|
||||
BartForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
BartForConditionalGeneration,pass,8
|
||||
|
||||
|
||||
|
||||
BertForMaskedLM,pass,5
|
||||
|
||||
|
||||
|
||||
BertForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
BlenderbotForCausalLM,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
BlenderbotSmallForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
BlenderbotSmallForConditionalGeneration,pass,8
|
||||
|
||||
|
||||
|
||||
CamemBert,pass,5
|
||||
|
||||
|
||||
|
||||
DebertaForMaskedLM,pass,5
|
||||
|
||||
|
||||
|
||||
DebertaForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
DebertaV2ForMaskedLM,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
DebertaV2ForQuestionAnswering,pass,4
|
||||
|
||||
|
||||
|
||||
DistilBertForMaskedLM,pass,5
|
||||
|
||||
|
||||
|
||||
DistilBertForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
DistillGPT2,pass,5
|
||||
|
||||
|
||||
|
||||
ElectraForCausalLM,pass,4
|
||||
|
||||
|
||||
|
||||
ElectraForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
GPT2ForSequenceClassification,pass,5
|
||||
|
||||
|
||||
|
||||
GoogleFnet,pass,5
|
||||
|
||||
|
||||
|
||||
LayoutLMForMaskedLM,pass,5
|
||||
|
||||
|
||||
|
||||
LayoutLMForSequenceClassification,pass,5
|
||||
|
||||
|
||||
|
||||
M2M100ForConditionalGeneration,pass,4
|
||||
|
||||
|
||||
|
||||
MBartForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
MBartForConditionalGeneration,pass,8
|
||||
|
||||
|
||||
|
||||
MT5ForConditionalGeneration,pass,5
|
||||
|
||||
|
||||
|
||||
MegatronBertForCausalLM,pass,5
|
||||
|
||||
|
||||
|
||||
MegatronBertForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
MobileBertForMaskedLM,pass,3
|
||||
|
||||
|
||||
|
||||
MobileBertForQuestionAnswering,pass,3
|
||||
|
||||
|
||||
|
||||
OPTForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
PLBartForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
PLBartForConditionalGeneration,pass,8
|
||||
|
||||
|
||||
|
||||
PegasusForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
PegasusForConditionalGeneration,pass,7
|
||||
|
||||
|
||||
|
||||
RobertaForCausalLM,pass,5
|
||||
|
||||
|
||||
|
||||
RobertaForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
Speech2Text2ForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
T5ForConditionalGeneration,pass,5
|
||||
|
||||
|
||||
|
||||
T5Small,pass,5
|
||||
|
||||
|
||||
|
||||
TrOCRForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
XGLMForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
XLNetLMHeadModel,pass,5
|
||||
|
||||
|
||||
|
||||
YituTechConvBert,pass,5
|
||||
|
@@ -0,0 +1,245 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
adv_inception_v3,pass,0
|
||||
|
||||
|
||||
|
||||
beit_base_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
botnet26t_256,pass,0
|
||||
|
||||
|
||||
|
||||
cait_m36_384,pass,0
|
||||
|
||||
|
||||
|
||||
coat_lite_mini,pass,0
|
||||
|
||||
|
||||
|
||||
convit_base,pass,0
|
||||
|
||||
|
||||
|
||||
convmixer_768_32,pass,0
|
||||
|
||||
|
||||
|
||||
convnext_base,pass,0
|
||||
|
||||
|
||||
|
||||
crossvit_9_240,pass,0
|
||||
|
||||
|
||||
|
||||
cspdarknet53,pass,0
|
||||
|
||||
|
||||
|
||||
deit_base_distilled_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
dla102,pass,0
|
||||
|
||||
|
||||
|
||||
dm_nfnet_f0,pass,0
|
||||
|
||||
|
||||
|
||||
dpn107,pass,0
|
||||
|
||||
|
||||
|
||||
eca_botnext26ts_256,pass,0
|
||||
|
||||
|
||||
|
||||
eca_halonext26ts,pass,0
|
||||
|
||||
|
||||
|
||||
ese_vovnet19b_dw,pass,0
|
||||
|
||||
|
||||
|
||||
fbnetc_100,pass,0
|
||||
|
||||
|
||||
|
||||
fbnetv3_b,pass,0
|
||||
|
||||
|
||||
|
||||
gernet_l,pass,0
|
||||
|
||||
|
||||
|
||||
ghostnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
gluon_inception_v3,pass,0
|
||||
|
||||
|
||||
|
||||
gmixer_24_224,pass,0
|
||||
|
||||
|
||||
|
||||
gmlp_s16_224,pass,0
|
||||
|
||||
|
||||
|
||||
hrnet_w18,pass,0
|
||||
|
||||
|
||||
|
||||
inception_v3,pass,0
|
||||
|
||||
|
||||
|
||||
jx_nest_base,pass,0
|
||||
|
||||
|
||||
|
||||
lcnet_050,pass,0
|
||||
|
||||
|
||||
|
||||
levit_128,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
mixer_b16_224,pass,0
|
||||
|
||||
|
||||
|
||||
mixnet_l,pass,0
|
||||
|
||||
|
||||
|
||||
mnasnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenetv2_100,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenetv3_large_100,pass,0
|
||||
|
||||
|
||||
|
||||
mobilevit_s,pass,0
|
||||
|
||||
|
||||
|
||||
nfnet_l0,pass,0
|
||||
|
||||
|
||||
|
||||
pit_b_224,pass,0
|
||||
|
||||
|
||||
|
||||
pnasnet5large,pass,0
|
||||
|
||||
|
||||
|
||||
poolformer_m36,pass,0
|
||||
|
||||
|
||||
|
||||
regnety_002,pass,0
|
||||
|
||||
|
||||
|
||||
repvgg_a2,pass,0
|
||||
|
||||
|
||||
|
||||
res2net101_26w_4s,pass,0
|
||||
|
||||
|
||||
|
||||
res2net50_14w_8s,pass,0
|
||||
|
||||
|
||||
|
||||
res2next50,pass,0
|
||||
|
||||
|
||||
|
||||
resmlp_12_224,pass,0
|
||||
|
||||
|
||||
|
||||
resnest101e,pass,0
|
||||
|
||||
|
||||
|
||||
rexnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
sebotnet33ts_256,pass,0
|
||||
|
||||
|
||||
|
||||
selecsls42b,pass,0
|
||||
|
||||
|
||||
|
||||
spnasnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
swin_base_patch4_window7_224,pass,0
|
||||
|
||||
|
||||
|
||||
swsl_resnext101_32x16d,pass,0
|
||||
|
||||
|
||||
|
||||
tf_efficientnet_b0,pass,0
|
||||
|
||||
|
||||
|
||||
tf_mixnet_l,pass,0
|
||||
|
||||
|
||||
|
||||
tinynet_a,pass,0
|
||||
|
||||
|
||||
|
||||
tnt_s_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
twins_pcpvt_base,pass,0
|
||||
|
||||
|
||||
|
||||
visformer_small,pass,0
|
||||
|
||||
|
||||
|
||||
vit_base_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
volo_d1_224,pass,0
|
||||
|
||||
|
||||
|
||||
xcit_large_24_p8_224,pass,0
|
||||
|
@@ -0,0 +1,245 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
adv_inception_v3,pass,6
|
||||
|
||||
|
||||
|
||||
beit_base_patch16_224,pass,7
|
||||
|
||||
|
||||
|
||||
botnet26t_256,pass,6
|
||||
|
||||
|
||||
|
||||
cait_m36_384,pass,6
|
||||
|
||||
|
||||
|
||||
coat_lite_mini,pass,6
|
||||
|
||||
|
||||
|
||||
convit_base,pass,7
|
||||
|
||||
|
||||
|
||||
convmixer_768_32,pass,5
|
||||
|
||||
|
||||
|
||||
convnext_base,pass,7
|
||||
|
||||
|
||||
|
||||
crossvit_9_240,pass,7
|
||||
|
||||
|
||||
|
||||
cspdarknet53,pass,7
|
||||
|
||||
|
||||
|
||||
deit_base_distilled_patch16_224,pass,7
|
||||
|
||||
|
||||
|
||||
dla102,pass,7
|
||||
|
||||
|
||||
|
||||
dm_nfnet_f0,pass,6
|
||||
|
||||
|
||||
|
||||
dpn107,pass,6
|
||||
|
||||
|
||||
|
||||
eca_botnext26ts_256,pass,7
|
||||
|
||||
|
||||
|
||||
eca_halonext26ts,pass,7
|
||||
|
||||
|
||||
|
||||
ese_vovnet19b_dw,pass,7
|
||||
|
||||
|
||||
|
||||
fbnetc_100,pass,7
|
||||
|
||||
|
||||
|
||||
fbnetv3_b,pass,6
|
||||
|
||||
|
||||
|
||||
gernet_l,pass,6
|
||||
|
||||
|
||||
|
||||
ghostnet_100,pass,6
|
||||
|
||||
|
||||
|
||||
gluon_inception_v3,pass,7
|
||||
|
||||
|
||||
|
||||
gmixer_24_224,pass,6
|
||||
|
||||
|
||||
|
||||
gmlp_s16_224,pass,7
|
||||
|
||||
|
||||
|
||||
hrnet_w18,pass,5
|
||||
|
||||
|
||||
|
||||
inception_v3,pass,6
|
||||
|
||||
|
||||
|
||||
jx_nest_base,pass,7
|
||||
|
||||
|
||||
|
||||
lcnet_050,pass,6
|
||||
|
||||
|
||||
|
||||
levit_128,eager_fail_to_run,7
|
||||
|
||||
|
||||
|
||||
mixer_b16_224,pass,7
|
||||
|
||||
|
||||
|
||||
mixnet_l,pass,6
|
||||
|
||||
|
||||
|
||||
mnasnet_100,pass,7
|
||||
|
||||
|
||||
|
||||
mobilenetv2_100,pass,7
|
||||
|
||||
|
||||
|
||||
mobilenetv3_large_100,pass,7
|
||||
|
||||
|
||||
|
||||
mobilevit_s,pass,6
|
||||
|
||||
|
||||
|
||||
nfnet_l0,pass,7
|
||||
|
||||
|
||||
|
||||
pit_b_224,pass,6
|
||||
|
||||
|
||||
|
||||
pnasnet5large,pass,5
|
||||
|
||||
|
||||
|
||||
poolformer_m36,pass,6
|
||||
|
||||
|
||||
|
||||
regnety_002,pass,6
|
||||
|
||||
|
||||
|
||||
repvgg_a2,pass,7
|
||||
|
||||
|
||||
|
||||
res2net101_26w_4s,pass,6
|
||||
|
||||
|
||||
|
||||
res2net50_14w_8s,pass,6
|
||||
|
||||
|
||||
|
||||
res2next50,pass,6
|
||||
|
||||
|
||||
|
||||
resmlp_12_224,pass,6
|
||||
|
||||
|
||||
|
||||
resnest101e,pass,6
|
||||
|
||||
|
||||
|
||||
rexnet_100,pass,7
|
||||
|
||||
|
||||
|
||||
sebotnet33ts_256,pass,6
|
||||
|
||||
|
||||
|
||||
selecsls42b,pass,6
|
||||
|
||||
|
||||
|
||||
spnasnet_100,pass,7
|
||||
|
||||
|
||||
|
||||
swin_base_patch4_window7_224,pass,7
|
||||
|
||||
|
||||
|
||||
swsl_resnext101_32x16d,pass,6
|
||||
|
||||
|
||||
|
||||
tf_efficientnet_b0,pass,6
|
||||
|
||||
|
||||
|
||||
tf_mixnet_l,pass,6
|
||||
|
||||
|
||||
|
||||
tinynet_a,pass,6
|
||||
|
||||
|
||||
|
||||
tnt_s_patch16_224,pass,7
|
||||
|
||||
|
||||
|
||||
twins_pcpvt_base,pass,7
|
||||
|
||||
|
||||
|
||||
visformer_small,pass,7
|
||||
|
||||
|
||||
|
||||
vit_base_patch16_224,pass,7
|
||||
|
||||
|
||||
|
||||
volo_d1_224,pass,7
|
||||
|
||||
|
||||
|
||||
xcit_large_24_p8_224,pass_due_to_skip,7
|
||||
|
@@ -0,0 +1,396 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
torchrec_dlrm,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
BERT_pytorch,pass,0
|
||||
|
||||
|
||||
|
||||
Background_Matting,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
LearningToPaint,pass,0
|
||||
|
||||
|
||||
|
||||
Super_SloMo,pass,0
|
||||
|
||||
|
||||
|
||||
alexnet,eager_two_runs_differ,0
|
||||
|
||||
|
||||
|
||||
basic_gnn_edgecnn,pass,0
|
||||
|
||||
|
||||
|
||||
basic_gnn_gcn,pass,6
|
||||
|
||||
|
||||
|
||||
basic_gnn_gin,pass,0
|
||||
|
||||
|
||||
|
||||
basic_gnn_sage,pass,0
|
||||
|
||||
|
||||
|
||||
cm3leon_generate,pass,4
|
||||
|
||||
|
||||
|
||||
dcgan,pass,0
|
||||
|
||||
|
||||
|
||||
demucs,pass,3
|
||||
|
||||
|
||||
|
||||
densenet121,pass,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_101_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_101_dc5,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_101_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_50_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_50_dc5,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_50_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fcos_r_50_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_101_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_101_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_50_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_50_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
dlrm,pass,0
|
||||
|
||||
|
||||
|
||||
doctr_det_predictor,eager_fail_to_run,5
|
||||
|
||||
|
||||
|
||||
doctr_reco_predictor,eager_fail_to_run,4
|
||||
|
||||
|
||||
|
||||
drq,pass,0
|
||||
|
||||
|
||||
|
||||
fastNLP_Bert,pass,4
|
||||
|
||||
|
||||
|
||||
functorch_dp_cifar10,pass,0
|
||||
|
||||
|
||||
|
||||
functorch_maml_omniglot,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Albert,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Bart,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Bert,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Bert_large,pass,0
|
||||
|
||||
|
||||
|
||||
hf_BigBird,pass,9
|
||||
|
||||
|
||||
|
||||
hf_DistilBert,pass,0
|
||||
|
||||
|
||||
|
||||
hf_GPT2,pass,0
|
||||
|
||||
|
||||
|
||||
hf_GPT2_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
hf_Longformer,pass,4
|
||||
|
||||
|
||||
|
||||
hf_Reformer,pass,5
|
||||
|
||||
|
||||
|
||||
hf_Roberta_base,pass,0
|
||||
|
||||
|
||||
hf_T5,pass,0
|
||||
|
||||
|
||||
|
||||
hf_T5_base,pass,0
|
||||
|
||||
|
||||
|
||||
hf_T5_generate,pass,5
|
||||
|
||||
|
||||
|
||||
hf_T5_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
hf_Whisper,pass,0
|
||||
|
||||
|
||||
|
||||
hf_distil_whisper,pass,0
|
||||
|
||||
|
||||
|
||||
lennard_jones,pass,0
|
||||
|
||||
|
||||
|
||||
llama,pass,0
|
||||
|
||||
|
||||
|
||||
llama_v2_7b_16h,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
llava,pass,0
|
||||
|
||||
|
||||
|
||||
maml,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
maml_omniglot,pass,0
|
||||
|
||||
|
||||
|
||||
microbench_unbacked_tolist_sum,pass,1
|
||||
|
||||
|
||||
|
||||
mnasnet1_0,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenet_v2,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenet_v2_quantized_qat,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
mobilenet_v3_large,pass,0
|
||||
|
||||
|
||||
|
||||
moco,pass,7
|
||||
|
||||
|
||||
|
||||
moondream,pass,0
|
||||
|
||||
|
||||
|
||||
nanogpt,pass,0
|
||||
|
||||
|
||||
|
||||
nvidia_deeprecommender,pass,0
|
||||
|
||||
|
||||
|
||||
opacus_cifar10,pass,0
|
||||
|
||||
|
||||
|
||||
phlippe_densenet,pass,0
|
||||
|
||||
|
||||
|
||||
phlippe_resnet,pass,0
|
||||
|
||||
|
||||
|
||||
pyhpc_equation_of_state,pass,0
|
||||
|
||||
|
||||
|
||||
pyhpc_isoneutral_mixing,pass,0
|
||||
|
||||
|
||||
|
||||
pyhpc_turbulent_kinetic_energy,pass,0
|
||||
|
||||
|
||||
|
||||
pytorch_CycleGAN_and_pix2pix,pass,0
|
||||
|
||||
|
||||
|
||||
pytorch_stargan,pass,0
|
||||
|
||||
|
||||
|
||||
pytorch_unet,pass,0
|
||||
|
||||
|
||||
|
||||
resnet152,pass,0
|
||||
|
||||
|
||||
|
||||
resnet18,pass,0
|
||||
|
||||
|
||||
|
||||
resnet50,pass,0
|
||||
|
||||
|
||||
|
||||
resnet50_quantized_qat,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
resnext50_32x4d,pass,0
|
||||
|
||||
|
||||
|
||||
sam,pass,0
|
||||
|
||||
|
||||
|
||||
sam_fast,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
shufflenet_v2_x1_0,pass,0
|
||||
|
||||
|
||||
|
||||
soft_actor_critic,pass,0
|
||||
|
||||
|
||||
|
||||
speech_transformer,pass,10
|
||||
|
||||
|
||||
|
||||
squeezenet1_1,pass,0
|
||||
|
||||
|
||||
|
||||
stable_diffusion_text_encoder,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
stable_diffusion_unet,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
timm_efficientdet,pass,2
|
||||
|
||||
|
||||
|
||||
timm_efficientnet,pass,0
|
||||
|
||||
|
||||
|
||||
timm_nfnet,pass,0
|
||||
|
||||
|
||||
|
||||
timm_regnet,pass,0
|
||||
|
||||
|
||||
|
||||
timm_resnest,pass,0
|
||||
|
||||
|
||||
|
||||
timm_vision_transformer,pass,0
|
||||
|
||||
|
||||
|
||||
timm_vision_transformer_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
timm_vovnet,pass,0
|
||||
|
||||
|
||||
|
||||
torch_multimodal_clip,pass,0
|
||||
|
||||
|
||||
|
||||
tts_angular,pass,2
|
||||
|
||||
|
||||
|
||||
vgg16,eager_two_runs_differ,0
|
||||
|
||||
|
||||
|
||||
vision_maskrcnn,pass,18
|
||||
|
||||
|
||||
|
||||
yolov3,pass,0
|
||||
|
@@ -0,0 +1,301 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
torchrec_dlrm,fail_to_run,3
|
||||
|
||||
|
||||
|
||||
BERT_pytorch,pass,6
|
||||
|
||||
|
||||
|
||||
Background_Matting,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
LearningToPaint,pass,6
|
||||
|
||||
|
||||
|
||||
Super_SloMo,pass,7
|
||||
|
||||
|
||||
|
||||
alexnet,pass,6
|
||||
|
||||
|
||||
|
||||
basic_gnn_edgecnn,pass,20
|
||||
|
||||
|
||||
|
||||
basic_gnn_gcn,pass,13
|
||||
|
||||
|
||||
|
||||
basic_gnn_gin,pass,7
|
||||
|
||||
|
||||
|
||||
basic_gnn_sage,pass,7
|
||||
|
||||
|
||||
|
||||
dcgan,pass,6
|
||||
|
||||
|
||||
|
||||
demucs,pass,9
|
||||
|
||||
|
||||
|
||||
densenet121,pass,6
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_50_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
dlrm,pass,6
|
||||
|
||||
|
||||
|
||||
drq,pass,7
|
||||
|
||||
|
||||
|
||||
fastNLP_Bert,pass,10
|
||||
|
||||
|
||||
|
||||
functorch_dp_cifar10,pass,7
|
||||
|
||||
|
||||
|
||||
functorch_maml_omniglot,pass,7
|
||||
|
||||
|
||||
|
||||
hf_Albert,pass,6
|
||||
|
||||
|
||||
|
||||
hf_Bart,pass,6
|
||||
|
||||
|
||||
|
||||
hf_Bert,pass,6
|
||||
|
||||
|
||||
|
||||
hf_Bert_large,pass,6
|
||||
|
||||
|
||||
|
||||
hf_BigBird,fail_to_run,3
|
||||
|
||||
|
||||
|
||||
hf_DistilBert,pass,6
|
||||
|
||||
|
||||
|
||||
hf_GPT2,pass,6
|
||||
|
||||
|
||||
|
||||
hf_GPT2_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
hf_Longformer,pass,4
|
||||
|
||||
|
||||
|
||||
hf_Reformer,pass,23
|
||||
|
||||
|
||||
|
||||
hf_Roberta_base,pass,6
|
||||
|
||||
|
||||
|
||||
hf_T5,pass,0
|
||||
|
||||
|
||||
|
||||
hf_T5_base,eager_2nd_run_OOM,0
|
||||
|
||||
|
||||
|
||||
hf_T5_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
hf_Whisper,pass,6
|
||||
|
||||
|
||||
|
||||
hf_distil_whisper,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
lennard_jones,pass,7
|
||||
|
||||
|
||||
|
||||
llava,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
maml_omniglot,pass,7
|
||||
|
||||
|
||||
|
||||
mnasnet1_0,pass,7
|
||||
|
||||
|
||||
|
||||
mobilenet_v2,pass,6
|
||||
|
||||
|
||||
|
||||
mobilenet_v2_quantized_qat,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
mobilenet_v3_large,pass,7
|
||||
|
||||
|
||||
|
||||
moco,pass,13
|
||||
|
||||
|
||||
|
||||
nanogpt,pass,7
|
||||
|
||||
|
||||
|
||||
nvidia_deeprecommender,pass,7
|
||||
|
||||
|
||||
|
||||
opacus_cifar10,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
phlippe_densenet,pass,6
|
||||
|
||||
|
||||
|
||||
phlippe_resnet,pass,6
|
||||
|
||||
|
||||
|
||||
pytorch_CycleGAN_and_pix2pix,pass,6
|
||||
|
||||
|
||||
|
||||
pytorch_stargan,pass,6
|
||||
|
||||
|
||||
|
||||
pytorch_unet,pass_due_to_skip,7
|
||||
|
||||
|
||||
|
||||
resnet152,pass,7
|
||||
|
||||
|
||||
|
||||
resnet18,pass,6
|
||||
|
||||
|
||||
|
||||
resnet50,pass,6
|
||||
|
||||
|
||||
|
||||
resnet50_quantized_qat,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
resnext50_32x4d,pass,7
|
||||
|
||||
|
||||
|
||||
sam,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
shufflenet_v2_x1_0,pass,6
|
||||
|
||||
|
||||
|
||||
soft_actor_critic,pass,6
|
||||
|
||||
|
||||
|
||||
squeezenet1_1,pass,6
|
||||
|
||||
|
||||
|
||||
stable_diffusion_text_encoder,pass,0
|
||||
|
||||
|
||||
|
||||
stable_diffusion_unet,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
timm_efficientdet,pass,2
|
||||
|
||||
|
||||
|
||||
timm_efficientnet,pass,7
|
||||
|
||||
|
||||
|
||||
timm_nfnet,pass,0
|
||||
|
||||
|
||||
|
||||
timm_regnet,pass,6
|
||||
|
||||
|
||||
|
||||
timm_resnest,pass,7
|
||||
|
||||
|
||||
|
||||
timm_vision_transformer,pass,6
|
||||
|
||||
|
||||
|
||||
timm_vision_transformer_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
timm_vovnet,pass,6
|
||||
|
||||
|
||||
|
||||
torch_multimodal_clip,pass,7
|
||||
|
||||
|
||||
|
||||
tts_angular,pass,9
|
||||
|
||||
|
||||
|
||||
vgg16,pass,6
|
||||
|
||||
|
||||
|
||||
vision_maskrcnn,pass,35
|
||||
|
||||
|
||||
|
||||
yolov3,pass,8
|
||||
|
@@ -0,0 +1,185 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
AlbertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
AlbertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
AllenaiLongformerBase,pass,4
|
||||
|
||||
|
||||
|
||||
BartForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
BartForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
BertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
BertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
BlenderbotForCausalLM,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
BlenderbotSmallForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
BlenderbotSmallForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
CamemBert,pass,0
|
||||
|
||||
|
||||
|
||||
DebertaForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
DebertaForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
DebertaV2ForMaskedLM,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
DebertaV2ForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
DistilBertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
DistilBertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
DistillGPT2,pass,0
|
||||
|
||||
|
||||
|
||||
ElectraForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
ElectraForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
GPT2ForSequenceClassification,pass,0
|
||||
|
||||
|
||||
|
||||
GoogleFnet,pass,0
|
||||
|
||||
|
||||
|
||||
LayoutLMForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
LayoutLMForSequenceClassification,pass,0
|
||||
|
||||
|
||||
|
||||
M2M100ForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
MBartForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
MBartForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
MT5ForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
MegatronBertForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
MegatronBertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
MobileBertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
MobileBertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
OPTForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
PLBartForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
PLBartForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
PegasusForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
PegasusForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
RobertaForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
RobertaForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
Speech2Text2ForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
T5ForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
T5Small,pass,0
|
||||
|
||||
|
||||
|
||||
TrOCRForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
XGLMForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
XLNetLMHeadModel,pass,0
|
||||
|
||||
|
||||
|
||||
YituTechConvBert,pass,0
|
||||
|
@@ -0,0 +1,185 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
AlbertForMaskedLM,pass,4
|
||||
|
||||
|
||||
|
||||
AlbertForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
AllenaiLongformerBase,pass,9
|
||||
|
||||
|
||||
|
||||
BartForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
BartForConditionalGeneration,pass,8
|
||||
|
||||
|
||||
|
||||
BertForMaskedLM,pass,5
|
||||
|
||||
|
||||
|
||||
BertForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
BlenderbotForCausalLM,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
BlenderbotSmallForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
BlenderbotSmallForConditionalGeneration,pass,8
|
||||
|
||||
|
||||
|
||||
CamemBert,pass,5
|
||||
|
||||
|
||||
|
||||
DebertaForMaskedLM,pass,5
|
||||
|
||||
|
||||
|
||||
DebertaForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
DebertaV2ForMaskedLM,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
DebertaV2ForQuestionAnswering,eager_1st_run_OOM,0
|
||||
|
||||
|
||||
|
||||
DistilBertForMaskedLM,pass,5
|
||||
|
||||
|
||||
|
||||
DistilBertForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
DistillGPT2,pass,5
|
||||
|
||||
|
||||
|
||||
ElectraForCausalLM,pass,4
|
||||
|
||||
|
||||
|
||||
ElectraForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
GPT2ForSequenceClassification,pass,5
|
||||
|
||||
|
||||
|
||||
GoogleFnet,pass,5
|
||||
|
||||
|
||||
|
||||
LayoutLMForMaskedLM,pass,5
|
||||
|
||||
|
||||
|
||||
LayoutLMForSequenceClassification,pass,5
|
||||
|
||||
|
||||
|
||||
M2M100ForConditionalGeneration,pass,4
|
||||
|
||||
|
||||
|
||||
MBartForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
MBartForConditionalGeneration,pass,8
|
||||
|
||||
|
||||
|
||||
MT5ForConditionalGeneration,pass,5
|
||||
|
||||
|
||||
|
||||
MegatronBertForCausalLM,pass,5
|
||||
|
||||
|
||||
|
||||
MegatronBertForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
MobileBertForMaskedLM,pass,3
|
||||
|
||||
|
||||
|
||||
MobileBertForQuestionAnswering,pass,3
|
||||
|
||||
|
||||
|
||||
OPTForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
PLBartForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
PLBartForConditionalGeneration,pass,8
|
||||
|
||||
|
||||
|
||||
PegasusForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
PegasusForConditionalGeneration,pass,7
|
||||
|
||||
|
||||
|
||||
RobertaForCausalLM,pass,5
|
||||
|
||||
|
||||
|
||||
RobertaForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
Speech2Text2ForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
T5ForConditionalGeneration,pass,5
|
||||
|
||||
|
||||
|
||||
T5Small,pass,5
|
||||
|
||||
|
||||
|
||||
TrOCRForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
XGLMForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
XLNetLMHeadModel,pass,5
|
||||
|
||||
|
||||
|
||||
YituTechConvBert,pass,5
|
||||
|
@@ -0,0 +1,245 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
adv_inception_v3,pass,0
|
||||
|
||||
|
||||
|
||||
beit_base_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
botnet26t_256,pass,0
|
||||
|
||||
|
||||
|
||||
cait_m36_384,pass,0
|
||||
|
||||
|
||||
|
||||
coat_lite_mini,pass,0
|
||||
|
||||
|
||||
|
||||
convit_base,pass,0
|
||||
|
||||
|
||||
|
||||
convmixer_768_32,pass,0
|
||||
|
||||
|
||||
|
||||
convnext_base,pass,0
|
||||
|
||||
|
||||
|
||||
crossvit_9_240,pass,0
|
||||
|
||||
|
||||
|
||||
cspdarknet53,pass,0
|
||||
|
||||
|
||||
|
||||
deit_base_distilled_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
dla102,pass,0
|
||||
|
||||
|
||||
|
||||
dm_nfnet_f0,pass,0
|
||||
|
||||
|
||||
|
||||
dpn107,pass,0
|
||||
|
||||
|
||||
|
||||
eca_botnext26ts_256,pass,0
|
||||
|
||||
|
||||
|
||||
eca_halonext26ts,pass,0
|
||||
|
||||
|
||||
|
||||
ese_vovnet19b_dw,pass,0
|
||||
|
||||
|
||||
|
||||
fbnetc_100,pass,0
|
||||
|
||||
|
||||
|
||||
fbnetv3_b,pass,0
|
||||
|
||||
|
||||
|
||||
gernet_l,pass,0
|
||||
|
||||
|
||||
|
||||
ghostnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
gluon_inception_v3,pass,0
|
||||
|
||||
|
||||
|
||||
gmixer_24_224,pass,0
|
||||
|
||||
|
||||
|
||||
gmlp_s16_224,pass,0
|
||||
|
||||
|
||||
|
||||
hrnet_w18,pass,0
|
||||
|
||||
|
||||
|
||||
inception_v3,pass,0
|
||||
|
||||
|
||||
|
||||
jx_nest_base,pass,0
|
||||
|
||||
|
||||
|
||||
lcnet_050,pass,0
|
||||
|
||||
|
||||
|
||||
levit_128,pass,0
|
||||
|
||||
|
||||
|
||||
mixer_b16_224,pass,0
|
||||
|
||||
|
||||
|
||||
mixnet_l,pass,0
|
||||
|
||||
|
||||
|
||||
mnasnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenetv2_100,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenetv3_large_100,pass,0
|
||||
|
||||
|
||||
|
||||
mobilevit_s,pass,0
|
||||
|
||||
|
||||
|
||||
nfnet_l0,pass,0
|
||||
|
||||
|
||||
|
||||
pit_b_224,pass,0
|
||||
|
||||
|
||||
|
||||
pnasnet5large,pass,0
|
||||
|
||||
|
||||
|
||||
poolformer_m36,pass,0
|
||||
|
||||
|
||||
|
||||
regnety_002,pass,0
|
||||
|
||||
|
||||
|
||||
repvgg_a2,pass,0
|
||||
|
||||
|
||||
|
||||
res2net101_26w_4s,pass,0
|
||||
|
||||
|
||||
|
||||
res2net50_14w_8s,pass,0
|
||||
|
||||
|
||||
|
||||
res2next50,pass,0
|
||||
|
||||
|
||||
|
||||
resmlp_12_224,pass,0
|
||||
|
||||
|
||||
|
||||
resnest101e,pass,0
|
||||
|
||||
|
||||
|
||||
rexnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
sebotnet33ts_256,pass,0
|
||||
|
||||
|
||||
|
||||
selecsls42b,pass,0
|
||||
|
||||
|
||||
|
||||
spnasnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
swin_base_patch4_window7_224,pass,0
|
||||
|
||||
|
||||
|
||||
swsl_resnext101_32x16d,pass,0
|
||||
|
||||
|
||||
|
||||
tf_efficientnet_b0,pass,0
|
||||
|
||||
|
||||
|
||||
tf_mixnet_l,pass,0
|
||||
|
||||
|
||||
|
||||
tinynet_a,pass,0
|
||||
|
||||
|
||||
|
||||
tnt_s_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
twins_pcpvt_base,pass,0
|
||||
|
||||
|
||||
|
||||
visformer_small,pass,0
|
||||
|
||||
|
||||
|
||||
vit_base_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
volo_d1_224,pass,0
|
||||
|
||||
|
||||
|
||||
xcit_large_24_p8_224,pass,0
|
||||
|
@@ -0,0 +1,245 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
adv_inception_v3,pass,6
|
||||
|
||||
|
||||
|
||||
beit_base_patch16_224,pass,7
|
||||
|
||||
|
||||
|
||||
botnet26t_256,pass,6
|
||||
|
||||
|
||||
|
||||
cait_m36_384,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
coat_lite_mini,pass,6
|
||||
|
||||
|
||||
|
||||
convit_base,pass,7
|
||||
|
||||
|
||||
|
||||
convmixer_768_32,pass,5
|
||||
|
||||
|
||||
|
||||
convnext_base,pass,7
|
||||
|
||||
|
||||
|
||||
crossvit_9_240,pass,7
|
||||
|
||||
|
||||
|
||||
cspdarknet53,pass,7
|
||||
|
||||
|
||||
|
||||
deit_base_distilled_patch16_224,pass,7
|
||||
|
||||
|
||||
|
||||
dla102,pass,7
|
||||
|
||||
|
||||
|
||||
dm_nfnet_f0,pass,6
|
||||
|
||||
|
||||
|
||||
dpn107,pass,6
|
||||
|
||||
|
||||
|
||||
eca_botnext26ts_256,pass,7
|
||||
|
||||
|
||||
|
||||
eca_halonext26ts,pass,7
|
||||
|
||||
|
||||
|
||||
ese_vovnet19b_dw,pass,7
|
||||
|
||||
|
||||
|
||||
fbnetc_100,pass,7
|
||||
|
||||
|
||||
|
||||
fbnetv3_b,pass,6
|
||||
|
||||
|
||||
|
||||
gernet_l,pass,6
|
||||
|
||||
|
||||
|
||||
ghostnet_100,pass,6
|
||||
|
||||
|
||||
|
||||
gluon_inception_v3,pass,7
|
||||
|
||||
|
||||
|
||||
gmixer_24_224,pass,6
|
||||
|
||||
|
||||
|
||||
gmlp_s16_224,pass,7
|
||||
|
||||
|
||||
|
||||
hrnet_w18,pass,5
|
||||
|
||||
|
||||
|
||||
inception_v3,pass,6
|
||||
|
||||
|
||||
|
||||
jx_nest_base,pass,7
|
||||
|
||||
|
||||
|
||||
lcnet_050,pass,6
|
||||
|
||||
|
||||
|
||||
levit_128,pass,7
|
||||
|
||||
|
||||
|
||||
mixer_b16_224,pass,7
|
||||
|
||||
|
||||
|
||||
mixnet_l,pass,6
|
||||
|
||||
|
||||
|
||||
mnasnet_100,pass,7
|
||||
|
||||
|
||||
|
||||
mobilenetv2_100,pass,7
|
||||
|
||||
|
||||
|
||||
mobilenetv3_large_100,pass,7
|
||||
|
||||
|
||||
|
||||
mobilevit_s,pass,6
|
||||
|
||||
|
||||
|
||||
nfnet_l0,pass,7
|
||||
|
||||
|
||||
|
||||
pit_b_224,pass,6
|
||||
|
||||
|
||||
|
||||
pnasnet5large,pass,5
|
||||
|
||||
|
||||
|
||||
poolformer_m36,pass,6
|
||||
|
||||
|
||||
|
||||
regnety_002,pass,6
|
||||
|
||||
|
||||
|
||||
repvgg_a2,pass,7
|
||||
|
||||
|
||||
|
||||
res2net101_26w_4s,pass,6
|
||||
|
||||
|
||||
|
||||
res2net50_14w_8s,pass,6
|
||||
|
||||
|
||||
|
||||
res2next50,pass,6
|
||||
|
||||
|
||||
|
||||
resmlp_12_224,pass,6
|
||||
|
||||
|
||||
|
||||
resnest101e,pass,6
|
||||
|
||||
|
||||
|
||||
rexnet_100,pass,7
|
||||
|
||||
|
||||
|
||||
sebotnet33ts_256,pass,6
|
||||
|
||||
|
||||
|
||||
selecsls42b,pass,6
|
||||
|
||||
|
||||
|
||||
spnasnet_100,pass,7
|
||||
|
||||
|
||||
|
||||
swin_base_patch4_window7_224,pass,7
|
||||
|
||||
|
||||
|
||||
swsl_resnext101_32x16d,pass,6
|
||||
|
||||
|
||||
|
||||
tf_efficientnet_b0,pass,6
|
||||
|
||||
|
||||
|
||||
tf_mixnet_l,pass,6
|
||||
|
||||
|
||||
|
||||
tinynet_a,pass,6
|
||||
|
||||
|
||||
|
||||
tnt_s_patch16_224,pass,7
|
||||
|
||||
|
||||
|
||||
twins_pcpvt_base,pass,7
|
||||
|
||||
|
||||
|
||||
visformer_small,pass,7
|
||||
|
||||
|
||||
|
||||
vit_base_patch16_224,pass,7
|
||||
|
||||
|
||||
|
||||
volo_d1_224,pass,7
|
||||
|
||||
|
||||
|
||||
xcit_large_24_p8_224,pass_due_to_skip,7
|
||||
|
@@ -0,0 +1,373 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
torchrec_dlrm,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
BERT_pytorch,pass,0
|
||||
|
||||
|
||||
|
||||
Background_Matting,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
LearningToPaint,pass,0
|
||||
|
||||
|
||||
|
||||
Super_SloMo,pass,0
|
||||
|
||||
|
||||
|
||||
alexnet,pass,0
|
||||
|
||||
|
||||
|
||||
basic_gnn_edgecnn,pass,0
|
||||
|
||||
|
||||
|
||||
basic_gnn_gcn,pass,6
|
||||
|
||||
|
||||
|
||||
basic_gnn_gin,pass,0
|
||||
|
||||
|
||||
|
||||
basic_gnn_sage,pass,0
|
||||
|
||||
|
||||
|
||||
cm3leon_generate,pass,4
|
||||
|
||||
|
||||
|
||||
dcgan,pass,0
|
||||
|
||||
|
||||
|
||||
demucs,pass,3
|
||||
|
||||
|
||||
|
||||
densenet121,pass,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_101_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_101_dc5,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_101_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_50_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_50_dc5,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_50_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fcos_r_50_fpn,pass,22
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_101_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_101_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_50_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_50_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
dlrm,pass,0
|
||||
|
||||
|
||||
|
||||
doctr_det_predictor,eager_fail_to_run,5
|
||||
|
||||
|
||||
|
||||
doctr_reco_predictor,eager_fail_to_run,4
|
||||
|
||||
|
||||
|
||||
drq,pass,0
|
||||
|
||||
|
||||
|
||||
fastNLP_Bert,pass,4
|
||||
|
||||
|
||||
|
||||
functorch_dp_cifar10,pass,0
|
||||
|
||||
|
||||
|
||||
functorch_maml_omniglot,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Albert,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Bart,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Bert,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Bert_large,pass,0
|
||||
|
||||
|
||||
|
||||
hf_BigBird,fail_to_run,0
|
||||
|
||||
|
||||
|
||||
hf_DistilBert,pass,0
|
||||
|
||||
|
||||
|
||||
hf_GPT2,pass,0
|
||||
|
||||
|
||||
|
||||
hf_GPT2_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
hf_Reformer,pass,5
|
||||
|
||||
|
||||
|
||||
hf_T5,pass,0
|
||||
|
||||
|
||||
|
||||
hf_T5_base,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
hf_T5_generate,pass,5
|
||||
|
||||
|
||||
|
||||
hf_T5_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
hf_Whisper,pass,0
|
||||
|
||||
|
||||
|
||||
hf_distil_whisper,pass,0
|
||||
|
||||
|
||||
|
||||
lennard_jones,pass,0
|
||||
|
||||
|
||||
|
||||
llama,pass,0
|
||||
|
||||
|
||||
|
||||
llama_v2_7b_16h,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
llava,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
maml,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
maml_omniglot,pass,0
|
||||
|
||||
|
||||
|
||||
mnasnet1_0,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenet_v2,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenet_v2_quantized_qat,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
mobilenet_v3_large,pass,0
|
||||
|
||||
|
||||
|
||||
moco,pass,7
|
||||
|
||||
|
||||
|
||||
moondream,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
nanogpt,pass,0
|
||||
|
||||
|
||||
|
||||
nvidia_deeprecommender,pass,0
|
||||
|
||||
|
||||
|
||||
opacus_cifar10,pass,0
|
||||
|
||||
|
||||
|
||||
phlippe_densenet,pass,0
|
||||
|
||||
|
||||
|
||||
phlippe_resnet,pass,0
|
||||
|
||||
|
||||
|
||||
pyhpc_equation_of_state,pass,0
|
||||
|
||||
|
||||
|
||||
pyhpc_isoneutral_mixing,pass,0
|
||||
|
||||
|
||||
|
||||
pyhpc_turbulent_kinetic_energy,pass,0
|
||||
|
||||
|
||||
|
||||
pytorch_CycleGAN_and_pix2pix,pass,0
|
||||
|
||||
|
||||
|
||||
pytorch_stargan,pass,0
|
||||
|
||||
|
||||
|
||||
pytorch_unet,pass,0
|
||||
|
||||
|
||||
|
||||
resnet152,pass,0
|
||||
|
||||
|
||||
|
||||
resnet18,pass,0
|
||||
|
||||
|
||||
|
||||
resnet50,pass,0
|
||||
|
||||
|
||||
|
||||
resnet50_quantized_qat,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
resnext50_32x4d,pass,0
|
||||
|
||||
|
||||
|
||||
sam,pass,0
|
||||
|
||||
|
||||
|
||||
shufflenet_v2_x1_0,pass,0
|
||||
|
||||
|
||||
|
||||
soft_actor_critic,pass,0
|
||||
|
||||
|
||||
|
||||
speech_transformer,pass,10
|
||||
|
||||
|
||||
|
||||
squeezenet1_1,pass,0
|
||||
|
||||
|
||||
|
||||
stable_diffusion_text_encoder,pass,0
|
||||
|
||||
|
||||
|
||||
stable_diffusion_unet,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
timm_efficientnet,pass,0
|
||||
|
||||
|
||||
|
||||
timm_regnet,pass,0
|
||||
|
||||
|
||||
|
||||
timm_resnest,pass,0
|
||||
|
||||
|
||||
|
||||
timm_vision_transformer,pass,0
|
||||
|
||||
|
||||
|
||||
timm_vision_transformer_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
timm_vovnet,pass,0
|
||||
|
||||
|
||||
|
||||
torch_multimodal_clip,pass,0
|
||||
|
||||
|
||||
|
||||
tts_angular,pass,2
|
||||
|
||||
|
||||
|
||||
vgg16,pass,0
|
||||
|
||||
|
||||
|
||||
vision_maskrcnn,pass,18
|
||||
|
||||
|
||||
|
||||
yolov3,pass,0
|
||||
|
@@ -0,0 +1,281 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
torchrec_dlrm,fail_to_run,3
|
||||
|
||||
|
||||
|
||||
BERT_pytorch,pass,6
|
||||
|
||||
|
||||
|
||||
Background_Matting,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
LearningToPaint,pass,6
|
||||
|
||||
|
||||
|
||||
Super_SloMo,pass,7
|
||||
|
||||
|
||||
|
||||
alexnet,pass,6
|
||||
|
||||
|
||||
|
||||
basic_gnn_edgecnn,pass,20
|
||||
|
||||
|
||||
|
||||
basic_gnn_gcn,pass,13
|
||||
|
||||
|
||||
|
||||
basic_gnn_gin,pass,7
|
||||
|
||||
|
||||
|
||||
basic_gnn_sage,pass,7
|
||||
|
||||
|
||||
|
||||
dcgan,pass,6
|
||||
|
||||
|
||||
|
||||
demucs,fail_to_run,4
|
||||
|
||||
|
||||
|
||||
densenet121,pass,6
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_50_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
dlrm,pass,6
|
||||
|
||||
|
||||
|
||||
drq,pass,7
|
||||
|
||||
|
||||
|
||||
fastNLP_Bert,pass,10
|
||||
|
||||
|
||||
|
||||
functorch_dp_cifar10,pass,7
|
||||
|
||||
|
||||
|
||||
functorch_maml_omniglot,pass,7
|
||||
|
||||
|
||||
|
||||
hf_Albert,pass,6
|
||||
|
||||
|
||||
|
||||
hf_Bart,pass,6
|
||||
|
||||
|
||||
|
||||
hf_Bert,pass,6
|
||||
|
||||
|
||||
|
||||
hf_Bert_large,pass,6
|
||||
|
||||
|
||||
|
||||
hf_BigBird,fail_to_run,3
|
||||
|
||||
|
||||
|
||||
hf_DistilBert,pass,6
|
||||
|
||||
|
||||
|
||||
hf_GPT2,pass,6
|
||||
|
||||
|
||||
|
||||
hf_GPT2_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
hf_Reformer,pass,23
|
||||
|
||||
|
||||
|
||||
hf_T5_base,eager_2nd_run_OOM,0
|
||||
|
||||
|
||||
|
||||
hf_T5_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
hf_Whisper,pass,6
|
||||
|
||||
|
||||
|
||||
hf_distil_whisper,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
lennard_jones,pass,7
|
||||
|
||||
|
||||
|
||||
llava,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
maml_omniglot,pass,7
|
||||
|
||||
|
||||
|
||||
mnasnet1_0,pass,7
|
||||
|
||||
|
||||
|
||||
mobilenet_v2,pass,6
|
||||
|
||||
|
||||
|
||||
mobilenet_v2_quantized_qat,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
mobilenet_v3_large,pass,7
|
||||
|
||||
|
||||
|
||||
moco,pass,13
|
||||
|
||||
|
||||
|
||||
nanogpt,pass,7
|
||||
|
||||
|
||||
|
||||
nvidia_deeprecommender,pass,7
|
||||
|
||||
|
||||
|
||||
opacus_cifar10,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
phlippe_densenet,pass,6
|
||||
|
||||
|
||||
|
||||
phlippe_resnet,pass,6
|
||||
|
||||
|
||||
|
||||
pytorch_CycleGAN_and_pix2pix,pass,6
|
||||
|
||||
|
||||
|
||||
pytorch_stargan,pass,6
|
||||
|
||||
|
||||
|
||||
pytorch_unet,pass_due_to_skip,7
|
||||
|
||||
|
||||
|
||||
resnet152,pass,7
|
||||
|
||||
|
||||
|
||||
resnet18,pass,6
|
||||
|
||||
|
||||
|
||||
resnet50,pass,6
|
||||
|
||||
|
||||
|
||||
resnet50_quantized_qat,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
resnext50_32x4d,pass,7
|
||||
|
||||
|
||||
|
||||
sam,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
shufflenet_v2_x1_0,pass,6
|
||||
|
||||
|
||||
|
||||
soft_actor_critic,pass,6
|
||||
|
||||
|
||||
|
||||
squeezenet1_1,pass,6
|
||||
|
||||
|
||||
|
||||
stable_diffusion_text_encoder,pass,5
|
||||
|
||||
|
||||
|
||||
stable_diffusion_unet,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
timm_efficientnet,pass,7
|
||||
|
||||
|
||||
|
||||
timm_regnet,pass,6
|
||||
|
||||
|
||||
|
||||
timm_resnest,pass,7
|
||||
|
||||
|
||||
|
||||
timm_vision_transformer,pass,6
|
||||
|
||||
|
||||
|
||||
timm_vision_transformer_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
timm_vovnet,pass,6
|
||||
|
||||
|
||||
|
||||
torch_multimodal_clip,pass,7
|
||||
|
||||
|
||||
|
||||
tts_angular,pass,9
|
||||
|
||||
|
||||
|
||||
vgg16,pass,6
|
||||
|
||||
|
||||
|
||||
vision_maskrcnn,pass,35
|
||||
|
||||
|
||||
|
||||
yolov3,pass,8
|
||||
|
@@ -0,0 +1,185 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
AlbertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
AlbertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
AllenaiLongformerBase,pass,4
|
||||
|
||||
|
||||
|
||||
BartForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
BartForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
BertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
BertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
BlenderbotForCausalLM,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
BlenderbotSmallForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
BlenderbotSmallForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
CamemBert,pass,0
|
||||
|
||||
|
||||
|
||||
DebertaForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
DebertaForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
DebertaV2ForMaskedLM,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
DebertaV2ForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
DistilBertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
DistilBertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
DistillGPT2,pass,0
|
||||
|
||||
|
||||
|
||||
ElectraForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
ElectraForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
GPT2ForSequenceClassification,pass,0
|
||||
|
||||
|
||||
|
||||
GoogleFnet,pass,0
|
||||
|
||||
|
||||
|
||||
LayoutLMForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
LayoutLMForSequenceClassification,pass,0
|
||||
|
||||
|
||||
|
||||
M2M100ForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
MBartForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
MBartForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
MT5ForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
MegatronBertForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
MegatronBertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
MobileBertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
MobileBertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
OPTForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
PLBartForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
PLBartForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
PegasusForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
PegasusForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
RobertaForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
RobertaForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
Speech2Text2ForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
T5ForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
T5Small,pass,0
|
||||
|
||||
|
||||
|
||||
TrOCRForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
XGLMForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
XLNetLMHeadModel,pass,0
|
||||
|
||||
|
||||
|
||||
YituTechConvBert,pass,0
|
||||
|
@@ -0,0 +1,185 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
AlbertForMaskedLM,pass,4
|
||||
|
||||
|
||||
|
||||
AlbertForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
AllenaiLongformerBase,pass,9
|
||||
|
||||
|
||||
|
||||
BartForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
BartForConditionalGeneration,pass,8
|
||||
|
||||
|
||||
|
||||
BertForMaskedLM,pass,5
|
||||
|
||||
|
||||
|
||||
BertForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
BlenderbotForCausalLM,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
BlenderbotSmallForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
BlenderbotSmallForConditionalGeneration,pass,8
|
||||
|
||||
|
||||
|
||||
CamemBert,pass,5
|
||||
|
||||
|
||||
|
||||
DebertaForMaskedLM,pass,5
|
||||
|
||||
|
||||
|
||||
DebertaForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
DebertaV2ForMaskedLM,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
DebertaV2ForQuestionAnswering,pass,4
|
||||
|
||||
|
||||
|
||||
DistilBertForMaskedLM,pass,5
|
||||
|
||||
|
||||
|
||||
DistilBertForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
DistillGPT2,pass,5
|
||||
|
||||
|
||||
|
||||
ElectraForCausalLM,pass,4
|
||||
|
||||
|
||||
|
||||
ElectraForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
GPT2ForSequenceClassification,pass,5
|
||||
|
||||
|
||||
|
||||
GoogleFnet,pass,5
|
||||
|
||||
|
||||
|
||||
LayoutLMForMaskedLM,pass,5
|
||||
|
||||
|
||||
|
||||
LayoutLMForSequenceClassification,pass,5
|
||||
|
||||
|
||||
|
||||
M2M100ForConditionalGeneration,pass,4
|
||||
|
||||
|
||||
|
||||
MBartForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
MBartForConditionalGeneration,pass,8
|
||||
|
||||
|
||||
|
||||
MT5ForConditionalGeneration,pass,5
|
||||
|
||||
|
||||
|
||||
MegatronBertForCausalLM,pass,5
|
||||
|
||||
|
||||
|
||||
MegatronBertForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
MobileBertForMaskedLM,pass,3
|
||||
|
||||
|
||||
|
||||
MobileBertForQuestionAnswering,pass,3
|
||||
|
||||
|
||||
|
||||
OPTForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
PLBartForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
PLBartForConditionalGeneration,pass,8
|
||||
|
||||
|
||||
|
||||
PegasusForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
PegasusForConditionalGeneration,pass,7
|
||||
|
||||
|
||||
|
||||
RobertaForCausalLM,pass,5
|
||||
|
||||
|
||||
|
||||
RobertaForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
Speech2Text2ForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
T5ForConditionalGeneration,pass,5
|
||||
|
||||
|
||||
|
||||
T5Small,pass,5
|
||||
|
||||
|
||||
|
||||
TrOCRForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
XGLMForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
XLNetLMHeadModel,pass,5
|
||||
|
||||
|
||||
|
||||
YituTechConvBert,pass,5
|
||||
|
@@ -0,0 +1,245 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
adv_inception_v3,pass,0
|
||||
|
||||
|
||||
|
||||
beit_base_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
botnet26t_256,pass,0
|
||||
|
||||
|
||||
|
||||
cait_m36_384,pass,0
|
||||
|
||||
|
||||
|
||||
coat_lite_mini,pass,0
|
||||
|
||||
|
||||
|
||||
convit_base,pass,0
|
||||
|
||||
|
||||
|
||||
convmixer_768_32,pass,0
|
||||
|
||||
|
||||
|
||||
convnext_base,pass,0
|
||||
|
||||
|
||||
|
||||
crossvit_9_240,pass,0
|
||||
|
||||
|
||||
|
||||
cspdarknet53,pass,0
|
||||
|
||||
|
||||
|
||||
deit_base_distilled_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
dla102,pass,0
|
||||
|
||||
|
||||
|
||||
dm_nfnet_f0,pass,0
|
||||
|
||||
|
||||
|
||||
dpn107,pass,0
|
||||
|
||||
|
||||
|
||||
eca_botnext26ts_256,pass,0
|
||||
|
||||
|
||||
|
||||
eca_halonext26ts,pass,0
|
||||
|
||||
|
||||
|
||||
ese_vovnet19b_dw,pass,0
|
||||
|
||||
|
||||
|
||||
fbnetc_100,pass,0
|
||||
|
||||
|
||||
|
||||
fbnetv3_b,pass,0
|
||||
|
||||
|
||||
|
||||
gernet_l,pass,0
|
||||
|
||||
|
||||
|
||||
ghostnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
gluon_inception_v3,pass,0
|
||||
|
||||
|
||||
|
||||
gmixer_24_224,pass,0
|
||||
|
||||
|
||||
|
||||
gmlp_s16_224,pass,0
|
||||
|
||||
|
||||
|
||||
hrnet_w18,pass,0
|
||||
|
||||
|
||||
|
||||
inception_v3,pass,0
|
||||
|
||||
|
||||
|
||||
jx_nest_base,pass,0
|
||||
|
||||
|
||||
|
||||
lcnet_050,pass,0
|
||||
|
||||
|
||||
|
||||
levit_128,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
mixer_b16_224,pass,0
|
||||
|
||||
|
||||
|
||||
mixnet_l,pass,0
|
||||
|
||||
|
||||
|
||||
mnasnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenetv2_100,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenetv3_large_100,pass,0
|
||||
|
||||
|
||||
|
||||
mobilevit_s,pass,0
|
||||
|
||||
|
||||
|
||||
nfnet_l0,pass,0
|
||||
|
||||
|
||||
|
||||
pit_b_224,pass,0
|
||||
|
||||
|
||||
|
||||
pnasnet5large,pass,0
|
||||
|
||||
|
||||
|
||||
poolformer_m36,pass,0
|
||||
|
||||
|
||||
|
||||
regnety_002,pass,0
|
||||
|
||||
|
||||
|
||||
repvgg_a2,pass,0
|
||||
|
||||
|
||||
|
||||
res2net101_26w_4s,pass,0
|
||||
|
||||
|
||||
|
||||
res2net50_14w_8s,pass,0
|
||||
|
||||
|
||||
|
||||
res2next50,pass,0
|
||||
|
||||
|
||||
|
||||
resmlp_12_224,pass,0
|
||||
|
||||
|
||||
|
||||
resnest101e,pass,0
|
||||
|
||||
|
||||
|
||||
rexnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
sebotnet33ts_256,pass,0
|
||||
|
||||
|
||||
|
||||
selecsls42b,pass,0
|
||||
|
||||
|
||||
|
||||
spnasnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
swin_base_patch4_window7_224,pass,0
|
||||
|
||||
|
||||
|
||||
swsl_resnext101_32x16d,pass,0
|
||||
|
||||
|
||||
|
||||
tf_efficientnet_b0,pass,0
|
||||
|
||||
|
||||
|
||||
tf_mixnet_l,pass,0
|
||||
|
||||
|
||||
|
||||
tinynet_a,pass,0
|
||||
|
||||
|
||||
|
||||
tnt_s_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
twins_pcpvt_base,pass,0
|
||||
|
||||
|
||||
|
||||
visformer_small,pass,0
|
||||
|
||||
|
||||
|
||||
vit_base_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
volo_d1_224,pass,0
|
||||
|
||||
|
||||
|
||||
xcit_large_24_p8_224,pass,0
|
||||
|
@@ -0,0 +1,245 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
adv_inception_v3,pass,6
|
||||
|
||||
|
||||
|
||||
beit_base_patch16_224,pass,7
|
||||
|
||||
|
||||
|
||||
botnet26t_256,pass,6
|
||||
|
||||
|
||||
|
||||
cait_m36_384,pass,6
|
||||
|
||||
|
||||
|
||||
coat_lite_mini,pass,6
|
||||
|
||||
|
||||
|
||||
convit_base,pass,7
|
||||
|
||||
|
||||
|
||||
convmixer_768_32,pass,5
|
||||
|
||||
|
||||
|
||||
convnext_base,pass,7
|
||||
|
||||
|
||||
|
||||
crossvit_9_240,pass,7
|
||||
|
||||
|
||||
|
||||
cspdarknet53,pass,7
|
||||
|
||||
|
||||
|
||||
deit_base_distilled_patch16_224,pass,7
|
||||
|
||||
|
||||
|
||||
dla102,pass,7
|
||||
|
||||
|
||||
|
||||
dm_nfnet_f0,pass,6
|
||||
|
||||
|
||||
|
||||
dpn107,pass,6
|
||||
|
||||
|
||||
|
||||
eca_botnext26ts_256,pass,7
|
||||
|
||||
|
||||
|
||||
eca_halonext26ts,pass,7
|
||||
|
||||
|
||||
|
||||
ese_vovnet19b_dw,pass,7
|
||||
|
||||
|
||||
|
||||
fbnetc_100,pass,7
|
||||
|
||||
|
||||
|
||||
fbnetv3_b,pass,6
|
||||
|
||||
|
||||
|
||||
gernet_l,pass,6
|
||||
|
||||
|
||||
|
||||
ghostnet_100,pass,6
|
||||
|
||||
|
||||
|
||||
gluon_inception_v3,pass,7
|
||||
|
||||
|
||||
|
||||
gmixer_24_224,pass,6
|
||||
|
||||
|
||||
|
||||
gmlp_s16_224,pass,7
|
||||
|
||||
|
||||
|
||||
hrnet_w18,pass,5
|
||||
|
||||
|
||||
|
||||
inception_v3,pass,6
|
||||
|
||||
|
||||
|
||||
jx_nest_base,pass,7
|
||||
|
||||
|
||||
|
||||
lcnet_050,pass,6
|
||||
|
||||
|
||||
|
||||
levit_128,eager_fail_to_run,7
|
||||
|
||||
|
||||
|
||||
mixer_b16_224,pass,7
|
||||
|
||||
|
||||
|
||||
mixnet_l,pass,6
|
||||
|
||||
|
||||
|
||||
mnasnet_100,pass,7
|
||||
|
||||
|
||||
|
||||
mobilenetv2_100,pass,7
|
||||
|
||||
|
||||
|
||||
mobilenetv3_large_100,pass,7
|
||||
|
||||
|
||||
|
||||
mobilevit_s,pass,6
|
||||
|
||||
|
||||
|
||||
nfnet_l0,pass,7
|
||||
|
||||
|
||||
|
||||
pit_b_224,pass,6
|
||||
|
||||
|
||||
|
||||
pnasnet5large,pass,5
|
||||
|
||||
|
||||
|
||||
poolformer_m36,pass,6
|
||||
|
||||
|
||||
|
||||
regnety_002,pass,6
|
||||
|
||||
|
||||
|
||||
repvgg_a2,pass,7
|
||||
|
||||
|
||||
|
||||
res2net101_26w_4s,pass,6
|
||||
|
||||
|
||||
|
||||
res2net50_14w_8s,pass,6
|
||||
|
||||
|
||||
|
||||
res2next50,pass,6
|
||||
|
||||
|
||||
|
||||
resmlp_12_224,pass,6
|
||||
|
||||
|
||||
|
||||
resnest101e,pass,6
|
||||
|
||||
|
||||
|
||||
rexnet_100,pass,7
|
||||
|
||||
|
||||
|
||||
sebotnet33ts_256,pass,6
|
||||
|
||||
|
||||
|
||||
selecsls42b,pass,6
|
||||
|
||||
|
||||
|
||||
spnasnet_100,pass,7
|
||||
|
||||
|
||||
|
||||
swin_base_patch4_window7_224,pass,7
|
||||
|
||||
|
||||
|
||||
swsl_resnext101_32x16d,pass,6
|
||||
|
||||
|
||||
|
||||
tf_efficientnet_b0,pass,6
|
||||
|
||||
|
||||
|
||||
tf_mixnet_l,pass,6
|
||||
|
||||
|
||||
|
||||
tinynet_a,pass,6
|
||||
|
||||
|
||||
|
||||
tnt_s_patch16_224,pass,7
|
||||
|
||||
|
||||
|
||||
twins_pcpvt_base,pass,7
|
||||
|
||||
|
||||
|
||||
visformer_small,pass,7
|
||||
|
||||
|
||||
|
||||
vit_base_patch16_224,pass,7
|
||||
|
||||
|
||||
|
||||
volo_d1_224,pass,7
|
||||
|
||||
|
||||
|
||||
xcit_large_24_p8_224,pass_due_to_skip,7
|
||||
|
@@ -0,0 +1,396 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
torchrec_dlrm,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
BERT_pytorch,pass,0
|
||||
|
||||
|
||||
|
||||
Background_Matting,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
LearningToPaint,pass,0
|
||||
|
||||
|
||||
|
||||
Super_SloMo,pass,0
|
||||
|
||||
|
||||
|
||||
alexnet,pass,0
|
||||
|
||||
|
||||
|
||||
basic_gnn_edgecnn,pass,0
|
||||
|
||||
|
||||
|
||||
basic_gnn_gcn,pass,6
|
||||
|
||||
|
||||
|
||||
basic_gnn_gin,pass,0
|
||||
|
||||
|
||||
|
||||
basic_gnn_sage,pass,0
|
||||
|
||||
|
||||
|
||||
cm3leon_generate,pass,4
|
||||
|
||||
|
||||
|
||||
dcgan,pass,0
|
||||
|
||||
|
||||
|
||||
demucs,pass,3
|
||||
|
||||
|
||||
|
||||
densenet121,pass,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_101_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_101_dc5,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_101_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_50_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_50_dc5,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_50_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fcos_r_50_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_101_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_101_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_50_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_50_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
dlrm,pass,0
|
||||
|
||||
|
||||
|
||||
doctr_det_predictor,eager_fail_to_run,5
|
||||
|
||||
|
||||
|
||||
doctr_reco_predictor,eager_fail_to_run,4
|
||||
|
||||
|
||||
|
||||
drq,pass,0
|
||||
|
||||
|
||||
|
||||
fastNLP_Bert,pass,4
|
||||
|
||||
|
||||
|
||||
functorch_dp_cifar10,pass,0
|
||||
|
||||
|
||||
|
||||
functorch_maml_omniglot,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Albert,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Bart,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Bert,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Bert_large,pass,0
|
||||
|
||||
|
||||
|
||||
hf_BigBird,pass,9
|
||||
|
||||
|
||||
|
||||
hf_DistilBert,pass,0
|
||||
|
||||
|
||||
|
||||
hf_GPT2,pass,0
|
||||
|
||||
|
||||
|
||||
hf_GPT2_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
hf_Longformer,pass,4
|
||||
|
||||
|
||||
|
||||
hf_Reformer,pass,5
|
||||
|
||||
|
||||
|
||||
hf_Roberta_base,pass,0
|
||||
|
||||
|
||||
hf_T5,pass,0
|
||||
|
||||
|
||||
|
||||
hf_T5_base,pass,0
|
||||
|
||||
|
||||
|
||||
hf_T5_generate,pass,5
|
||||
|
||||
|
||||
|
||||
hf_T5_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
hf_Whisper,pass,0
|
||||
|
||||
|
||||
|
||||
hf_distil_whisper,pass,0
|
||||
|
||||
|
||||
|
||||
lennard_jones,pass,0
|
||||
|
||||
|
||||
|
||||
llama,pass,0
|
||||
|
||||
|
||||
|
||||
llama_v2_7b_16h,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
llava,pass,0
|
||||
|
||||
|
||||
|
||||
maml,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
maml_omniglot,pass,0
|
||||
|
||||
|
||||
|
||||
microbench_unbacked_tolist_sum,pass,1
|
||||
|
||||
|
||||
|
||||
mnasnet1_0,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenet_v2,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenet_v2_quantized_qat,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
mobilenet_v3_large,pass,0
|
||||
|
||||
|
||||
|
||||
moco,pass,7
|
||||
|
||||
|
||||
|
||||
moondream,pass,0
|
||||
|
||||
|
||||
|
||||
nanogpt,pass,0
|
||||
|
||||
|
||||
|
||||
nvidia_deeprecommender,pass,0
|
||||
|
||||
|
||||
|
||||
opacus_cifar10,pass,0
|
||||
|
||||
|
||||
|
||||
phlippe_densenet,pass,0
|
||||
|
||||
|
||||
|
||||
phlippe_resnet,pass,0
|
||||
|
||||
|
||||
|
||||
pyhpc_equation_of_state,pass,0
|
||||
|
||||
|
||||
|
||||
pyhpc_isoneutral_mixing,pass,0
|
||||
|
||||
|
||||
|
||||
pyhpc_turbulent_kinetic_energy,pass,0
|
||||
|
||||
|
||||
|
||||
pytorch_CycleGAN_and_pix2pix,pass,0
|
||||
|
||||
|
||||
|
||||
pytorch_stargan,pass,0
|
||||
|
||||
|
||||
|
||||
pytorch_unet,pass,0
|
||||
|
||||
|
||||
|
||||
resnet152,pass,0
|
||||
|
||||
|
||||
|
||||
resnet18,pass,0
|
||||
|
||||
|
||||
|
||||
resnet50,pass,0
|
||||
|
||||
|
||||
|
||||
resnet50_quantized_qat,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
resnext50_32x4d,pass,0
|
||||
|
||||
|
||||
|
||||
sam,pass,0
|
||||
|
||||
|
||||
|
||||
sam_fast,pass,0
|
||||
|
||||
|
||||
|
||||
shufflenet_v2_x1_0,pass,0
|
||||
|
||||
|
||||
|
||||
soft_actor_critic,pass,0
|
||||
|
||||
|
||||
|
||||
speech_transformer,pass,10
|
||||
|
||||
|
||||
|
||||
squeezenet1_1,pass,0
|
||||
|
||||
|
||||
|
||||
stable_diffusion_text_encoder,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
stable_diffusion_unet,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
timm_efficientdet,pass,2
|
||||
|
||||
|
||||
|
||||
timm_efficientnet,pass,0
|
||||
|
||||
|
||||
|
||||
timm_nfnet,pass,0
|
||||
|
||||
|
||||
|
||||
timm_regnet,pass,0
|
||||
|
||||
|
||||
|
||||
timm_resnest,pass,0
|
||||
|
||||
|
||||
|
||||
timm_vision_transformer,pass,0
|
||||
|
||||
|
||||
|
||||
timm_vision_transformer_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
timm_vovnet,pass,0
|
||||
|
||||
|
||||
|
||||
torch_multimodal_clip,pass,0
|
||||
|
||||
|
||||
|
||||
tts_angular,pass,2
|
||||
|
||||
|
||||
|
||||
vgg16,eager_two_runs_differ,0
|
||||
|
||||
|
||||
|
||||
vision_maskrcnn,pass,18
|
||||
|
||||
|
||||
|
||||
yolov3,pass,0
|
||||
|
@@ -0,0 +1,305 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
torchrec_dlrm,pass,6
|
||||
|
||||
|
||||
|
||||
BERT_pytorch,pass,6
|
||||
|
||||
|
||||
|
||||
Background_Matting,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
LearningToPaint,pass,6
|
||||
|
||||
|
||||
|
||||
Super_SloMo,pass,7
|
||||
|
||||
|
||||
|
||||
alexnet,pass,0
|
||||
|
||||
|
||||
|
||||
basic_gnn_edgecnn,pass,20
|
||||
|
||||
|
||||
|
||||
basic_gnn_gcn,pass,13
|
||||
|
||||
|
||||
|
||||
basic_gnn_gin,pass,7
|
||||
|
||||
|
||||
|
||||
basic_gnn_sage,pass,7
|
||||
|
||||
|
||||
|
||||
dcgan,pass,6
|
||||
|
||||
|
||||
|
||||
demucs,pass,9
|
||||
|
||||
|
||||
|
||||
densenet121,pass,6
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_50_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
dlrm,pass,6
|
||||
|
||||
|
||||
|
||||
drq,pass,7
|
||||
|
||||
|
||||
|
||||
fastNLP_Bert,pass,10
|
||||
|
||||
|
||||
|
||||
functorch_dp_cifar10,pass,7
|
||||
|
||||
|
||||
|
||||
functorch_maml_omniglot,pass,7
|
||||
|
||||
|
||||
|
||||
hf_Albert,pass,6
|
||||
|
||||
|
||||
|
||||
hf_Bart,pass,6
|
||||
|
||||
|
||||
|
||||
hf_Bert,pass,6
|
||||
|
||||
|
||||
|
||||
hf_Bert_large,pass,6
|
||||
|
||||
|
||||
|
||||
hf_BigBird,pass,15
|
||||
|
||||
|
||||
|
||||
hf_DistilBert,pass,6
|
||||
|
||||
|
||||
|
||||
hf_GPT2,pass,6
|
||||
|
||||
|
||||
|
||||
hf_GPT2_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
hf_Longformer,pass,4
|
||||
|
||||
|
||||
|
||||
hf_Reformer,pass,23
|
||||
|
||||
|
||||
|
||||
hf_Roberta_base,pass,6
|
||||
|
||||
|
||||
|
||||
hf_T5,pass,0
|
||||
|
||||
|
||||
|
||||
hf_T5_base,eager_2nd_run_OOM,0
|
||||
|
||||
|
||||
|
||||
hf_T5_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
hf_Whisper,pass,6
|
||||
|
||||
|
||||
|
||||
hf_distil_whisper,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
lennard_jones,pass,7
|
||||
|
||||
|
||||
|
||||
llava,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
maml_omniglot,pass,7
|
||||
|
||||
|
||||
|
||||
mnasnet1_0,pass,7
|
||||
|
||||
|
||||
|
||||
mobilenet_v2,pass,6
|
||||
|
||||
|
||||
|
||||
mobilenet_v2_quantized_qat,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
mobilenet_v3_large,pass,7
|
||||
|
||||
|
||||
|
||||
moco,pass,13
|
||||
|
||||
|
||||
|
||||
nanogpt,pass,7
|
||||
|
||||
|
||||
|
||||
nvidia_deeprecommender,pass,7
|
||||
|
||||
|
||||
|
||||
opacus_cifar10,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
phlippe_densenet,pass,6
|
||||
|
||||
|
||||
|
||||
phlippe_resnet,pass,6
|
||||
|
||||
|
||||
|
||||
pytorch_CycleGAN_and_pix2pix,pass,6
|
||||
|
||||
|
||||
|
||||
pytorch_stargan,pass,6
|
||||
|
||||
|
||||
|
||||
pytorch_unet,pass_due_to_skip,7
|
||||
|
||||
|
||||
|
||||
resnet152,pass,7
|
||||
|
||||
|
||||
|
||||
resnet18,pass,6
|
||||
|
||||
|
||||
|
||||
resnet50,pass,6
|
||||
|
||||
|
||||
|
||||
resnet50_quantized_qat,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
resnext50_32x4d,pass,7
|
||||
|
||||
|
||||
|
||||
sam,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
shufflenet_v2_x1_0,pass,6
|
||||
|
||||
|
||||
|
||||
soft_actor_critic,pass,6
|
||||
|
||||
|
||||
|
||||
speech_transformer,pass,16
|
||||
|
||||
|
||||
|
||||
squeezenet1_1,pass,6
|
||||
|
||||
|
||||
|
||||
stable_diffusion_text_encoder,pass,0
|
||||
|
||||
|
||||
|
||||
stable_diffusion_unet,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
timm_efficientdet,pass,2
|
||||
|
||||
|
||||
|
||||
timm_efficientnet,pass,7
|
||||
|
||||
|
||||
|
||||
timm_nfnet,pass,0
|
||||
|
||||
|
||||
|
||||
timm_regnet,pass,6
|
||||
|
||||
|
||||
|
||||
timm_resnest,pass,7
|
||||
|
||||
|
||||
|
||||
timm_vision_transformer,pass,6
|
||||
|
||||
|
||||
|
||||
timm_vision_transformer_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
timm_vovnet,pass,6
|
||||
|
||||
|
||||
|
||||
torch_multimodal_clip,pass,7
|
||||
|
||||
|
||||
|
||||
tts_angular,pass,9
|
||||
|
||||
|
||||
|
||||
vgg16,pass,6
|
||||
|
||||
|
||||
|
||||
vision_maskrcnn,pass,35
|
||||
|
||||
|
||||
|
||||
yolov3,pass,8
|
||||
|
@@ -0,0 +1,185 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
AlbertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
AlbertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
AllenaiLongformerBase,pass,4
|
||||
|
||||
|
||||
|
||||
BartForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
BartForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
BertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
BertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
BlenderbotForCausalLM,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
BlenderbotSmallForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
BlenderbotSmallForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
CamemBert,pass,0
|
||||
|
||||
|
||||
|
||||
DebertaForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
DebertaForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
DebertaV2ForMaskedLM,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
DebertaV2ForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
DistilBertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
DistilBertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
DistillGPT2,pass,0
|
||||
|
||||
|
||||
|
||||
ElectraForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
ElectraForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
GPT2ForSequenceClassification,pass,0
|
||||
|
||||
|
||||
|
||||
GoogleFnet,pass,0
|
||||
|
||||
|
||||
|
||||
LayoutLMForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
LayoutLMForSequenceClassification,pass,0
|
||||
|
||||
|
||||
|
||||
M2M100ForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
MBartForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
MBartForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
MT5ForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
MegatronBertForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
MegatronBertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
MobileBertForMaskedLM,pass,0
|
||||
|
||||
|
||||
|
||||
MobileBertForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
OPTForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
PLBartForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
PLBartForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
PegasusForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
PegasusForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
RobertaForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
RobertaForQuestionAnswering,pass,0
|
||||
|
||||
|
||||
|
||||
Speech2Text2ForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
T5ForConditionalGeneration,pass,0
|
||||
|
||||
|
||||
|
||||
T5Small,pass,0
|
||||
|
||||
|
||||
|
||||
TrOCRForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
XGLMForCausalLM,pass,0
|
||||
|
||||
|
||||
|
||||
XLNetLMHeadModel,pass,0
|
||||
|
||||
|
||||
|
||||
YituTechConvBert,pass,0
|
||||
|
@@ -0,0 +1,185 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
AlbertForMaskedLM,pass,4
|
||||
|
||||
|
||||
|
||||
AlbertForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
AllenaiLongformerBase,pass,9
|
||||
|
||||
|
||||
|
||||
BartForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
BartForConditionalGeneration,pass,8
|
||||
|
||||
|
||||
|
||||
BertForMaskedLM,pass,5
|
||||
|
||||
|
||||
|
||||
BertForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
BlenderbotForCausalLM,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
BlenderbotSmallForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
BlenderbotSmallForConditionalGeneration,pass,8
|
||||
|
||||
|
||||
|
||||
CamemBert,pass,5
|
||||
|
||||
|
||||
|
||||
DebertaForMaskedLM,pass,5
|
||||
|
||||
|
||||
|
||||
DebertaForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
DebertaV2ForMaskedLM,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
DebertaV2ForQuestionAnswering,eager_1st_run_OOM,0
|
||||
|
||||
|
||||
|
||||
DistilBertForMaskedLM,pass,5
|
||||
|
||||
|
||||
|
||||
DistilBertForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
DistillGPT2,pass,5
|
||||
|
||||
|
||||
|
||||
ElectraForCausalLM,pass,4
|
||||
|
||||
|
||||
|
||||
ElectraForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
GPT2ForSequenceClassification,pass,5
|
||||
|
||||
|
||||
|
||||
GoogleFnet,pass,5
|
||||
|
||||
|
||||
|
||||
LayoutLMForMaskedLM,pass,5
|
||||
|
||||
|
||||
|
||||
LayoutLMForSequenceClassification,pass,5
|
||||
|
||||
|
||||
|
||||
M2M100ForConditionalGeneration,pass,4
|
||||
|
||||
|
||||
|
||||
MBartForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
MBartForConditionalGeneration,pass,8
|
||||
|
||||
|
||||
|
||||
MT5ForConditionalGeneration,pass,5
|
||||
|
||||
|
||||
|
||||
MegatronBertForCausalLM,pass,5
|
||||
|
||||
|
||||
|
||||
MegatronBertForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
MobileBertForMaskedLM,pass,3
|
||||
|
||||
|
||||
|
||||
MobileBertForQuestionAnswering,pass,3
|
||||
|
||||
|
||||
|
||||
OPTForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
PLBartForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
PLBartForConditionalGeneration,pass,8
|
||||
|
||||
|
||||
|
||||
PegasusForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
PegasusForConditionalGeneration,pass,7
|
||||
|
||||
|
||||
|
||||
RobertaForCausalLM,pass,5
|
||||
|
||||
|
||||
|
||||
RobertaForQuestionAnswering,pass,5
|
||||
|
||||
|
||||
|
||||
Speech2Text2ForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
T5ForConditionalGeneration,pass,5
|
||||
|
||||
|
||||
|
||||
T5Small,pass,5
|
||||
|
||||
|
||||
|
||||
TrOCRForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
XGLMForCausalLM,pass,6
|
||||
|
||||
|
||||
|
||||
XLNetLMHeadModel,pass,5
|
||||
|
||||
|
||||
|
||||
YituTechConvBert,pass,5
|
||||
|
@@ -0,0 +1,245 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
adv_inception_v3,pass,0
|
||||
|
||||
|
||||
|
||||
beit_base_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
botnet26t_256,pass,0
|
||||
|
||||
|
||||
|
||||
cait_m36_384,pass,0
|
||||
|
||||
|
||||
|
||||
coat_lite_mini,pass,0
|
||||
|
||||
|
||||
|
||||
convit_base,pass,0
|
||||
|
||||
|
||||
|
||||
convmixer_768_32,pass,0
|
||||
|
||||
|
||||
|
||||
convnext_base,pass,0
|
||||
|
||||
|
||||
|
||||
crossvit_9_240,pass,0
|
||||
|
||||
|
||||
|
||||
cspdarknet53,pass,0
|
||||
|
||||
|
||||
|
||||
deit_base_distilled_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
dla102,pass,0
|
||||
|
||||
|
||||
|
||||
dm_nfnet_f0,pass,0
|
||||
|
||||
|
||||
|
||||
dpn107,pass,0
|
||||
|
||||
|
||||
|
||||
eca_botnext26ts_256,pass,0
|
||||
|
||||
|
||||
|
||||
eca_halonext26ts,pass,0
|
||||
|
||||
|
||||
|
||||
ese_vovnet19b_dw,pass,0
|
||||
|
||||
|
||||
|
||||
fbnetc_100,pass,0
|
||||
|
||||
|
||||
|
||||
fbnetv3_b,pass,0
|
||||
|
||||
|
||||
|
||||
gernet_l,pass,0
|
||||
|
||||
|
||||
|
||||
ghostnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
gluon_inception_v3,pass,0
|
||||
|
||||
|
||||
|
||||
gmixer_24_224,pass,0
|
||||
|
||||
|
||||
|
||||
gmlp_s16_224,pass,0
|
||||
|
||||
|
||||
|
||||
hrnet_w18,pass,0
|
||||
|
||||
|
||||
|
||||
inception_v3,pass,0
|
||||
|
||||
|
||||
|
||||
jx_nest_base,pass,0
|
||||
|
||||
|
||||
|
||||
lcnet_050,pass,0
|
||||
|
||||
|
||||
|
||||
levit_128,pass,0
|
||||
|
||||
|
||||
|
||||
mixer_b16_224,pass,0
|
||||
|
||||
|
||||
|
||||
mixnet_l,pass,0
|
||||
|
||||
|
||||
|
||||
mnasnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenetv2_100,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenetv3_large_100,pass,0
|
||||
|
||||
|
||||
|
||||
mobilevit_s,pass,0
|
||||
|
||||
|
||||
|
||||
nfnet_l0,pass,0
|
||||
|
||||
|
||||
|
||||
pit_b_224,pass,0
|
||||
|
||||
|
||||
|
||||
pnasnet5large,pass,0
|
||||
|
||||
|
||||
|
||||
poolformer_m36,pass,0
|
||||
|
||||
|
||||
|
||||
regnety_002,pass,0
|
||||
|
||||
|
||||
|
||||
repvgg_a2,pass,0
|
||||
|
||||
|
||||
|
||||
res2net101_26w_4s,pass,0
|
||||
|
||||
|
||||
|
||||
res2net50_14w_8s,pass,0
|
||||
|
||||
|
||||
|
||||
res2next50,pass,0
|
||||
|
||||
|
||||
|
||||
resmlp_12_224,pass,0
|
||||
|
||||
|
||||
|
||||
resnest101e,pass,0
|
||||
|
||||
|
||||
|
||||
rexnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
sebotnet33ts_256,pass,0
|
||||
|
||||
|
||||
|
||||
selecsls42b,pass,0
|
||||
|
||||
|
||||
|
||||
spnasnet_100,pass,0
|
||||
|
||||
|
||||
|
||||
swin_base_patch4_window7_224,pass,0
|
||||
|
||||
|
||||
|
||||
swsl_resnext101_32x16d,pass,0
|
||||
|
||||
|
||||
|
||||
tf_efficientnet_b0,pass,0
|
||||
|
||||
|
||||
|
||||
tf_mixnet_l,pass,0
|
||||
|
||||
|
||||
|
||||
tinynet_a,pass,0
|
||||
|
||||
|
||||
|
||||
tnt_s_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
twins_pcpvt_base,pass,0
|
||||
|
||||
|
||||
|
||||
visformer_small,pass,0
|
||||
|
||||
|
||||
|
||||
vit_base_patch16_224,pass,0
|
||||
|
||||
|
||||
|
||||
volo_d1_224,pass,0
|
||||
|
||||
|
||||
|
||||
xcit_large_24_p8_224,pass,0
|
||||
|
@@ -0,0 +1,245 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
adv_inception_v3,pass,6
|
||||
|
||||
|
||||
|
||||
beit_base_patch16_224,pass,7
|
||||
|
||||
|
||||
|
||||
botnet26t_256,pass,6
|
||||
|
||||
|
||||
|
||||
cait_m36_384,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
coat_lite_mini,pass,6
|
||||
|
||||
|
||||
|
||||
convit_base,pass,7
|
||||
|
||||
|
||||
|
||||
convmixer_768_32,pass,5
|
||||
|
||||
|
||||
|
||||
convnext_base,pass,7
|
||||
|
||||
|
||||
|
||||
crossvit_9_240,pass,7
|
||||
|
||||
|
||||
|
||||
cspdarknet53,pass,7
|
||||
|
||||
|
||||
|
||||
deit_base_distilled_patch16_224,pass,7
|
||||
|
||||
|
||||
|
||||
dla102,pass,7
|
||||
|
||||
|
||||
|
||||
dm_nfnet_f0,pass,6
|
||||
|
||||
|
||||
|
||||
dpn107,pass,6
|
||||
|
||||
|
||||
|
||||
eca_botnext26ts_256,pass,7
|
||||
|
||||
|
||||
|
||||
eca_halonext26ts,pass,7
|
||||
|
||||
|
||||
|
||||
ese_vovnet19b_dw,pass,7
|
||||
|
||||
|
||||
|
||||
fbnetc_100,pass,7
|
||||
|
||||
|
||||
|
||||
fbnetv3_b,pass,6
|
||||
|
||||
|
||||
|
||||
gernet_l,pass,6
|
||||
|
||||
|
||||
|
||||
ghostnet_100,pass,6
|
||||
|
||||
|
||||
|
||||
gluon_inception_v3,pass,7
|
||||
|
||||
|
||||
|
||||
gmixer_24_224,pass,6
|
||||
|
||||
|
||||
|
||||
gmlp_s16_224,pass,7
|
||||
|
||||
|
||||
|
||||
hrnet_w18,pass,5
|
||||
|
||||
|
||||
|
||||
inception_v3,pass,6
|
||||
|
||||
|
||||
|
||||
jx_nest_base,pass,7
|
||||
|
||||
|
||||
|
||||
lcnet_050,pass,6
|
||||
|
||||
|
||||
|
||||
levit_128,pass,7
|
||||
|
||||
|
||||
|
||||
mixer_b16_224,pass,7
|
||||
|
||||
|
||||
|
||||
mixnet_l,pass,6
|
||||
|
||||
|
||||
|
||||
mnasnet_100,pass,7
|
||||
|
||||
|
||||
|
||||
mobilenetv2_100,pass,7
|
||||
|
||||
|
||||
|
||||
mobilenetv3_large_100,pass,7
|
||||
|
||||
|
||||
|
||||
mobilevit_s,pass,6
|
||||
|
||||
|
||||
|
||||
nfnet_l0,pass,7
|
||||
|
||||
|
||||
|
||||
pit_b_224,pass,6
|
||||
|
||||
|
||||
|
||||
pnasnet5large,pass,5
|
||||
|
||||
|
||||
|
||||
poolformer_m36,pass,6
|
||||
|
||||
|
||||
|
||||
regnety_002,pass,6
|
||||
|
||||
|
||||
|
||||
repvgg_a2,pass,7
|
||||
|
||||
|
||||
|
||||
res2net101_26w_4s,pass,6
|
||||
|
||||
|
||||
|
||||
res2net50_14w_8s,pass,6
|
||||
|
||||
|
||||
|
||||
res2next50,pass,6
|
||||
|
||||
|
||||
|
||||
resmlp_12_224,pass,6
|
||||
|
||||
|
||||
|
||||
resnest101e,pass,6
|
||||
|
||||
|
||||
|
||||
rexnet_100,pass,7
|
||||
|
||||
|
||||
|
||||
sebotnet33ts_256,pass,6
|
||||
|
||||
|
||||
|
||||
selecsls42b,pass,6
|
||||
|
||||
|
||||
|
||||
spnasnet_100,pass,7
|
||||
|
||||
|
||||
|
||||
swin_base_patch4_window7_224,pass,7
|
||||
|
||||
|
||||
|
||||
swsl_resnext101_32x16d,pass,6
|
||||
|
||||
|
||||
|
||||
tf_efficientnet_b0,pass,6
|
||||
|
||||
|
||||
|
||||
tf_mixnet_l,pass,6
|
||||
|
||||
|
||||
|
||||
tinynet_a,pass,6
|
||||
|
||||
|
||||
|
||||
tnt_s_patch16_224,pass,7
|
||||
|
||||
|
||||
|
||||
twins_pcpvt_base,pass,7
|
||||
|
||||
|
||||
|
||||
visformer_small,pass,7
|
||||
|
||||
|
||||
|
||||
vit_base_patch16_224,pass,7
|
||||
|
||||
|
||||
|
||||
volo_d1_224,pass,7
|
||||
|
||||
|
||||
|
||||
xcit_large_24_p8_224,pass_due_to_skip,7
|
||||
|
@@ -0,0 +1,377 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
torchrec_dlrm,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
BERT_pytorch,pass,0
|
||||
|
||||
|
||||
|
||||
Background_Matting,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
LearningToPaint,pass,0
|
||||
|
||||
|
||||
|
||||
Super_SloMo,pass,0
|
||||
|
||||
|
||||
|
||||
alexnet,pass,0
|
||||
|
||||
|
||||
|
||||
basic_gnn_edgecnn,pass,0
|
||||
|
||||
|
||||
|
||||
basic_gnn_gcn,pass,6
|
||||
|
||||
|
||||
|
||||
basic_gnn_gin,pass,0
|
||||
|
||||
|
||||
|
||||
basic_gnn_sage,pass,0
|
||||
|
||||
|
||||
|
||||
cm3leon_generate,pass,4
|
||||
|
||||
|
||||
|
||||
dcgan,pass,0
|
||||
|
||||
|
||||
|
||||
demucs,pass,3
|
||||
|
||||
|
||||
|
||||
densenet121,pass,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_101_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_101_dc5,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_101_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_50_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_50_dc5,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fasterrcnn_r_50_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_fcos_r_50_fpn,pass,22
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_101_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_101_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_50_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_50_fpn,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
dlrm,pass,0
|
||||
|
||||
|
||||
|
||||
doctr_det_predictor,eager_fail_to_run,5
|
||||
|
||||
|
||||
|
||||
doctr_reco_predictor,eager_fail_to_run,4
|
||||
|
||||
|
||||
|
||||
drq,pass,0
|
||||
|
||||
|
||||
|
||||
fastNLP_Bert,pass,4
|
||||
|
||||
|
||||
|
||||
functorch_dp_cifar10,pass,0
|
||||
|
||||
|
||||
|
||||
functorch_maml_omniglot,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Albert,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Bart,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Bert,pass,0
|
||||
|
||||
|
||||
|
||||
hf_Bert_large,pass,0
|
||||
|
||||
|
||||
|
||||
hf_BigBird,fail_accuracy,0
|
||||
|
||||
|
||||
|
||||
hf_DistilBert,pass,0
|
||||
|
||||
|
||||
|
||||
hf_GPT2,pass,0
|
||||
|
||||
|
||||
|
||||
hf_GPT2_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
hf_Reformer,pass,5
|
||||
|
||||
|
||||
|
||||
hf_T5,pass,0
|
||||
|
||||
|
||||
|
||||
hf_T5_base,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
hf_T5_generate,pass,5
|
||||
|
||||
|
||||
|
||||
hf_T5_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
hf_Whisper,pass,0
|
||||
|
||||
|
||||
|
||||
hf_distil_whisper,pass,0
|
||||
|
||||
|
||||
|
||||
lennard_jones,pass,0
|
||||
|
||||
|
||||
|
||||
llama,pass,0
|
||||
|
||||
|
||||
|
||||
llama_v2_7b_16h,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
llava,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
maml,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
maml_omniglot,pass,0
|
||||
|
||||
|
||||
|
||||
mnasnet1_0,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenet_v2,pass,0
|
||||
|
||||
|
||||
|
||||
mobilenet_v2_quantized_qat,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
mobilenet_v3_large,pass,0
|
||||
|
||||
|
||||
|
||||
moco,pass,7
|
||||
|
||||
|
||||
|
||||
moondream,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
nanogpt,pass,0
|
||||
|
||||
|
||||
|
||||
nvidia_deeprecommender,pass,0
|
||||
|
||||
|
||||
|
||||
opacus_cifar10,pass,0
|
||||
|
||||
|
||||
|
||||
phlippe_densenet,pass,0
|
||||
|
||||
|
||||
|
||||
phlippe_resnet,pass,0
|
||||
|
||||
|
||||
|
||||
pyhpc_equation_of_state,pass,0
|
||||
|
||||
|
||||
|
||||
pyhpc_isoneutral_mixing,pass,0
|
||||
|
||||
|
||||
|
||||
pyhpc_turbulent_kinetic_energy,pass,0
|
||||
|
||||
|
||||
|
||||
pytorch_CycleGAN_and_pix2pix,pass,0
|
||||
|
||||
|
||||
|
||||
pytorch_stargan,pass,0
|
||||
|
||||
|
||||
|
||||
pytorch_unet,pass,0
|
||||
|
||||
|
||||
|
||||
resnet152,pass,0
|
||||
|
||||
|
||||
|
||||
resnet18,pass,0
|
||||
|
||||
|
||||
|
||||
resnet50,pass,0
|
||||
|
||||
|
||||
|
||||
resnet50_quantized_qat,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
resnext50_32x4d,pass,0
|
||||
|
||||
|
||||
|
||||
sam,pass,0
|
||||
|
||||
|
||||
|
||||
sam_fast,pass,0
|
||||
|
||||
|
||||
|
||||
shufflenet_v2_x1_0,pass,0
|
||||
|
||||
|
||||
|
||||
soft_actor_critic,pass,0
|
||||
|
||||
|
||||
|
||||
speech_transformer,pass,10
|
||||
|
||||
|
||||
|
||||
squeezenet1_1,pass,0
|
||||
|
||||
|
||||
|
||||
stable_diffusion_text_encoder,pass,0
|
||||
|
||||
|
||||
|
||||
stable_diffusion_unet,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
timm_efficientnet,pass,0
|
||||
|
||||
|
||||
|
||||
timm_regnet,pass,0
|
||||
|
||||
|
||||
|
||||
timm_resnest,pass,0
|
||||
|
||||
|
||||
|
||||
timm_vision_transformer,pass,0
|
||||
|
||||
|
||||
|
||||
timm_vision_transformer_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
timm_vovnet,pass,0
|
||||
|
||||
|
||||
|
||||
torch_multimodal_clip,pass,0
|
||||
|
||||
|
||||
|
||||
tts_angular,pass,2
|
||||
|
||||
|
||||
|
||||
vgg16,pass,0
|
||||
|
||||
|
||||
|
||||
vision_maskrcnn,pass,18
|
||||
|
||||
|
||||
|
||||
yolov3,pass,0
|
||||
|
@@ -0,0 +1,285 @@
|
||||
name,accuracy,graph_breaks
|
||||
|
||||
|
||||
|
||||
torchrec_dlrm,pass,6
|
||||
|
||||
|
||||
|
||||
BERT_pytorch,pass,6
|
||||
|
||||
|
||||
|
||||
Background_Matting,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
LearningToPaint,pass,6
|
||||
|
||||
|
||||
|
||||
Super_SloMo,pass,7
|
||||
|
||||
|
||||
|
||||
alexnet,pass,6
|
||||
|
||||
|
||||
|
||||
basic_gnn_edgecnn,pass,20
|
||||
|
||||
|
||||
|
||||
basic_gnn_gcn,pass,13
|
||||
|
||||
|
||||
|
||||
basic_gnn_gin,pass,7
|
||||
|
||||
|
||||
|
||||
basic_gnn_sage,pass,7
|
||||
|
||||
|
||||
|
||||
dcgan,pass,6
|
||||
|
||||
|
||||
|
||||
demucs,pass,9
|
||||
|
||||
|
||||
|
||||
densenet121,pass,6
|
||||
|
||||
|
||||
|
||||
detectron2_maskrcnn_r_50_c4,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
dlrm,pass,6
|
||||
|
||||
|
||||
|
||||
drq,pass,7
|
||||
|
||||
|
||||
|
||||
fastNLP_Bert,pass,10
|
||||
|
||||
|
||||
|
||||
functorch_dp_cifar10,pass,7
|
||||
|
||||
|
||||
|
||||
functorch_maml_omniglot,pass,7
|
||||
|
||||
|
||||
|
||||
hf_Albert,pass,6
|
||||
|
||||
|
||||
|
||||
hf_Bart,pass,6
|
||||
|
||||
|
||||
|
||||
hf_Bert,pass,6
|
||||
|
||||
|
||||
|
||||
hf_Bert_large,pass,6
|
||||
|
||||
|
||||
|
||||
hf_BigBird,pass,6
|
||||
|
||||
|
||||
|
||||
hf_DistilBert,pass,6
|
||||
|
||||
|
||||
|
||||
hf_GPT2,pass,6
|
||||
|
||||
|
||||
|
||||
hf_GPT2_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
hf_Reformer,pass,23
|
||||
|
||||
|
||||
|
||||
hf_T5_base,eager_2nd_run_OOM,0
|
||||
|
||||
|
||||
|
||||
hf_T5_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
hf_Whisper,pass,6
|
||||
|
||||
|
||||
|
||||
hf_distil_whisper,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
lennard_jones,pass,7
|
||||
|
||||
|
||||
|
||||
llava,model_fail_to_load,0
|
||||
|
||||
|
||||
|
||||
maml_omniglot,pass,7
|
||||
|
||||
|
||||
|
||||
mnasnet1_0,pass,7
|
||||
|
||||
|
||||
|
||||
mobilenet_v2,pass,6
|
||||
|
||||
|
||||
|
||||
mobilenet_v2_quantized_qat,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
mobilenet_v3_large,pass,7
|
||||
|
||||
|
||||
|
||||
moco,pass,13
|
||||
|
||||
|
||||
|
||||
nanogpt,pass,7
|
||||
|
||||
|
||||
|
||||
nvidia_deeprecommender,pass,7
|
||||
|
||||
|
||||
|
||||
opacus_cifar10,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
phlippe_densenet,pass,6
|
||||
|
||||
|
||||
|
||||
phlippe_resnet,pass,6
|
||||
|
||||
|
||||
|
||||
pytorch_CycleGAN_and_pix2pix,pass,6
|
||||
|
||||
|
||||
|
||||
pytorch_stargan,pass,6
|
||||
|
||||
|
||||
|
||||
pytorch_unet,pass_due_to_skip,7
|
||||
|
||||
|
||||
|
||||
resnet152,pass,7
|
||||
|
||||
|
||||
|
||||
resnet18,pass,6
|
||||
|
||||
|
||||
|
||||
resnet50,pass,6
|
||||
|
||||
|
||||
|
||||
resnet50_quantized_qat,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
resnext50_32x4d,pass,7
|
||||
|
||||
|
||||
|
||||
sam,eager_fail_to_run,0
|
||||
|
||||
|
||||
|
||||
shufflenet_v2_x1_0,pass,6
|
||||
|
||||
|
||||
|
||||
soft_actor_critic,pass,6
|
||||
|
||||
|
||||
|
||||
speech_transformer,pass,16
|
||||
|
||||
|
||||
|
||||
squeezenet1_1,pass,6
|
||||
|
||||
|
||||
|
||||
stable_diffusion_text_encoder,pass,5
|
||||
|
||||
|
||||
|
||||
stable_diffusion_unet,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
timm_efficientnet,pass,7
|
||||
|
||||
|
||||
|
||||
timm_regnet,pass,6
|
||||
|
||||
|
||||
|
||||
timm_resnest,pass,7
|
||||
|
||||
|
||||
|
||||
timm_vision_transformer,pass,6
|
||||
|
||||
|
||||
|
||||
timm_vision_transformer_large,pass_due_to_skip,0
|
||||
|
||||
|
||||
|
||||
timm_vovnet,pass,6
|
||||
|
||||
|
||||
|
||||
torch_multimodal_clip,pass,7
|
||||
|
||||
|
||||
|
||||
tts_angular,pass,9
|
||||
|
||||
|
||||
|
||||
vgg16,pass,6
|
||||
|
||||
|
||||
|
||||
vision_maskrcnn,pass,35
|
||||
|
||||
|
||||
|
||||
yolov3,pass,8
|
||||
|
Reference in New Issue
Block a user