[Perf -7%] System.Text.Perf_Utf8Encoding.GetBytes

[DrewScoggins]

Run Information

Architecture	x64
OS	ubuntu 18.04
Baseline	d73c65ed402fad658c39d78773d181c4459b62c8
Compare	fe80a77dac16de2451be60563123b8fbf8ea8355

Regressions in System.Text.Perf_Utf8Encoding

Benchmark	Baseline	Test	Test/Base	Baseline IR	Compare IR	IR Ratio	Baseline ETL	Compare ETL
GetBytes	91.13 μs	97.86 μs	1.07

Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Text.Perf_Utf8Encoding*'

.

Payloads

Baseline
Compare

Histogram

System.Text.Perf_Utf8Encoding.GetBytes(Input: Cyrillic)

[88821.971 ; 91127.201) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[91127.201 ; 94296.831) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[94296.831 ; 97253.700) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[97253.700 ; 99712.542) | @@@@@@@@@@@@@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

[ghost]

Tagging subscribers to this area: @tarekgh, @krwq
See info in area-owners.md if you want to be subscribed.

Issue Details

---

Run Information

Architecture	x64
OS	ubuntu 18.04
Baseline	d73c65ed402fad658c39d78773d181c4459b62c8
Compare	fe80a77dac16de2451be60563123b8fbf8ea8355

Regressions in System.Text.Perf_Utf8Encoding

Benchmark	Baseline	Test	Test/Base	Baseline IR	Compare IR	IR Ratio	Baseline ETL	Compare ETL
GetBytes	91.13 μs	97.86 μs	1.07

Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Text.Perf_Utf8Encoding*'

.

Payloads

Baseline
Compare

Histogram

System.Text.Perf_Utf8Encoding.GetBytes(Input: Cyrillic)

[88821.971 ; 91127.201) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[91127.201 ; 94296.831) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[94296.831 ; 97253.700) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[97253.700 ; 99712.542) | @@@@@@@@@@@@@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Author:	DrewScoggins
Assignees:	-
Labels:	arch-x64, area-System.Text.Encoding, os-linux, tenet-performance, tenet-performance-benchmarks, untriaged
Milestone:	-

[tarekgh]

@GrabYourPitchforks did we have any recent change in this area? or you think this is related to codegen?

[GrabYourPitchforks]

There weren't any recent changes to System.Text here. There were two JIT changes (7031456 and 3e65d68) between baseline + compare, but I don't know how to reason about whether those JIT changes may have impacted these scenarios. If other perf tests started showing regressions at around the same time then it might finger those.

[danmoseley]

@DrewScoggins were there any other regressions at the same point?

[danmoseley]

cc @AndyAyersMS and @sandreenko who made those changes in case something pops for them.

[DrewScoggins]

Not that we saw, no.

[sandreenko]

It could have been caused by 3e65d68, the description is here #43130 (comment).
Could you please mark it as codegen and assign it to me? I will try to find a solution after we setup arm64 apple testing in ci.

[GrabYourPitchforks]

Check also the comments for DrewScoggins/performance-2#3543. There's some discussion there that the JIT may have experienced regressions around this time frame.

[danmoseley]

@sandreenko thanks - I've assigned to you.

[EgorBo]

Closing this as we fixed it via PGO static data from training sessions where we added non en-us inputs including cyrilic e.g.

[danmoseley]

@EgorBo for my reference, where do we store training scenarios?

[EgorBo]

@danmoseley https://dev.azure.com/dnceng/internal/_git/dotnet-optimization and the PR that fixed this issue is https://dev.azure.com/dnceng/internal/_git/dotnet-optimization/pullrequest/24609?_a=files