C# と VB.NET の質問掲示板

わんくま同盟

ASP.NET、C++/CLI、Java 何でもどうぞ

C# と VB.NET の入門サイト

■84080 / 8階層)  有効桁数3桁まででJIS丸めがしたい
□投稿者/ 魔界の仮面弁士 (1275回)-(2017/05/13(Sat) 11:14:24)
No84079 (hihijiji さん) に返信
> 1.11495 の入力があった場合
> ↓   少数5位が四捨五入されて
> 1.1150e-00
> ↓   少数3位が偶数丸めされて
> 1.12
> の出力が返ってきます。

少数→小数


私の No84069 や、AI さんの No84077 のコードでは対処されており、
問題なく 1.11 が返されるようになっています。


Dim a As Decimal = 1.11495D

Dim b As Decimal = CDec(a.ToString("E2"))
Dim c As Decimal = CDec(a.ToString("0.00e00"))


> ただし、確率的にはこんなケースは少なく
確率的とは?


> 有効数字3桁なら少数2位は誤差を含むため実用上は問題ないはずです。
Double や Single は二進小数ですが、Decimal は十進小数なので、
格納誤差は生じないはずですが、そういうことではなく?
編集キー/

前の記事(元になった記事) 次の記事(この記事の返信)
←Re[7]: 有効桁数3桁まででJIS丸めがしたい /hihijiji →Re[9]: 有効桁数3桁まででJIS丸めがしたい /hihijiji
 
上記関連ツリー

有効桁数3桁まででJIS丸めがしたい / AI (17/05/12(Fri) 14:53) #84065
Re[1]: 有効桁数3桁まででJIS丸めがしたい / Jitta (17/05/12(Fri) 15:18) #84066
│└ Re[2]: 有効桁数3桁まででJIS丸めがしたい / AI (17/05/12(Fri) 15:35) #84067
Re[1]: 有効桁数3桁まででJIS丸めがしたい / 魔界の仮面弁士 (17/05/12(Fri) 16:29) #84069
    └ Re[3]: 有効桁数3桁まででJIS丸めがしたい / hihijiji (17/05/12(Fri) 16:17) #84068
      └ Re[4]: 有効桁数3桁まででJIS丸めがしたい / AI (17/05/12(Fri) 17:24) #84071
        └ Re[5]: 有効桁数3桁まででJIS丸めがしたい / hihijiji (17/05/12(Fri) 18:17) #84075
          └ Re[6]: 有効桁数3桁まででJIS丸めがしたい / AI (17/05/12(Fri) 19:08) #84077
            └ Re[7]: 有効桁数3桁まででJIS丸めがしたい / hihijiji (17/05/13(Sat) 10:31) #84079
              └ 有効桁数3桁まででJIS丸めがしたい / 魔界の仮面弁士 (17/05/13(Sat) 11:14) #84080 ←Now
                └ Re[9]: 有効桁数3桁まででJIS丸めがしたい / hihijiji (17/05/13(Sat) 11:40) #84081
                  └ Re[10]: 有効桁数3桁まででJIS丸めがしたい / 魔界の仮面弁士 (17/05/13(Sat) 22:04) #84084
                    └ Re[11]: 有効桁数3桁まででJIS丸めがしたい / AI (17/05/15(Mon) 18:03) #84093
                      ├ Re[12]: 有効桁数3桁まででJIS丸めがしたい / furu (17/05/15(Mon) 18:25) #84094
                      │└ Re[13]: 有効桁数3桁まででJIS丸めがしたい / AI (17/05/16(Tue) 14:39) #84114
                      └ Re[12]: 有効桁数3桁まででJIS丸めがしたい / 魔界の仮面弁士 (17/05/15(Mon) 19:44) #84097
                        └ Re[13]: 有効桁数3桁まででJIS丸めがしたい / 魔界の仮面弁士 (17/05/16(Tue) 09:37) #84101
                          └ Re[14]: 有効桁数3桁まででJIS丸めがしたい / AI (17/05/16(Tue) 14:41) #84115 解決済み

上記ツリーを一括表示 / 上記ツリーをトピック表示
 
上記の記事へ返信