| ■61652 / ) |
Re[2]: 1 Mod 0.1 を正しく評価するには？ |
□投稿者/ ひろ (13回)-(2011/08/25(Thu) 12:15:12)
|
2011/08/25(Thu) 12:16:41 編集(投稿者)
shu様、 チョリ様、 魔界の仮面弁士様
回答ありがとうございました。
精度の高いほうで計算されると思っていたので
1D Mod 0.1
をやってみて、結果が変わらなかったので、
Decimalでもだめなんだと思って質問させていただきましたが、
1 Mod 0.1D
としたら、うまくいきました。
確認不足で手間を取らせてしまい、申し訳ございませんでした。
> そのため、誤差軽減のために Decimal を使うのであれば、元の入力値や
> 計算過程において、Single や Double が一切使われる事が無いように
> 留意しておく必要があるでしょう。
VB.netではどちらか片方がDecimal型なら、計算過程、結果ともDecimalに
なるわけではないのですね。
大変勉強になりました。
|
解決済み
|
