■54123 / ) |
Re[1]: VB6.0 Int関数を使用しての切り捨て処理について |
□投稿者/ やじゅ (1757回)-(2010/10/05(Tue) 19:56:30)
|
2010/10/05(Tue) 20:38:50 編集(投稿者)
■No54121 (ペケ さん) に返信 > dblResultに返される値として「0.085」が返却される予定でしたが > 実行してみると「0.0849」が返却されます。 > ※@のように計算した結果をDouble型の変数に入れると値がおかしくなるの > でしょうか。 > > 何か解決策があれば教えていただければ幸いです。
コンピュータは2進数で計算しているので、その誤差ですね。基本情報で習うはず。 ちなみに、少数→小数です。
dobule型を使わずに、decimal型を使えば0.085Dという値になります。
VB6は、decimal型を指定できないのでCurrency型ですね。
第4回 演算誤差の正体 http://pc.nikkeibp.co.jp/pc21/special/gosa/eg4.shtml
|
|