C# と VB.NET の質問掲示板

わんくま同盟

ASP.NET、C++/CLI、Java 何でもどうぞ

C# と VB.NET の入門サイト


(過去ログ 91 を表示中)
■54123 / )  Re[1]: VB6.0 Int関数を使用しての切り捨て処理について
□投稿者/ やじゅ (1757回)-(2010/10/05(Tue) 19:56:30)
やじゅ さんの Web サイト
2010/10/05(Tue) 20:38:50 編集(投稿者)

No54121 (ペケ さん) に返信
> dblResultに返される値として「0.085」が返却される予定でしたが
> 実行してみると「0.0849」が返却されます。
> ※@のように計算した結果をDouble型の変数に入れると値がおかしくなるの
> でしょうか。
>
> 何か解決策があれば教えていただければ幸いです。

コンピュータは2進数で計算しているので、その誤差ですね。基本情報で習うはず。
ちなみに、少数→小数です。

dobule型を使わずに、decimal型を使えば0.085Dという値になります。

VB6は、decimal型を指定できないのでCurrency型ですね。

第4回 演算誤差の正体
http://pc.nikkeibp.co.jp/pc21/special/gosa/eg4.shtml
返信 編集キー/


管理者用

- Child Tree -