C# と VB.NET の質問掲示板

ASP.NET、C++/CLI、Java 何でもどうぞ

ログ内検索
  • キーワードを複数指定する場合は 半角スペース で区切ってください。
  • 検索条件は、(AND)=[A かつ B] (OR)=[A または B] となっています。
  • [返信]をクリックすると返信ページへ移動します。
キーワード/ 検索条件 /
検索範囲/ 強調表示/ ON (自動リンクOFF)
結果表示件数/ 記事No検索/ ON
大文字と小文字を区別する

No.75337 の関連記事表示

<< 0 >>
■75337  Re[1]: SQLServer2000→2008R2 へのデータ以降
□投稿者/ 魔界の仮面弁士 -(2015/03/16(Mon) 20:39:34)
    No75335 (ハルハル さん) に返信
    > float型の値が17桁MAXの場合に丸められてしまい困っています。

    float 型に 17 桁もの精度はありませんよ。IEEE754 の浮動小数点数ですから。

    Books Online の float(n) 型 の説明を読むと、
     n=1〜24 の場合は 4バイトを消費し、有効桁数は 7 桁
     n=25〜53 の場合は 8バイトを消費し、有効桁数は 15 桁
    とあります。最大精度でも 15 桁のはずです。

    そもそも、同資料には
     『概数であるため、データ型の範囲に含まれるすべての値を正確に表せるわけではありません。』
    の記載があります。細かい誤差を厳密に管理できるような型ではありません。
    二進小数で割り切れない値は、有効桁数内の近似値で格納される仕様です。


    > ex)
    > -2257.5999999999999 ⇒ -2257.6
    > 546.29999999999995 ⇒ 546.3

    少なくとも VB では、CSng("-2257.5999999999999") と CSng("-2257.6") は同じ値です。CDbl も然り。

    バージョンが違うことで、文字列化したときに異なる値に見えてしまうだけで、
    実際には同じ値ということはないでしょうか。
記事No.75335 のレス /過去ログ126より / 関連記事表示
削除チェック/



<< 0 >>

パスワード/

- Child Tree -