- - PR -
数値が近似値?に変換されてしまいます(Oracle接続)
投稿者 | 投稿内容 | ||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
投稿日時: 2006-11-02 15:04
7.02と0.02でどう違っているか考察されてみましたか?有効桁数ということからいえばかなり違う数字だと思いますけど。 #小数点が基準ではないです>誤差。 元の値に対して一定の誤差はあるけど、表示が整数部1桁からなので落とされてしまってるんでしょうね。 [ メッセージ編集済み 編集者: shimix 編集日時 2006-11-02 15:08 ] | ||||||||||||
|
投稿日時: 2006-11-02 21:55
Double で管理すると、なぜ狂うのですか? 現象を知っているのと、原因を知っているのは違います。今、現象はご存じですが、原因をご存じでないために、同じ原因でおこる他の現象が、不思議に映っているのです。
7.02000...5 を、小数点以下6桁で丸めると、7.02 になりますよね。そういうことです。
どこまでの桁が必要なのか、それを知っているのは人じゃないですか? と、思ったのですが、16.2 は Decimal なのか。何でだろう?マニュアルに聞いてみました? _________________ | ||||||||||||
|
投稿日時: 2006-11-02 23:47
以前にも小数点で類似スレがあったな。
件名:490/4.9=99.99999 |