precision

0熱

1答えて

特定の浮動小数点計算はなぜそれほど変わるのですか？（例：123456789f +1 = 123456792）

私は浮動小数点演算、発生した出席エラー、発生するエラー、さらに結果がどういう結果になるのかを理解しようとしています。 1）0.1 + 0.1 +0.1 +0.1 +0.1 +0.1 +0.1 +0.1 +0.1 +0.1 -1.0 = -1.1102230246251565E-16：ここでは、現在働いている特に3例は別名0.1 10回を追加すると、1.0よりわずかに少ない数値が得られます。しかし、

2熱

1答えて

INDArrayのJava doubleが精度を失う

精度を損なうことなくdoubleをNd4j.INDArrayに変換できません。 double[] weight = new double[]{-0.13404223866376802,-0.11294084872465669,0.11232944517596409,-0.01687720880184701,0.13288394029423414,-0.06916641552096867,0.151

-4熱

1答えて

C++で浮動変数の精度を設定するにはどうすればよいですか？

私はすでにsetprecision()メソッドを試しましたが、IDEに「スコープに宣言されていません」というエラーが表示されています。

0熱

1答えて

Unity - プレイヤーまたはシナリオを移動する - 無限ランナー

Unityで無限のランナーを作成します。実行中にプレイヤーまたはシナリオを移動する必要があるかどうかは疑問でした。最も明白な答えは、少数のオブジェクトを移動しているため「プレイヤー」のように聞こえるが、シーンのサイズが大きすぎるとパフォーマンスに影響が出るのだろうか？私はそうは思わないが、私の本当の心配は座標に関するものです：プレーヤーが遠く離れて、座標が浮動変数に収まらない場合はどうなります

0熱

2答えて

numpy set_printoptions精度がタプルのリストで無視される

（Windows 7、Python 3.4.5 | Anaconda 2.2.0（64ビット）|（デフォルト、Jul 5 2016、14:53:07）[MSC v.1600 64ビット（AMD64）]）私はきちんとnp.set_printoptions（精度を使用して、いくつかのデータを印刷しようとしていた=と、なぜ無視しているようだ import numpy as np np.set_pri

0熱

1答えて

ループバック番号精度

postgresqlとloopbackを使用しています。私はamountというモデルにフィールドを持っていて、Numberとして使われています。プロジェクトの途中で、今度は新しい要求がamountの値を正確に保持するようになりました。しかし、私は例えばamountを保存することができません。 1.50と変換され、1.5として格納されます。これはjavascriptの数値型の値で発生します。精度を

4熱

3答えて

.NET datetime文字列からdatetimeへの変換時のミリ秒精度の問題

こんにちは。私たちのシステムに来る受信日時の値を文字列形式に変換しようとしています。ミリ秒単位の精度が7より大きい場合、.NETでの日時解析は値が気に入らないようで、値を変換/解析できないようです。私はこのために何をしなければならないのですか？私の現在の唯一の考えは、ミリ秒のサイズには限界があり、それ以上の精度は不可能であるということですか？しかし、私はこれが前提ではなく事実であることを確認した

0熱

2答えて

Numberの精度と位取りが間違っていますか？

私は、Oracle SQL Developerで次の文を挿入しようとしている： INSERT INTO ACC VALUES (1245890, 234.50, 'Broomhill', '15-NOV-2003', 100.00); 文がエラーなしで十分に挿入し、そのデータを見て、行が2番目と4番目の値が表示されることを表示したときに私は気づきました小数点以下1桁です。（234.50と1

4熱

3答えて

浮動小数点数の不正確さを避ける

浮動小数点に関連する問題を完全に理解していますが、私は説明できない非常に興味深い動作を見てきました。 float x = 1028.25478; long int y = 102825478; float z = y/(float)100000.0; printf("x = %f ", x); printf("z = %f",z); 出力は次のとおり X = 1028.254761 Z