rounding-error

    1

    2答えて

    私はJavaでプロジェクトに取り組んでいますが、価格はマイクロ単位で表示されています。 マイクロ単位の価格は、1,000,000マイクロ単位が通貨の1単位に等しい価格です。たとえば、価格が「7.99ユーロ」の場合、price_amount_microsは「7990000」です。 別の文字列として7と99を抽出する必要があります。丸め誤差に関するいくつかの記事を読んだ、私は私が必要なものを達成するた

    2

    3答えて

    「sum」という小数点があり、その値は5824088.999120mですが、小数点以下3桁に丸めようとすると5824088.999mの代わりに5824088.998mが得られます。それは5824088.999mを残す代わりに減少します。 なぜですか?ここに私のコードです: List<decimal> quantityList = QuantityList(); List<decimal> pri

    0

    1答えて

    関数mpi_sendとmpi_recvにmpi_reduceと同様の丸め誤差があるかどうか尋ねます。 mpr_reduce関数の丸め誤差はプロセッサの実行順序の違いから来るものであるが、関数mpi_sendとmpr_recvには似たような手順がないので、そうしてはいけないと思った。 次に、シリアルコードとその結果を比較してmpi_sendとmpi_recv関数だけで並列コードの計算を検証するのが論

    8

    2答えて

    MySQLデータベースを使用してPHPでコーディングされたWebアプリケーション。 私は、コストを分割するときに、多くの人の異なるコストを計算するシステムを持っています。たとえば、人物Aは、10と人物を購入します。人物B、C、およびDは、コストを分割する必要があります。 システムは、これが行われる場合、しかしながらB、CおよびD ため10/3の者 10及び負レコードの正レコードを登録し、そのためべ

    8

    4答えて

    整数の1つの積を整数の別の積で割った比をとって、倍精度浮動小数点数(64ビット)を作成しようとしています。私は丸め誤差を減らすようにしたい。 加算と減算のためのカハン合計に精通しています。どのテクニックが分裂のために働くのか? 分子は、分母と同様に、多くの長い値(数万)の積です。オーバーフローやアンダーフローも避けたい。 私が試したことの1つは、容易に因数分解可能な数を(100万までの既知の素数に

    -4

    1答えて

    私はすばやいです(2.2を使用)。200.23 - 200が0.2299999999999898に等しいと表示されています。私はコンピュータが不合理な数を正確に表すことができないことを知っていますが、なぜ有理数も正しく表現されていないのか分かりません。これは私のプログラムで生成された出力番号に影響を与え、問題につながります。私は数を定義し、その全体と小数部分を抽出しています上記のコードで var

    1

    1答えて

    丸めコードで倍増するスクリプトに問題があり、エラーを見つけることができません。問題がどこから発生しているのかわからない。どんなフィードバックも高く評価されます。 def research_rounding(first_time): first_time = float(first_time) if first_time == 0: #If time is 0, ret

    1

    1答えて

    浮動小数点変数を持つC#(.Net 4.6.1)で奇妙な問題が発生しました。 public class Point { public readonly double X; public readonly double Y; public Point(double x, double y) { this.X = x; this.Y

    1

    2答えて

    私はワークシート内のセルに関連する倍精度を使用して非常に正確な計算をしようとしています。コードをデバッグするとき、テストダブルとしてのみ-3298.86を拾っていることは明らかですが...£3,298.8599993 - J2は10進値ですセルで Sub MacroTest() Dim opt As Worksheet Set opt = Sheets("Optimisation") D

    0

    1答えて

    Python 2.7.10を使用して、私は5 * math.sqrt(3)とmath.sqrt(5 ** 2 * 3)が同じフロート: import math import decimal print decimal.Decimal(5*math.sqrt(3)) print decimal.Decimal(math.sqrt(5**2*3)) print 5*math.sqrt(3)