floating-accuracy

1熱

2答えて

0を1.36424205265939E-12として表示しているSQLクエリー

私の選択したクエリの列A +列B +列Cに3つの列を一緒に追加しています。しかし、回答が0になるべき特定の列は、1.36424205265939E-12、またはそれに類似するものとして渡ります。例：私の数学は0 + 1414 + -1414です。答えは0になるはずですが、その代わりに私は1.36424205265939E-12の結果を得ています。私のすべてのデータ型は浮動小数点型です。列BとC

1熱

1答えて

Pythonのmath.logは、より大きい整数での不正確な出力ですか？

これは私のコードで、math.logを使ってintのログを検索しようとしています。私は不正確なログを解決するための方法のほとんどを試してみましたが、何もコードの私の作品動いていないようにみえ：値をチェックする num = 810333333333333333253432343224234 print(num) getcontext().prec = 100 # set the precisi

1熱

2答えて

高精度の数値を使用できる言語/環境はありますか？

私は、精度の高い浮動小数点数を必要とする特定のプロジェクトにMathematicaを使用しています。 Mathematicaはこれをサポートしているように見える。すべての値は記号であり、数値で評価されるとき、あなたは望む精度を求めることができる。たとえば、小数点の後に1000桁の数字を付けることができます。これを可能にする他の環境はありますか？おかげで

0熱

1答えて

Swift 3 double rounding func

私はSwiftに 'number prettifier'を書く浮動小数点精度の問題があります。私はこのコードを持っている： func prettifyNumber(number:Int) -> String { let thousands = Double(number)/1000.0; var prettyNumber = String(format: "%.1fk", th

1熱

1答えて

並列化されたBLASルーチンの結果の確認

OpenCLにいくつかの並列BLASルーチンを実装しました。カーネルが正しいかどうかを調べるために、同じルーチンを素朴な方法で実装しました。カーネルを実行した後、カーネルの結果を素朴な実装の結果と比較します。 floatの値を==と比較することはできません。したがって、私は2つの絶対差を計算し、それが限界を超えているかどうかを確認します。私は既にfloatsを比較するいくつかの他の方法を記述するt

1熱

2答えて

pandas.read_csv（）float解析の理解

pandas.read_csvを使用してCSVから確率を読み取る際に問題があります。値の一部は> 1.0で浮動小数点として読み込まれます。具体的には、私は次の動作について混乱しています： >>> pandas.read_csv(io.StringIO("column\n0.99999999999999998"))["column"][0] 1.0 >>> pandas.read_csv(io

1熱

1答えて

精度が1の累乗に引き上げられたときの精度が失われる

Decimalを使用して私のプログラムで精度の問題が発生しました。シンプルREPRO： from decimal import Decimal print Decimal(1910944005427272400562113336049664) print Decimal(1910944005427272400562113336049664)**1 print int(Decimal(19

-1熱

1答えて

ナイーブベイズ分類器を実装する際の精度が低い

ナイーブベイズの概念を実装するナイーブベイズ分類器のコードがありますが、このアルゴリズムが提供する精度は約48％で、ナイーブのMATLABビルドイン関数ベイズ（84％）。問題がどこにあるのか誰でも助けてくれますか？ここに私のコードです： function [conf, confMat] = NaiveBayesClassifier(train, test) Att_cnt = size(tr

2熱

1答えて

64ラウンドトリップ形式指定子 "R"を持つ32ビットのダブルパッシングの問題

6dp浮動小数点値の文字列表現を解析すると、結果が32で異なる.net（4.6.1）のシナリオがあります。 64ビットモード。 [Fact] public void ParseTest() { var numText = "51.580133"; double.Parse(numText) .ToString("R") .Should().Be(nu

4熱

1答えて

0.5 * x + 0.5 * x == xというのはいつも真実だと言えますか？

0.5は、2の（負の）累乗であり、IEEE-754バイナリ浮動小数点フォーマットによって正確に表現できることを意味します。 signle精度では0'01111110'00000000000000000000000です。の場合、y + y == xの場合、最適化をオフにしたクイックテスト（-O0）に基づいています。しかし、IEEE-754規格では常に保証されていますか？私はnは正の整数2のパワー