floating-point-precision

9熱

5答えて

だから私はこのようなものになります機能があります：いくつかの時点で float function(){ float x = SomeValue; return x/SomeOtherValue; } を、この機能は非常に大きな負の値をオーバーフローして返します。 float function(){ float x = SomeValue; cout <

4熱

4答えて

Visual Studio 2010の精度問題

私はMicrosoft Visual C++ 6.0で書かれたアプリケーションを持っています。今、Visual Studio 2010でC＃を使用してアプリケーションを書き直しましたが、精度の問題が原因で結果が一致しません。このような精度の問題の1つは次のものです。 float a = 1.0f; float b = 3.0f; float c = a/b; これは、Visual St

0熱

2答えて

SQL空間型のWKT変換でのマシン間での矛盾

SQL Server 2008の空間型のWell-Known Text（WKT）への変換で、マシン間で一貫性のない動作が発生しています。データが同じに格納されているかのように見えます。しかし、WKTへの変換は、マシンによって異なる動作をします。ここでが、私は問題を特定するために一緒に入れて何か： POINT（-124.95714099999999 39.326679）：私が利用可能な様々なマシ

0熱

4答えて

最大値は何ですか？浮動小数点数を表示する小数点以下の桁数（PHP）

私はまだ正確な結果を得ることができません。最大値は何ですか？できるだけ正確に表示したい場合は、小数点以下を表示する必要がありますか？いくつかのコード（コピー＆ペーストしてテストする準備ができて）： // Test with 5 decimals $a = 0.00001; echo bcadd($a,$a,5) . '<br/>'; echo bcadd($a,$a,6) . '<br/>

1熱

3答えて

C/C++での80ビット浮動小数点演算

aをbとすると、変数は_int64です。 sqrt((long double)a)*sqrt((long double)b)を高精度の80ビット浮動小数点で計算する必要があります。例。 (__int64)(sqrt((long double)a)*sqrt((long double)a) + 0.5) != aは多くの場合そうであるはずです。どのwin32 C/C++コンパイラが80ビット浮動

12熱

1答えて

Gccの使用方法4.6.0 x86とx86_64でlibquadmathと__float128を使用する

浮動小数点計算にはlong doubleタイプ（80ビット）を使用する中規模のC99プログラムがあります。新しいGCC 4.6の拡張子__float128で精度を向上させたい。私が得たように、これはソフトウェアエミュレートされた128ビット精度の計算です。プログラムを80ビットの古典的なロング・ダブルから128ビットのクワッド・フロートに変換するにはどうすればよいですか？私は何が変わる必要があ

2熱

1答えて

SQL Serverの組み込み関数Stdevpが正しく計算されない

SQL Server 2008を使用していますが、私の要件の1つは母集団標準偏差を計算することです。 SQL Serverには、同じものとして組み込み関数stdevpが用意されています。私はそれを使用していますが、私が得ている結果に悩まされています。同じ数字のグループの母集団標準偏差はゼロでなければならないが、ここでは微妙な値ではあるが異なるものがある。 drop table guest.temp

0熱

3答えて

C++浮動小数点問題

私は一般的にC++とプログラミングの新人です。私はちょうど私の手を汚くするために小さなプログラムを試しています。以下は、私がコーンの音量を計算するために作成したプログラムです。問題：私が何を出力しても、常にの整数です。私は2つの小数点精度にしたい。私は倍精度と倍精度浮動小数点型（double long double）に変数を変更しようと試みました。どうすればこの問題を解決できますか？なぜこのこ

3熱

2答えて

2つの整数を除算してForthで浮動小数点数を求める方法は？

単精度と倍精度の間で変換できる方法を探しています。 1つの例として、2つの整数を除算して浮動結果を得ることが挙げられます。そんなことがあるものか？