web-scraping

2熱

2答えて

私は最初にPythonで最小限の経験を持っていましたが、私はscrapyの使い方を学んできました。私はBaseSpiderを使ってスクラップする方法を学び始めました。今、私はウェブサイトをクロールしようとしていますが、私は本当に私を混乱させる問題に遭遇しました。公式サイトのコード例はhttp://doc.scrapy.org/topics/spiders.htmlです。 from scrapy.c

1熱

1答えて

Webクエリを実行するRuby on Rail Gemまたはプラグインはありますか？

私が取り組んでいるプロジェクトでExcelでできることと同様のWebクエリ機能でビルドする必要があります。誰もがこの機能を備えた宝石、プラグイン、またはアプリケーションを見つけましたか？説明：明確にするために、私が作成しようとしているExcelのWebクエリ機能は、Webページ上の指定されたテーブルからデータを抽出する機能です。良い例としては、特定のティッカーシンボルが与えられた場合、Webクエ

0熱

1答えて

Image Djangoでハッシュする

私は初心者のプログラマーで、インターネット上のさまざまな場所に行き、広告のためにスクラップするDjango Webアプリケーションを構築しています。ここに私の広告モデルの短縮バージョンです： class Ad(models.Model): ... pic = models.ImageField(upload_to='photos/', blank=True) マイセロリのタ

1熱

1答えて

ブラウザでレンダリングされたように、JavaでWebページのソースコードを完全に取得します。

ページ読み込み中またはページ読み込み後に、いくつかのjavacript/ajax呼び出しを使用してWebページの一部のフィールドを埋め込むWebページはほとんどありません。 1つの例はhttp://www.sohos.co.uk/MEN-T-Shirts/Iron-Fist-Mens-Clothing/--Iron-Fist-Bloody-Mess-T--Shirt_ct271bd5pd197.h

0熱

2答えて

ログインが必要なウェブサイトからデータを取得する（Java）

私が尋ねていることが可能で、私はGoogleで何を検索するのか分からない。基本的に、ウェブサイトからデータを取得する必要があるプロジェクトが複数あります。私が今考えている例は、銀行口座からアカウント情報を取得することです。http://www.americanexpress.ca私は自分のログイン情報が左側のフィールドに入力され、結果のページ。私はそのデータを解析するメソッドを作成します。明ら

0熱

2答えて

イスラエルの地図にいくつかの場所を表示

私はいくつかのウェブサイトからイスラエルのアドレスをウェブスクラップし、最終的にイスラエルの地図上にそれらの住所をマークするためにjsの小さな部分を使用しようとしています。私は、ウェブページのコンテンツを取得するために管理し、それらのアドレスの文字列を見つけることができませんでした私は2つの問題を抱えていると、おそらく誰かが私を助けることができます。その理由は、固定パターンがないからです。ウェ

1熱

1答えて

異なるサイトからデータを取得する最も簡単な方法

私は別のウェブサイト（URLと要素名が提供されています）から静的なデータを取得したいのですが、最も簡単な方法は何ですか？ www.address /記事/グラブ-この <html> (...) <article id="#article-121"> <h1>Header</h1> <p>Contents</p> </article> (.

0熱

1答えて

Googleキーワードツールを削ることはできますか？

Googleキーワードツール - https://adwords.google.com/select/KeywordToolExternalからデータを抽出します。彼らのサイトはJavascriptで、私が取り組んでいるスクリプトはPHPです。とにかくこれをするには？また、良い解決策がない場合、私はcsvファイルをダウンロードし、そこからデータを抽出することを考えていました。残念ながら、私はcs

2熱

2答えて

CURLを使用してHTMLファイルから内容を解析する方法は？

CURLを使ってXHTMLコンテンツを解析したいと思います。取引番号、重量、高さ、を<table>タグの間でスクラップする方法。このHTML文書の内容のみをスクラップし、CURLを使用して配列として取得する方法は？ transactions.php <table border=0 cellspacing=0 width=100%> <tr> <td colspan=

2熱

2答えて

ルビー文字列の文字エンコーディングを修正するバックスラッシュを追加する

これは非常に簡単だと確信していますが、これらすべてのバックスラッシュで結びついています。ウェブサイトから（丁寧に）私が掻き集めているデータがあります。時折、次のような文章が私に届きます。 u00a362 000? you must be joking もちろん、「2 000？冗談じゃないわ'。 irbの短いテストで解読されました。 ruby-1.9.2-p180 :001 > string