❶ 怎麼學python爬取財經信息
本程序使用Python 2.7.6編寫，擴展了Python自帶的HTMLParser，自動根據預設的股票代碼列表，從Yahoo Finance抓取列表中的數據日期、股票名稱、實時報價、當日變化率、當日最低價、當日最高價。
由於Yahoo Finance的股票頁面中的數值都有相應id。
例如納斯達克100指數ETF（QQQ）
其中實時報價的HTML標記為
[html]view plain
<spanid="yfs_l84_qqq">87.49</span>
<spanid="yfs_l84_spy">187.25</span>
05/05/(IBB)233.281.85%225.34233.28
05/05/(SOCL)17.480.17%17.1217.53
05/05/(PNQI)62.610.35%61.4662.74
05/05/2014xsdSPDRS&PSemiconctorETF(XSD)67.150.12%66.2067.41
05/05/2014itaiSharesUSAerospace&Defense(ITA)110.341.15%108.62110.56
05/05/2014iaiiSharesUSBroker-Dealers(IAI)37.42-0.21%36.8637.42
05/05/(VBK)119.97-0.03%118.37120.09
05/05/2014qqqPowerSharesQQQ(QQQ)87.950.53%86.7687.97
05/05/2014ewiiSharesMSCIItalyCapped(EWI)17.86-0.56%17.6517.89
05/05/(DFE)62.33-0.11%61.9462.39
05/05/(PBD)13.030.00%12.9713.05
05/05/(EIRL)38.52-0.16%38.3938.60
而標普500指數ETF（SPY）
其中實時報價的HTML標記為
[html]view plain
因此本數據抓取程序根據相應的id字元串來查找數據。具體來說就是先繼承HTMLParser，然後在自定義的子類中重載handle_data(self, data)方法，查找包含相應id字元串（例如實時報價的id字元串為"yfs_l84_"+股票代碼）的HTML標記，並輸出這個HTML標記中的數據（例如qqq的<span id="yfs_l84_qqq">87.49</span>，其中的數據87.49就是實時報價。）
樣本輸出：
數據依次是
數據日期 股票代碼 股票名稱 實時報價 日變化率 日最低價 日最高價
[python]view plain
❷ python數據分析和爬蟲有什麼關系
用爬蟲爬到數據後才能進行數據分析啊，不然數據分析沒有數據。
❸ python爬蟲獲取東方財富股票論壇內容分析，怎樣
付費可以幫寫
❹ Python 如何爬股票數據
現在都不用爬數據拉，很多量化平台能提供數據介面的服務。像比如基礎金融數據，包括滬深A股行情數據，上市公司財務數據，場內基金數據，指數數據，期貨數據以及宏觀經濟數據；或者Alpha特色因子，技術分析指標因子，股票tick數據以及網路因子數據這些數據都可以在JQData這種數據服務中找到的。
有的供應商還能提供level2的行情數據，不過這種比較貴，幾萬塊一年吧
❺ 利用python爬蟲技術可以做到哪些炫酷有趣的事
用python爬蟲爬取股票公司網站數據，做短線買股票會提高你買入和拋售的判斷。
❻ 如何用python 爬蟲抓取金融數據
獲取數據是數據分析中必不可少的一部分，而網路爬蟲是是獲取數據的一個重要渠道之一。鑒於此，我拾起了Python這把利器，開啟了網路爬蟲之路。
本篇使用的版本為python3.5，意在抓取證券之星上當天所有A股數據。程序主要分為三個部分：網頁源碼的獲取、所需內容的提取、所得結果的整理。
一、網頁源碼的獲取
很多人喜歡用python爬蟲的原因之一就是它容易上手。只需以下幾行代碼既可抓取大部分網頁的源碼。
為了減少干擾，我先用正則表達式從整個頁面源碼中匹配出以上的主體部分，然後從主體部分中匹配出每隻股票的信息。代碼如下。
pattern=re.compile('<tbody[sS]*</tbody>')
body=re.findall(pattern,str(content)) #匹配<tbody和</tbody>之間的所有代碼pattern=re.compile('>(.*?)<')
stock_page=re.findall(pattern,body[0]) #匹配>和<之間的所有信息
其中compile方法為編譯匹配模式，findall方法用此匹配模式去匹配出所需信息，並以列表的方式返回。正則表達式的語法還挺多的，下面我只羅列所用到符號的含義。
語法 說明
. 匹配任意除換行符「 」外的字元
* 匹配前一個字元0次或無限次
？ 匹配前一個字元0次或一次
s 空白字元：[<空格> fv]
S 非空白字元：[^s]
[...] 字元集，對應的位置可以是字元集中任意字元
(...) 被括起來的表達式將作為分組，裡面一般為我們所需提取的內容
正則表達式的語法挺多的，也許有大牛隻要一句正則表達式就可提取我想提取的內容。在提取股票主體部分代碼時發現有人用xpath表達式提取顯得更簡潔一些，看來頁面解析也有很長的一段路要走。
三、所得結果的整理
通過非貪婪模式(.*?)匹配>和<之間的所有數據，會匹配出一些空白字元出來，所以我們採用如下代碼把空白字元移除。
stock_last=stock_total[:] #stock_total：匹配出的股票數據for data in stock_total: #stock_last：整理後的股票數據
if data=='':
stock_last.remove('')
最後，我們可以列印幾列數據看下效果，代碼如下
print('代碼',' ','簡稱',' ',' ','最新價',' ','漲跌幅',' ','漲跌額',' ','5分鍾漲幅')for i in range(0,len(stock_last),13): #網頁總共有13列數據
print(stock_last[i],' ',stock_last[i+1],' ',' ',stock_last[i+2],' ',' ',stock_last[i+3],' ',' ',stock_last[i+4],' ',' ',stock_last[i+5])
❼ python如何解析爬取的數據
用json方法轉成字典
❽ python爬蟲如何分析一個將要爬取的網站
首先,你去爬取一個網站, 你會清楚這個網站是屬於什麼類型的網站(新聞,論壇,貼吧等等)。 你會清楚你需要哪部分的數據。告訴你scrapy框架了，這是python最受歡迎的爬蟲框架，有了這個框架，多線程爬取不需要你控制，你只需要完成數據的屬性類item，網頁爬蟲類spider，數據保存類pipelines，網頁去重類等等就可以了，世界是那麼的美好，膜拜作者的想法在你心裡油然而生。
如果你爬取數據量不大，只是單機爬取，上面就坐等結果了，如果你說「我手頭有幾台電腦，一起爬快點」，那麼是時候告訴你scrapy-redis了。
❾ python用什麼方法或者庫可以拿到全部股票代碼
首先你需要知道哪個網站上有所有股票代碼，然後分析這個網站股票代碼的存放方式，再利用python寫一個爬蟲去爬取所有的股票代碼
❿ python爬蟲怎樣賺外快
1）在校大學生。最好是數學或計算機相關專業，編程能力還可以的話，稍微看一下爬蟲知識，主要涉及一門語言的爬蟲庫、html解析、內容存儲等，復雜的還需要了解URL排重、模擬登錄、驗證碼識別、多線程、代理、移動端抓取等。由於在校學生的工程經驗比較少，建議只接一些少量數據抓取的項目，而不要去接一些監控類的項目、或大規模抓取的項目。慢慢來，步子不要邁太大。
（2）在職人員。如果你本身就是爬蟲工程師，接私活很簡單。如果你不是，也不要緊。只要是做IT的，稍微學習一下爬蟲應該不難。在職人員的優勢是熟悉項目開發流程，工程經驗豐富，能對一個任務的難度、時間、花費進行合理評估。可以嘗試去接一些大規模抓取任務、監控任務、移動端模擬登錄並抓取任務等，收益想對可觀一些。
渠道：淘寶、熟人介紹、豬八戒、csdn、發源地、QQ群等！
(10)python爬蟲股票分析擴展閱讀：
網路爬蟲（又被稱為網頁蜘蛛，網路機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。
隨著網路的迅速發展，萬維網成為大量信息的載體，如何有效地提取並利用這些信息成為一個巨大的挑戰。搜索引擎(Search Engine)，例如傳統的通用搜索引擎AltaVista，Yahoo!和Google等，作為一個輔助人們檢索信息的工具成為用戶訪問萬維網的入口和指南。但是，這些通用性搜索引擎也存在著一定的局限性，如：
(1)不同領域、不同背景的用戶往往具有不同的檢索目的和需求，通用搜索引擎所返回的結果包含大量用戶不關心的網頁。
(2)通用搜索引擎的目標是盡可能大的網路覆蓋率，有限的搜索引擎伺服器資源與無限的網路數據資源之間的矛盾將進一步加深。
(3)萬維網數據形式的豐富和網路技術的不斷發展，圖片、資料庫、音頻、視頻多媒體等不同數據大量出現，通用搜索引擎往往對這些信息含量密集且具有一定結構的數據無能為力，不能很好地發現和獲取。
(4)通用搜索引擎大多提供基於關鍵字的檢索，難以支持根據語義信息提出的查詢。
為了解決上述問題，定向抓取相關網頁資源的聚焦爬蟲應運而生。聚焦爬蟲是一個自動下載網頁的程序，它根據既定的抓取目標，有選擇的訪問萬維網上的網頁與相關的鏈接，獲取所需要的信息。與通用爬蟲(general purpose web crawler)不同，聚焦爬蟲並不追求大的覆蓋，而將目標定為抓取與某一特定主題內容相關的網頁，為面向主題的用戶查詢准備數據資源。
1 聚焦爬蟲工作原理以及關鍵技術概述
網路爬蟲是一個自動提取網頁的程序，它為搜索引擎從萬維網上下載網頁，是搜索引擎的重要組成。傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件。聚焦爬蟲的工作流程較為復雜，需要根據一定的網頁分析演算法過濾與主題無關的鏈接，保留有用的鏈接並將其放入等待抓取的URL隊列。然後，它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，並重復上述過程，直到達到系統的某一條件時停止。另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，並建立索引，以便之後的查詢和檢索；對於聚焦爬蟲來說，這一過程所得到的分析結果還可能對以後的抓取過程給出反饋和指導。
相對於通用網路爬蟲，聚焦爬蟲還需要解決三個主要問題：
(1) 對抓取目標的描述或定義；
(2) 對網頁或數據的分析與過濾；
(3) 對URL的搜索策略。