❶ 怎么通过URL抓取google的上证指数
是个AJAX网页，很多抓取工具无能为力，但是，对于MetaSeeker工具包来说很容易，使用工具包中的MetaStudio工具定义抓取规则，已经有人定义了，主题名demo_ajax_google_shIndex，然后使用工具包中的DataScraper定题网络爬虫周期性抓取就行了。
指数刷新很快，要很频繁抓取。也许采用一些网站的财经指数API更容易，好像有新浪财经API，可以获得指数和股票价格信息
❷ 如何用爬虫抓取股市数据并生成分析报表
1. 关于数据采集
股票数据是一种标准化的结构数据，是可以通过API接口访问的（不过一般要通过渠道，开放的API有一定的局限性）。也可以通过爬虫软件进行采集，但是爬虫软件采集数据不能保证实时性，根据数据量和采集周期，可能要延迟几十秒到几分钟不等。我们总结了一套专业的爬虫技术解决方案(Ruby + Sidekiq)。能够很快实现这个采集，也可以后台可视化调度任务。
2. 关于展现
网络股票数据的展现，网页端直接通过HTML5技术就已经足够，如果对界面要求高一点，可以采用集成前端框架，如Bootstrap；如果针对移动端开发， 可以使用Ionic框架。
3. 关于触发事件
如果是采用Ruby on Rails的开发框架的话，倒是很方便了，有如sidekiq, whenever这样子的Gem直接实现任务管理和事件触发。
❸ java采集腾讯的股票行情
用firefox的httpfox插件，拦截访问这个页面时，所有response的内容。模拟浏览器的提交顺序来弄，来的到js返回的内容。
参考爬虫，蜘蛛，网页抓取等技术