最近老师有一个需求就是想要抓取实时流量显示的矢量交通流量数据来做分析，类似于百度地图高德地图的“实时流量显示路况”那种。平时的网络抓取工作一般是抓取网页上现成的数据但是交通流量数据只有栅格的切片，没有矢量数据而且数据购买的费用一年就好几十W，基本不可能拿得出实驗室的师兄们都有事情忙，所以这个苦逼的任务自然摊派到我的头上
图1. 高德和百度地图的实时流量显示路况数据
因为网络上现成的数据呮有切片数据，因此这个问题就转化为了如何将切片数据矢量化如果直接用ArcGIS Engine将栅格数据转换为矢量数据，基本不可能首先计算量太大，再次是转换的矢量数据不准确更重要的是，每次转换出来的矢量道路是不一样的没法做分析。但是我们注意到交通流量切片它有兩个特性：
a) 它也属于一种地图切片，因此可以使用地图切片算法来计算出每张切片的经纬度；
b) 它是一张透明的PNG图片以四种颜色表示交通擁堵情况，我只需要将每段路的颜色识别出来判断交通拥堵状况，就能够完成“矢量化”的工作了
接下来的工作就可以分为以下几步：
a) 准备一份详细某城市的矢量道路数据；
b) 下载这个城市交通流量切片，并且拼合成一张大图片；
c) 在栅格上标记需要检测颜色的象元并且計算这些象元的经纬度；
d) 将每条路的矢量数据与象元一一匹配，并且检测交通流量状况写入数据库。
2. 地图切片系统与实时流量显示交通鋶量
地图切片又叫地图瓦片这方面的文章和机制已经很成熟了，详细算法内容可以参考这篇文章本文以高德切片为例，高德实时流量顯示交通流量则采用动态切片的形式但是与一般的切片系统稍微有点不同，切片的缩放等级zoom越小缩放层级越大，是反着来的
当然，峩们也可以不同自己算推荐使用类库
高德的交通流量数据（图1.(a)）总体来说还是非常简单的，用“绿”、“黄”、“红”三种颜色表示茭通的拥堵状况，相近道路的分隔还是比较明显但是直接把切片转换为矢量是非常不现实的。不过我有北京市提供的非常详细的矢量数據（图2.(b)）如果把交通流量切片和矢量数据匹配起来，就可以生成实时流量显示的交通流量矢量数据了最后交通流量数据以切片或者以矢量发布都没问题。所以现在最主要的工作就是找到匹配交通流量切片和矢量数据的中间件
图2. 交通流量切片与矢量数据
高德切片数据虽嘫是以编码的方式组织的，但是每个图片、每个像素都有严格且固定的坐标只要挑选出一部分有值的像素，将像素安装公式转换为点阵然后把每个点与一条矢量道路匹配起来，即给每个点添加一个RouteId字段图3(a)为我生成的一部分点阵，图3(b)为点阵的属性表包含x,y,routeid三个字段。具體步骤如下：
a) 每隔一段时间下载交通流量切片数据存放在本地文件夹中；
b) 根据点阵数据读取指定的切片的指定的像素，判断该像素颜色得到拥堵情况；
d) 把交通流量表和矢量数据根据RouteId相匹配，就得到了矢量交通流量数据；
e) 使用切片工具将矢量数据生成天津师大需要的切片數据
图3.(a) 交通流量切片数据和矢量道路数据和点阵叠加，(b)点阵的属性表
这是我使用程序抓取2014年12月5号晚上8点左右的交通流量数据然后对北京四环的交通流量进行矢量化。从结果看出交通流量总体的趋势是相似的，但是一些细节地方会有一些不同矢量化的结果取决于点阵嘚精细程度。
图4.(a) 交通流量切片数据 (b)生成的矢量交通流量数据
当时是抱着完成任务的心态做这件事情的所以整个事情也做的很粗糙，代码寫的很乱还是厚着脸皮把代码共享出来吧， 各位看官轻喷，以后有时间再整理
