简介日本全境SHP文件是一套面向地理信息系统用户的矢量地理数据包内容覆盖日本全部行政区划范围可细化到町、目级别相比栅格数据更适合无损缩放与精准量算。使用者可在QGIS、ArcGIS等软件中直接打开完成面积测量、缓冲区分析、属性查询、专题制图等操作服务于城市规划、科研分析、交通物流、灾害评估等多种场景。整个压缩包共含8个文件其中shp存储图形边界、dbf记录地区名称等属性、prj定义坐标投影、sbn与sbx建立空间索引另有shp.xml元数据帮助理解数据来源zip包大小约5.43MB数据组织规范且便于携带交换。通过属性表还可进一步筛选不同行政区划并与其他专题数据叠加分析。目前已有两千二百余人浏览学习适合需要全境边界底图的GIS初学者、研究人员及行业规划者使用可省去自行采集和整理日本基础地理数据的步骤拿到后即可快速进入项目分析环节。 最近在帮一个团队整理日本全境的基础地理数据甲方给的需求就一句话“要一套能直接用的日本全境shp文件。”听起来很简单等真把这批数据从各个渠道凑齐再放进ArcGIS和QGIS里一打开问题一个接一个往外冒都道府县属性表全是乱码路网和行政区划对不上位导出KML到Google Earth里演示时图形飘出去几百米。这篇文章不打算讲空泛的理论就把从“找数据—修数据—用数据”这条链路完整过一遍把日本全境shp文件的下载渠道、编码坐标系坑、常见格式转换、DWG转带属性shp以及批量处理全部拆开分享。凡是手里正在找区域边界图shp数据或者刚下载完日本shp不知道怎么继续处理的人这篇可以直接收藏照着做。1. 日本全境shp到底指什么先搞清楚你要的是哪套数据很多人一上来就问“有没有日本全境shp文件”但同样叫“全境”不同项目的需求差别非常大。有的只要行政区划边界做一张地图大屏就够有的要完整路网用来做路径规划和可达性分析还有的连水系、铁路、土地利用图层都想要准备做空间分析建模。所以第一步不是急着下载而是先盘点自己到底需要哪几个图层。1.1 一套完整的日本全境shp数据通常包含这些图层以我这次整理的经验来看一份能覆盖绝大多数项目的日本全境矢量数据集一般包含以下几类图层类型常见内容典型数据量行政边界47个都道府县界、市区町村界、海岸线县界小町村界很大道路路网高速、国道、县道、城市道路中心线全国路网在百万到千万级线段铁路网络JR线、私铁、地下铁、车站点上万条线段水系数据河流中心线、湖泊水库面、流域界中小河线密集地形辅助等高线、山峰点、行政区中心点视项目需要POI学校、医院、车站、商业设施点数十万到数百万点行政区划边界一般只有一个shp文件但路网和水系往往需要分多个文件管理。如果甲方只给了一个“全境”文件夹打开后发现里面只有县界那大概率还要花大量时间补道路和水系图层。经验之谈接到需求时先把交付清单问清楚宁可多要一个没有用的图层也不要等交付时才发现缺了关键层。1.2 拿到数据后最常见的三类使用场景从实际项目出发日本全境shp数据主要被用在三个方向。第一类是地图可视化比如把都道府县边界叠加路网和水系做全日本范围的经济数据大屏或产业分布图。这类场景对数据结构要求不高但非常看重坐标系统一和边界线的美观度线要素里如果有一堆废线、碎线出来的图就很难看。第二类是空间计算比如以车站为中心做500米缓冲区分析或者沿道路做管网缓冲。这类场景要求路网和水系必须干净拓扑关系要合理否则缓冲范围和面积统计都会失真。第三类是三维展示把shp转成3D Tiles接进Cesium或者本地三维平台。这类场景除了几何数据还要给要素延展高度、贴纹理、做LoD分层数据处理量比前两类大很多。明确场景之后再选数据和工具才不会走弯路。2. 日本全境shp数据去哪下常用下载源与选型建议想下载日本全境的shp数据渠道其实比想象中多但不同渠道的数据精度、现势性和获取难度差别很大。下面这些是我实际用过的来源按“能不能直接拿来用”排了个序。2.1 五个值得记住的数据源第一个是Geofabrik这是OpenStreetMap数据的全球镜像站专门提供按国家切片打包的数据下载日本全境的数据可以直接找到格式有shp.zip、GeoJSON和PBF。优点是完全免费、下载方便、路网和POI非常丰富缺点是因为数据来自众源采集道路等级、名称完整度在不同地区有好有坏。第二个是GADM这个站点提供全球各国行政边界的shp下载日本的都道府县界和市区町村界都能找到。优点是行政区划分层清晰字段结构统一适合做基础底图缺点是非官方数据在个别区域和日本官方认定的边界可能存在出入做精确制图时要注意核对。第三个是日本国土数値情報MLIT这是日本国土交通省发布的公开数据平台提供了行政区域、道路、铁路、桥梁、土地利用等大量官方空间数据集很多数据可以直接下载shp格式。优点是官方权威坐标系大多标注为JGD2011现势性也比较好缺点是下载需要逐项选择界面偏日文字段名很多是英文缩写或日文罗马字新手第一次操作会有点懵。第四个是国土地理院GSI的基盤地図情報这是日本官方测绘机构发布的高精度数据包含境界线和道路、建筑等基础地理要素。它的优点是精度高、标准化强缺点是发布格式主要是GML/XML需要通过专用查看器或GIS工具转换才能得到shp不适合不做格式转换的直接用。第五个是Natural Earth适合做小比例尺全球底图。日本全境在这个数据集里只是一个国家面要素只有国家和一级行政区的粗略边界路网、乡镇级边界都没有精度不够做精细项目。2.2 根据项目性质选数据源如果你做的是互联网可视化或快速原型选Geofabrik的OSM日本全境shp最省事路网丰富水体建筑物也有直接用QGIS打开看一眼效果基本能满意。如果是做政府类或测绘类交付项目优先从国土数値信息和基盤地図情報里找官方数据虽然前期要花时间清洗但至少数据来源和精度等级能写进技术说明文档。如果只是做一张宏观图册或海报GADM加Natural Earth就够了。下载时还要注意shapefile不是一个单独文件而是一组文件至少要同时有.shp几何、.shx索引、.dbf属性、.prj坐标系四个文件才能正常读取。下载解压后第一件事就是检查这4个文件是否齐全少一个.dbf会导致属性表打不开少一个.prj会导致坐标系信息丢失后期叠加对位时出现偏移你都不知道偏在哪。另外补充一个高频问题ArcGIS里怎么导出shp。处理日本数据时经常需要把某个图层重新导出成新的shp比如做了坐标转换或者删除了部分要素。在ArcGIS里可以右键图层选择“数据→导出要素”也可以打开ArcToolbox用“转换工具→转为Shapefile→要素类转Shapefile批量”。导出时重点检查环境设置里的输出坐标系和字段名避免导出后坐标系变了自己还不知道。3. 读取日本shp最容易翻车的两件事属性乱码与坐标系偏移日本全境shp数据拿到手最大的拦路虎往往不是软件操作而是两个很基础但极易踩坑的问题属性表乱码和坐标系偏移。这两个问题如果不提前处理后面所有分析结果都可能带着错误。3.1 DBF属性乱码Shift-JIS是元凶日本的数据很多是用Shift-JIS编码存储的尤其是日本国内机构和老项目基本绕不开这个。但很多GIS软件默认按UTF-8或系统本地编码去读DBF结果就是打开属性表看到一堆“???”或者类似乱码的文字。解决办法最直观的是在QGIS里调整编码。加载shp后右键图层打开“图层属性→数据源”在“数据源编码”里手动改成Shift-JIS或者试一下CP932大多数情况下乱码立刻恢复正常。如果使用Python处理也可以用fiona来指定读取编码import fiona with fiona.open(japan_admin.shp, encodingcp932) as src: for feat in src: print(feat[properties])当你最终把数据交付给下一个环节时建议统一转成UTF-8并重新保存一版shp避免下游同事打开继续遇到乱码。实际操作中我会把转换后的文件单独放到“utf8_final”目录原始文件保留不动方便回溯。3.2 坐标系偏移几百米就这么出来的日本历史上使用过不同的坐标系基准老数据常见的是Tokyo Datum后来过渡到JGD2000目前官方标准是JGD2011而国际上通用的是WGS84。这几种基准之间的差别不是简单的几米狭长国土范围内往往能差出几百米。把日本shp直接叠加到WGS84的在线地图上不做重投影的话图形会出现肉眼可见的偏移。拿到数据第一步先看.prj文件内容或者在图层的图层属性里查看坐标系信息。如果数据说明里写的投影是“日本平面直角座標系”还要注意日本全国一共分成了多个带区每一带对应不同的中央经线和坐标原点。跨带区的数据如果直接拼接不仅对不齐距离面积计算也会出问题。处理方式很简单在QGIS里右键图层选择“导出→另存为”指定目标坐标系为WGS84EPSG:4326导出后得到的就是经纬度坐标的shp命令行则可以借助GDALogr2ogr -t_srs EPSG:4326 output_wgs84.shp input_jgd2011.shp注意GDAL在读取整比例尺大的日本全境数据时第一次可能因为编码声明问题报错可以配合“-lco ENCODINGUTF-8”参数写入或者先按3.1节的方法确认编码再转换。坐标转换这事做完后建议在高德或者Google Earth上抽几个县界点验证一下偏移情况确认没问题再进入下一步。4. 从日本shp出发的高频格式转换txt、kml、3dtiles处理日本全境数据的过程里格式转换几乎是躲不开的环节。这里挑三个最常见的方向展开shp转txt、shp转kml、shp转3dtiles。4.1 shp转txt属性导出和坐标提取shp转txt的需求一般分两种。一种是把属性表导出成文本给不懂GIS的同事做统计和核对另一种是把要素坐标提取出来给程序算法直接调用。如果只是导出属性GDAL一行命令就能完成ogr2ogr -f CSV japan_road.csv japan_road.shp生成CSV后自己改后缀就是txt。但要注意如果属性字段里带中文和日文转出来的CSV可能会出现编码问题可以在命令里加“-lco ENCODINGUTF-8”或者导出后用Excel打开确认。如果想把每个要素的坐标和属性对应输出用Python最灵活。这里用pyshp举例import shapefile reader shapefile.Reader(japan_road.shp, encodingcp932) with open(japan_road.txt, w, encodingutf-8) as f: for i, shape_rec in enumerate(reader.shapeRecords()): record shape_rec.record points shape_rec.shape.points f.write(f要素{i}: {dict(zip(reader.fields[1:], record))}\n) f.write(f坐标点数: {len(points)}\n) f.write(f首坐标: {points[0]}\n)这里用到了pyshp的经典读取方式先拿到字段列表再把属性记录和几何点一起输出成结构化的文本。整个文件实测跑全国路网数据时也不会爆内存因为逐条处理没有一次性载入全部要素。4.2 shp转kmlogr2ogr一条命令搞定给非GIS背景的客户演示最顺手的就是转KML拿到Google Earth里看。KML基于XML默认要求使用WGS84经纬度坐标所以转换前源数据的坐标系必须是WGS84或者做好重投影。标准命令是ogr2ogr -f KML -t_srs EPSG:4326 japan_admin.kml japan_admin.shp加“-t_srs EPSG:4326”是为了防止源数据是JGD2011或有更大偏差的坐标系转换结果贴到在线地图上飘移。如果shp里属性字段很多KML会把这些字段自动转成要素描述信息在Google Earth的要素气泡里能看到。如果嫌信息太多可以加“-dsco NameField字段名”来指定用哪个字段作为KML要素名称。日本全境路网数据转换KML时文件可能会比较大渲染会变慢我的处理方式是先按都道府县分区域转换保存为多个KML再在Google Earth里统一加载管理。这样比一次性转一个上百兆的KML顺畅得多。4.3 shp转3dtiles三种路线选一种转3dtiles这个需求近年越来越多因为Cesium这类三维地球平台已经成了很多可视化项目的前端标配。shp转3dtiles没有唯一的官方路径取决于数据规模和是否愿意用在线服务。小规模数据最省事的是传到Cesium ion上传shp后平台自动处理成3D Tiles并生成服务地址前端直接加载。优点是零成本零代码缺点是有隐私和数据量限制日本全境的行政边界可以传但大规模路网数据不适合全部传上去。本地处理优先推荐国内用得比较多的CesiumLab支持把shp、geojson等常见矢量格式按分层分块逻辑转换为3D Tiles转换完成后用Cesium的Cesium3DTileset加载即可。操作界面是中文的新手也比较容易上手。CesiumLab对矢量数据的分层处理逻辑做得比较细可以自定义高度字段让2D边界变成有立体感的三维图层。企业级批量流水线可以考虑FME在FME里把shp作为读取器目标写为“OGC Cesium 3D Tiles”写入器能够把属性字段完整保留下来适合数据量很大、需要持续更新的交付项目。但这条路线要求你熟悉FME的坐标系和缓存管理相对前两种门槛高一些。5. FME 2024实战DWG转带属性shp的完整链路很多从城市规划行业过来的朋友一直在问“FME Workbench 2024怎么把DWG转成带属性的shp”。和普通点线面转换不同DWG转shp的难点从来不在几何而在属性。DWG本身是CAD格式默认没有真正的GIS属性表所谓“属性”通常有三种藏身之处块属性、扩展数据、CAD文本标注。属性藏的地方不同FME的处理方式也不同。5.1 先搞清楚属性藏在哪如果你拿到的DWG里有一个个“设备块”每个块上标着设备编号和型号那属性多半存在块属性里。在FME读模块参数中找到关于块实体的选项把“分解块实体”Explode Block Entities设为“是”这样块内部的所有子实体才会单独进入工作流块属性才会被识别为要素属性。如果属性不是块属性而是附着在实体上的扩展数据XDataFME读取DWG时会自动把一部分扩展数据放在通用属性里但很多自定义字段名需要显式暴露。这时要使用AttributeExposer转换器把目标字段名填进去字段值才会在工作台中露出来。如果所谓的属性就是图面上标注的文字比如道路边上的路名注记那需要用FME读取参数里的文本处理选项把文本内容读取为属性值。具体参数名在不同版本里略有差异可以打开帮助搜索“Text String as Attribute”勾选后文本内容才会被完整带出来而不是只生成一个几何实体。5.2 在FME工作台里搭一条稳定的转换链路这里分享一条我在2024版里实测稳定可用的工作流。第一步添加读模块选择Autodesk AutoCAD DWG/DXF把目标DWG文件加进来坐标系按CAD图纸说明设置拿不准就先用未知。第二步按5.1节描述的方式把块属性、扩展数据读取参数按需调整。第三步拖入AttributeExposer暴露后续要写入shp的字段。第四步根据DWG和shp字段对应关系使用AttributeCreator或SchemaMapper完成字段映射比如把CAD的Layer字段拆出“道路等级”把块属性里的“设备编号”重命名为“ID”。第五步用Reprojector把坐标系转成目标坐标系比如JGD2011转WGS84。最后添加ESRI Shapefile写入器在写模块参数里把数据集编码设为UTF-8避免中文和日文字段乱码。整个过程看着不长真正消耗时间的是字段映射。建议先在FME里用Inspector或者Logger跑一次小范围样例把读出来的属性全部看一遍确认哪几个字段是有数据的再做映射。我在实际项目中曾遇到过块属性字段名全是“ATTR1”“ATTR2”这种匿名序号的情况这种时候只能回到CAD源文件里对照块定义才能确定哪个序号对应哪个业务字段。5.3 转换过程中最容易栽的三个跟头第一个跟头是属性字段名超长被截断。DBF格式的shapefile对字段名长度限制在10个字符中文或者很长的英文名会被截断成不可读的短名。解决办法是在FME映射阶段就把字段名起成不超过10个字符的名字实在需要长名就存成txt或GeoPackage格式而不是shp。第二个跟头是坐标系信息丢失。DWG图纸常见的是CAD平面坐标甚至可能是自定义的施工坐标系如果读模块里不指定源坐标系FME很难自动判断输出shp的.prj就会缺失或错误。这种情况下只能人工确认图纸说明在Reprojector里手动指定源坐标系。第三个跟头是DWG里的重复几何和零碎线段。FME转出来后往往会多出很多悬浮的短线头、重复点导致shp属性表看起来要素数量暴增。建议在写入前用CoordinateRounder或Snapper做几何清理或者用AreaCalculator/ LengthCalculator做个字段过滤把长度明显异常的小短线筛出来再决定是否删除。6. 批量场景渔网分割、批量压缩与线要素清理最后再讲三个很实际却经常被忽略的问题如何用渔网分割大shp、如何批量压缩shp文件、如何把shp里的线“取消掉”。这些都是处理日本全境几百万级数据量时绕不开的杂活。6.1 给全国路网做渔网分割手头有一份全国道路shp几百万条线段直接加载到Arcmap里稍微缩放一下就会卡到怀疑人生。这时候“渔网分割”是有效的救急办法把整个数据范围切成棋盘格一样的网格单元每个网格内的要素单独存成一个shp后续只要按需加载局部范围即可。操作分三步。第一步在GIS软件里创建一个渔网面图层ArcGIS用“数据管理工具→采样→创建渔网”QGIS用“矢量→研究工具→创建网格”。网格尺寸没有统一标准我做全国路网时会设置成0.2度乘以0.2度约20公里边长每个网格内的道路数量基本在可处理范围。第二步用空间关系给原路网要素打上网格ID。在ArcGIS里推荐“空间连接”在QGIS里用“按位置连接属性”把渔网面上的“grid_id”字段关联到路网上。注意这一步要用“包含”或“相交”关系不要在线的两端跨出网格后又把整条线都截掉否则拓扑会乱。第三步按网格ID导出多个小shp可以用“要素类转Shapefile批量”也可以直接按属性筛选分别右键导出。经过这种分幅处理以后单次加载计算量小很多全国数据的各种分析就能逐网格并行跑最后再拼结果。6.2 单个shp如何批量压缩压缩文件和行为两个层面很多人问“shp如何批量压缩”其实“压缩”通常有两个含义。一是把一批shp文件分别打包成zip方便传输和归档二是把shp里的几何坐标点简化减小文件体积和渲染压力。先说打包成zip。shapefile是多文件格式压缩时不能只选.shp漏掉.dbf和.prj会让文件变成废品。在Windows命令行用7-Zip可以快速批量打包for %f in (D:\shp_data\*.shp) do C:\Program Files\7-Zip\7z.exe a %~nf.zip %~nf.*这段批处理会把目录下每个shp的配套文件全部打进同一名称的zip包里。Linux或macOS环境用bash加zip命令也能达到同样效果。批量压缩前先检查目录里有没有残留的.lock临时文件这类文件不影响读取但会打包后让包变得混乱建议提前清理。再说几何简化这对日本全境道路数据特别实用。全国路网的顶点数动辄几千万通过Douglas-Peucker算法在保持道路形状基本不变的前提下去掉冗余点文件体积能缩小一半以上。QGIS里可以用“矢量→几何工具→简化”容差设为0.0001经纬度左右转成平面坐标按等高线的走法时设为1米到5米。ArcGIS里对应的是“简化线”工具算法同样选“不去除交点”然后设置容差。简化对细节精度会有影响做竣工级精度分析时不要过度简化但做可视化底图和前端展示时简化后的数据体验会好很多加载速度快效果也不差。6.3 线要素“取消掉”删除、隐藏还是合并“怎么让一个shp里面的线取消掉”这句话在不同人嘴里含义完全不同我在实际协助中遇到过三种情况。最常见的是想删除某些不需要的线段比如路网数据里混入了一段行政区界线或者水系数据里有几条异常的长直线。这种直接进入编辑状态处理QGIS里选中图层开启编辑用框选或按属性表达式选择目标线然后点“删除选中要素”最后保存编辑。ArcGIS里用“开始编辑”正向框选目标线按Delete删除保存编辑即可。第二种是想让线不显示而不是物理删除。分歧在于数据不能丢但出图时又不想看到它。这种不要动编辑直接在图层面板取消勾选或者修改图层样式为“无笔”。如果你用的shp是ArcGIS Server发布的服务也可以在图层样式里隐藏该符号层效果一样。第三种是想合并断线。全国路网里一条国道经常被切成很多段看着像几十条断线加载起来又乱又卡。这种要的是“合并”而不是“取消”用QGIS的“合并线”工具或者ArcGIS的“合并”工具把连续且属性相同的线拼成一个要素注意合并前先备份避免属性丢失后无法恢复。回到最初那个项目最后我们把日本全境数据统一成了WGS84坐标系、UTF-8编码路网跑完渔网分割和几何简化后任何一台普通配置的笔记本都能顺畅打开交付出去之后基本没有被催过“这图层为什么这么卡”的反馈。做数据这件事很多坑看起来都不是大问题但每一条都提前处理到位后面的项目周期就能明显缩短一半。本文还有配套的精品资源点击获取