YFCC 100M数据集分析笔记

时间：2022-12-10 18:22:54

——从YFCC 100M数据集中筛选出Geo信息位于中国的数据集

1.YFCC 100M简介

YFCC 100M数据库是2014年来基于雅虎Flickr的影像数据库。该库由1亿条产生于2004年至2014年间的多条媒体数据组成，其中包含了9920万的照片数据以及80万条视频数据。

YFCC 100M数据集并不包含照片或视频数据，而是一个文本数据文档，文档中每一行都是一条照片或视频的元数据。每一行包含23个项目，他们分别代表：

[0]     Photo/video identifier    照片/视频标识符

[1]     User NSID    用户NSID

[2]     User nickname    用户昵称

[3]     Date taken    拍摄日期

[4]     Date uploaded    上传日期

[5]     Capture device    使用设备

[6]     Title    标题

[7]     Description    描述

[8]     User tags (comma-separated)    用户标签（逗号分隔）

[9]     Machine tags (comma-separated)    机器标签（逗号分隔）

[10]    Longitude    经度

[11]    Latitude    纬度

[12]    Accuracy    准确性

[13]    Photo/video page URL    照片/视频页面URL

[14]    Photo/video download URL    照片/视频下载网址

[15]    License name    许可证名称

[16]    License URL    许可网址

[17]    Photo/video server identifier    照片/视频服务器标识符

[18]    Photo/video farm identifier    照片/视频农场标识符

[19]    Photo/video secret    照片/视频秘密

[20]    Photo/video secret original    照片/视频秘密原件

[21]    Extension of the original photo    扩展原始照片

[22]    Photos/video marker (0 = photo, 1 = video)    照片/视频标记（0 =照片，1 =视频）

其中，我使用到的有

[0]     Photo/video identifier	照片/视频标识符

[10]    Longitude	经度

[11]    Latitude	纬度

代码见 https://github.com/libaoquan95/flickrAnalyse

2.从数据集中挑选出具有Geo信息的数据集

Geo信息，就是地理位置信息，现在很多摄影设备都带有GPS模块，可以记录照片拍摄时的地理位置信息，即经度和纬度。但需要注意的是，并不是所有的元数据都带有Geo信息，所以要筛出不含Geo信息的元数据。

'''      readDataset.py      '''

# 从原始数据集中提取带有geo标签的数据

# @param fliename原始文件名

# @return none

def getGeoDataFromDataset(fliename):

    # 打开数据集

    inFile = open(fliename)

    outFile = open(fliename + '-geo', 'w')

    i = 0

    count = 0

    # 读取原数据集 infile

    for line in inFile:

        # 分割元数据

        meteData = line.strip().split('\t')

        # 此照片或视频带有geo信息

        if(meteData[10] != '' and meteData[11] != ''):

            outFile.write(line)

            count = count + 1

        if(i % 1000000 == 0):

            print ('处理了 %d 行, geo有 %d 行' % (i, count))

        i = i + 1

    print ('共 %d 行, geo共 %d 行' % (i, count))

    inFile.close()

    outFile.close()

3.筛选出Geo信息位于中国的数据集

可以根据经纬度获取坐标点的实际地址，再通过分析实际地址后判断此坐标点是否位于中国。

可以使用geopy包来进行经纬度到实际地址的转换。但geopy需联网使用，在处理大量数据时非常耗时。所以可以先根据中国的经纬度范围大致筛选，然后使用geopy进行精确筛选。

中国的经纬度范围是：

最东端 东经135度2分30秒 黑龙江和乌苏里江交汇处

最西端 东经73度40分 帕米尔高原乌兹别里山口（乌恰县）

最南端 北纬3度52分 南沙群岛曾母暗沙

最北端 北纬53度33分 漠河以北黑龙江主航道（漠河县）

'''      readDataset.py      '''

# 从带有geo标签的数据集中提取出geo大概在中国范围内的数据

# 最东端 东经135度2分30秒 黑龙江和乌苏里江交汇处

# 最西端 东经73度40分 帕米尔高原乌兹别里山口（乌恰县）

# 最南端 北纬3度52分 南沙群岛曾母暗沙

# 最北端 北纬53度33分 漠河以北黑龙江主航道（漠河)

# 转换后

# 经：   73.66667  -  135.04167

# 纬：   3.86667  -  53.55

# @param fliename原始文件名

# @return none

def getAbortChinaFromGeoData(fliename):

    # 打开数据集

    inFile = open(fliename)

    outFile = open(fliename + '-abortchina', 'w')

    i = 0

    count = 0

    # 读取原数据集 infile

    for line in inFile:

        # 分割元数据

        meteData = line.strip().split('\t')

        # 此geo信息位于中国

        if(float(meteData[10]) >= 73.66667 and float(meteData[10]) <= 135.04167 and \

           float(meteData[11]) >= 3.86667  and float(meteData[11]) <= 53.55):

            newLine = '\t'.join(meteData)

            outFile.write(newLine + '\n')

            count = count + 1

        if(i % 1000000 == 0):

            print ('处理了 %d 行, 中国geo有 %d 行' % (i, count))

        i = i + 1

    print ('共 %d 行, 中国geo共 %d 行' % (i, count))

    inFile.close()

    outFile.close()

之后使用geopy来获取精确地址。

geopy使用可以参考http://www.cnblogs.com/giserliu/p/4982187.html

基于python的地理编码库geopy 是用于地理编码的常用工具，使用它可获取多种地图服务的坐标。目前Python2和Python3下都支持。Python开发者可以使用geopy很容易的获取全球的某个街道地址，城市，国家和地块的地理坐标，它是通过第三方的地理编码器和数据源来解析的。

'''      readDataset.py      '''

# 从带有geo标签的数据集中提取出geo实际在中国范围内的数据

# 通过Geopy，有经纬度获取实际地址

# geopy的函数参数是纬度在前，经度在后

# @param fliename原始文件名，lonIndex经度下标，latIndex维度下标,操作次数n

# @return none

def getChinaFromDatasetByGeopy(filename, lonIndex, latIndex, n=10):

    # 打开数据集

    inFile = open(filename)

    datas = []

    isFinsih = []

    # 读取原数据集 infile

    for line in inFile:

        # 分割元数据

        meteData = line.strip().split('\t')

        datas.append(meteData)

        isFinsih.append(0)

    inFile.close()

    inFile = open(filename, 'w', encoding='utf-8')

    outFile = open(filename + '-china-address', 'a', encoding='utf-8')

    outFile2 = open(filename + '-china', 'a', encoding='utf-8')

    # 逐条获取数据的实际地址

    # 若地址位于中国，将信息写入新文件

    # 将未处理的数据重新写入到原文件

    geolocator = Nominatim()

    i = 0

    count = 0

    error_count = 0

    none_count = 0

    while i<n and i<len(datas):

        try:

            # 根据经纬坐标获取实际地址

            location = geolocator.reverse("" + datas[i][latIndex] +"," +  datas[i][lonIndex])

            if (location.address != None):

                addressArr = location.address.split(',')

                country = addressArr[len(addressArr)-1].strip()

                # 标记已处理

                isFinsih[i] = 1

                # 地址位于中国

                if(country in ["中国","*"]):

                    outFile.write(datas[i][0] + '\t' +  country + '\t' + location.address + '\n')

                    outFile2.write('\t'.join(datas[i]) + '\n')

                    count += 1

            else:

                none_count += 1

                isFinsih[i] = 2

        except GeocoderTimedOut as e:

            #print('tiom out: ' + datas[i][0])

            error_count += 1

        i += 1

        sys.stdout.write('处理 %d 行, 中国 %d 行，请求超时 %d 行，none %d 行\r' % (i, count, error_count, none_count))

        sys.stdout.flush()

        #if(i % 10 == 0):

        #    print ('处理 %d 行, 中国 %d 行，请求超时 %d 行，none %d 行' % (i, count, error_count, none_count))

    print('')

    # 重新写入未处理数据

    length = len(isFinsih)

    for i in range(length):

        if(isFinsih[i] == 0):

            inFile.write('\t'.join(datas[i]) + '\n')

    for i in range(length):

        if(isFinsih[i] == 2):

            inFile.write('\t'.join(datas[i]) + '\n')

    inFile.close()

    outFile.close()

    outFile2.close()

4.数据可视化

使用geopy真的非常耗时，我大概使用了5天的空余时间才提取了一个压缩文件的数据（yfcc100m_dataset-0），共60015条。使用散点图将数据可视化：

'''      drawMap.py      '''

import numpy as np

import matplotlib

import matplotlib.pyplot as plt

from mpl_toolkits.basemap import Basemap

from matplotlib.animation import FuncAnimation

from matplotlib.patches import Polygon

# 画出中国地图，并将数据集中的经纬点在图中标记

# @param filename:数据集，lonIndex:经度下标，latIndex:维度下标

def drawMap(filename,  lonIndex,  latIndex):

    inFile = open(filename)

    datas = []

    lon = []

    lat = []

    # 读取原数据集 infile

    for line in inFile:

        # 分割元数据

        meteData = line.strip().split('\t')

        datas.append(meteData)

        lon.append(float(meteData[lonIndex]))

        lat.append(float(meteData[latIndex]))

    fig = plt.gcf()

    map = Basemap(projection='stere',

                  lat_0=35,

                  lon_0=110,

                  llcrnrlon=82.33,

                  llcrnrlat=3.01,

                  urcrnrlon=138.16,

                  urcrnrlat=53.123,

                  resolution='l',

                  area_thresh=10000,

                  rsphere=6371200.)

    # CHN_adm1的数据是中国各省区域

    shp_info = map.readshapefile("CHN_adm_shp/CHN_adm1", 'states', drawbounds=True)

    #map.drawmapboundary()   # 绘制边界

    #map.fillcontinents()    # 填充大陆，发现填充之后无法显示散点图，应该是被覆盖了

    #map.drawstates()        # 绘制州

    #map.drawcoastlines()    # 绘制海岸线

    #map.drawcountries()     # 绘制国家

    #map.drawcounties()      # 绘制县

    fig.set_size_inches(30,  30)

    parallels = np.arange(0., 90, 10.)

    map.drawparallels(parallels, labels=[1, 0, 0, 0], fontsize=10) # 绘制纬线

    meridians = np.arange(80., 140., 10.)

    map.drawmeridians(meridians, labels=[0, 0, 0, 1], fontsize=10) # 绘制经线

    x, y = map(lon, lat)

    # map.scatter(x, y, edgecolors='r', facecolors='r', marker='*', s=320)

    map.scatter(x, y, s=10)

    plt.title("flick point in China")

    fig.savefig('yfcc100m_dataset-0/China.png',  dpi=100)

    #plt.show()

    inFile.close()

drawMap('yfcc100m_dataset-0/flick-0-geo-abortchina-china', 10, 11)

YFCC 100M数据集分析笔记

相关文章