Categories
读书有感

囧事一则

有个面试经历挺好玩的,记录一下。

面某家数据科学家...

面试官:你一般用什么语言?

我:r用的比较多,python也可以。

面试官:你写一下xx算法的实现(某个简单的计算机算法)

我:xxxxx()这个函数?

面试官:你自己写一遍。

我:我记不太住了,当年学过,考完四级就忘了(我还无聊到去考过计算机四级)...我不是学计算机专业的,不太写这种程序。r和python, c不一样,里面函数比较多,大部分可以直接调用(我想说:我很少操作指针这种东西)。我用统计方面的函数比较多。

面试官:所以你们写程序就是调用一下函数?

(结束)

我:....(我不是这个意思....)

唉,无力辩解的忧伤。没法跟cs出身的面试官友好的谈话了。我以后再也不指责那些直接拿各种现成的统计模型往数据上套的“数据”工程师了...人家至少不需要调用函数包,看看模型的伪程序就可以自己写了....

后续:然后我就去刷leetcode了...

后续2:对“数据科学家”(data scientist)这个职位我都有心理阴影了...面一个挂一个,呵呵。

Categories
读书有感

旧事一桩

近日看众议校园霸凌,偶然想起一桩旧事。

大概小学二三年级的时候,有次作业还是考试来着,数学老师要我们做错了的题各抄100遍(唉)。我自己显然抄不完,好在老师说可以家长帮忙抄题干(当年没复印机...),学生自己填答案。于是回家跟爸妈讲。估计当年爸妈也是甚为忙碌,听说之后暴怒,直接电话打给班主任还是校长(唉)。于是第二天我就啥都没带去学校了,数学老师大概是被告知情况然后也没说什么。

然而这个故事的后续是,数学老师在接下来的两三年一直不跟我讲话,上课提问我举手也从不点我。有次临堂测验,先完成先上去讲台给她评分,结果我一早上去她找了个茬把我赶回座位,直到快下课才给我勉强评分。

这种冷遇成为了我那几年挥之不去的心理阴影,每天都是毫无自信的去学校。性格日渐孤僻,也被同学疏离,说话结结巴巴...

后来我也惊讶我是怎么度过的。可能一来我神经比较大条,过去了就算了(时至今日依然如此)。二来,高年级之后,数学变难且开始全民奥数,我那一点小小的天分发挥了作用,老师无法继续无视。三来,五年级换了数学老师...

今日回忆此事,一想说当年学校老师素质也是变数颇大,二则是年轻父母的处理方式也是非常欠考虑。终归都是人生的学习印记。

补一点长远影响吧。这段经历导致我在接下来的时间内一直回避数学。初高中回避数学竞赛,报志愿回避数学专业...时至今日,依然不知道是福是祸。

Categories
读书有感

笔耕不辍(?)

有的时候会问自己,这么多年一直维持着落园,是什么样的动机。似乎最好的答案就是翻翻过去的日志,然后对着过去的自己嘲笑一番。人总是会在某些时刻幡然醒悟,然后继续犯着让未来的自己嘲笑的错误。

这几天又是假期,百无聊赖,开始沉迷游戏。沉迷了两天发现玩游戏好累(打了一局《文明》真的是天都亮了...),然后改看书,穿插着饿到不行的时候抓点食物或者做点饭。可见我也不是什么上进的心态,看看闲书小说罢了,并没有心情看什么严肃文学。

看着看着书,就开始八卦心起,然后毫无理性线索的开始漫天查各种人物八卦,虽然知道过了几日或者几月就会忘了(我的脑容量好像格外小,不相干的事情忘的越来越快)。看着看着,就在想,我为什么没有成为一个文学作者。当然一方面是没有天赋,阅读量和叙事能力都有限,另一方面也是慵懒。想想要靠着不断消耗脑力来创作新的文学片段来养活自己,多少有点可怕。日常工作不需要创造性也能完成,偶尔灵光一现来点有创造性的提升,这才是比较舒服的工作状态。事情都得是勤勤恳恳的,我不觉得我有那么多灵光一现的时刻可以用来挥霍。

有的时候想,不知道作为一个专栏作家会有多么大的压力。我甚是了解自己慵懒的个性,有的时候不想写就是不想写,你逼我在电脑前一坐几个小时也写不出来什么。不知道那些日行千字的职业作家是什么做到每天都趴在电脑前面写字的,抑或很多人其实也就是流水作业流水账。着实不了解这个行业的情况,也没有人曾细细诉说此中辛秘。

Categories
经济、IT观察与思考

封闭的城市角落

有时候会偶尔坐火车去50英里之外的公司上班,这途中的一个多小时就是盯着窗户发呆的时刻。火车会经过很多汽车无法经过的地方,而且也不用像开车那么专注,自然有时间和心思来琢磨一些课余话题。

三藩的历史也不算太短,而城市一直在经历着各种变化迭代。比如我所居住的potrero hill区,因为临近海湾,所以历史上是码头和仓库的聚集地,以及附带的工厂等。随便开车走走,还是能看到不少简陋的厂房和仓库。这些仓库大多被短期出租另有用途,比如开个小展览厅,或者搞个复古的工业风酒吧等等。而随着越来越多的人口涌入,很多闲置或者半闲置的仓库就被有计划的改造成新的住宅或者商业建筑。开着车在三藩兜风,就会经常注意到又有新的区域被开发起来,然后周边的区域变的越来越热闹。

很多建筑在建设的时候,是有围墙围起来的,所以开车经过看到的无非就是一块“立入禁止”的牌子。有时候围墙并不透明,所以路过的时刻很难知道里面正在发生着什么。直到有一天围墙拆除,才得以一窥内部建设的样貌。而如果建设并不迅速,这些角落就一直被不透光的墙围着,慢慢的积攒灰尘。

这个时候就感慨,若是有个会飞起来的无人机多好,就可以飞跃围墙的阻隔,窥探墙内的荒凉。我想墙内定是荒凉乃至狼藉的吧。不知道有没有流浪的猫狗在里面寄居,或许对他们来讲是个不错的安静之处。可是猫狗可以钻缝隙,那些常年露宿街头的流浪汉呢?三藩虽然还算温暖的,但再好的帐篷也毕竟比不上遮风挡雨的屋顶。

这些,都是一个发展中的城市不为人知的角落,有着自己不为人知的故事。和上海很不一样的是,上海的闹市区里面也会经常走过所谓的“棚户区”,看着摇摇欲坠的老房子里面伸出来一根根长长的晾衣杆,不耐烦的妈妈们训斥着到处顽皮的小男孩。弄堂的门口还有三五闲人要么择菜,要么听着收音机遛猫。这些场景都是鲜活的不加遮掩的,而三藩的另一面就被一堵堵墙围在看不见的区域里面,自行发酵。

不知道在那些流浪汉的眼中,三藩是不是和我生活的很是不一样。虽然大家都可以顺着山势爬到twin peaks上面看风景,只是不知道没有厚厚的冬衣包裹的他们是不是从内寒到外。越是希望探究不容易看到的区块,越是希望接触不容易沟通的人,越是觉得这个社会是那么的复杂而生动。只是我们习惯了禁锢,习惯了在自己最舒服的区域安安静静的打发时光。那些没有读懂的梦想,或许在未来很长的时间,也不会有读懂的契机。

墙,可以围起来一座城,也可以围起来一片建筑,也不知不觉的阻断了交流的声音。围墙,围城。

Categories
事儿关经济

中国地名的字频统计(县级及以上)

前几天看到微博上大家讨论县城名字:http://weibo.com/1444865141/EjcmoaykB

screen-shot-2016-11-27-at-5-44-05-pm

一时好奇,就把官方数据拿来看了一下。(2016年9月中华人民共和国县以上行政区划代码)

全部用来命名的只有1228个字,而相较于新华字典一般收录的八千到1万字,覆盖面其实挺小的。

不出意外的,这个字频分布呈现快速下降的长尾分布。看一下这个数据,还是蛮有意思的。

  • 第一名的“族”主要是有各种少数民族自治行政区划的存在。
  • 如果不看这个,则最受大家喜欢的就是“山”,“城”,“阳”,“江”,“安”,“州”。
  • 四个方向中,排序为“南”>“东”>“西”>“北”。
  • 地势描述成为了命名的主力词:山、江、河、海、川、湖、溪、林等。
  • 五行排名如下:水>金>土>木,然后没有火!看来全国人民都痛恨火灾。是不是和马伯庸提到的“雪”同理?大家都讨厌灾害。

这里贴一下前50高频词。

char_freq

完整的字频统计在这里: 中国县级及以上行政单位字频统计.txt

然后我们分区域来看一下各个区域特征。因为港澳台地区没有太多数据,所以我们只分析六大区域:华北、东北、华东、华中/华南、西南、西北。

  • 地势:除了西北地区以外,其他五个地区特别喜欢“山”。此外,东北常用“江河岭”,华北、西北常用“河”,华中/华南常用“江”,华东常用“江湖”,西南常用“江川”。
  • 四个方向:东北地区喜欢“东西”,华北地区喜欢“西”,华东地区喜欢“东南”,华中/华南常用“南”,西北常用“西”,西南常用“西南”。
  • 东北地区、西北地区、华南地区多有少数民族,故而地名含有民族名称。

region

全部数据下载:

中国县级及以上行政单位字频统计(按省份).txt

中国县级及以上行政单位字频统计(按地区划分).txt

原始数据:

town_name.csv

分析脚本:

town_name <- read_csv("~/Documents/town_name.csv")
names(town_name) = c("code","name")

town_name$name_s = gsub("市$|区$|县$|旗$|自治.*?$|盟$|省$","",town_name$name)
unique_character = unlist(strsplit(town_name$name_s,split = ""))
character_freq = as.data.frame(table(unique_character))
library(dplyr)
character_freq = character_freq %>% 
  arrange(Freq) %>% 
  mutate(rank = 1:nrow(character_freq))
write.csv(character_freq, file = "character_freq.csv", row.names = F)

library(ggplot2)
top_50 = character_freq %>% filter(Freq >= 25) 
ggplot(top_50, aes(x = as.factor(rank), y = Freq)) + 
  geom_bar(stat="identity", alpha = 0.5, fill = "grey")+
  coord_flip()+
  theme_bw(base_family = "Hei") +
  scale_x_discrete(labels = top_50$unique_character) +
  xlab("") +
  geom_text(aes(label = Freq, y =Freq/2 ), color = "deepskyblue3") +
  ylab("频次")+ggtitle("中国县级及以上行政单位字频统计")

#五行
character_freq %>% filter(unique_character %in% c("金","木","水","火","土")) 

#省

town_name$province = substr(town_name$code, 1,2)
town_name$region = substr(town_name$code, 1,1)

unique_prov =  town_name %>%  
  filter(grepl("0000",town_name$code))

char_by_prov = lapply(unique_prov$province, function(x) {
  prov = subset(town_name,province==x)
  chars = unlist(strsplit(prov$name_s,split = ""))
  freq_prov = as.data.frame(table(chars))
  freq_prov$rank = rank(-freq_prov$Freq, ties.method = "first")
  freq_prov$prov = x
  return(freq_prov)
})
char_by_prov = do.call(rbind, char_by_prov)

names(char_by_prov)
ggplot(char_by_prov %>% filter(rank<=5 & chars != "族" & ! prov %in% c(82,81)), aes(x= rank, y = Freq)) +
  geom_bar(stat="identity", alpha = 0.3)+
  facet_grid(name~.)+
  theme_bw(base_family = "Hei") +
  geom_text(aes(label = chars, y = Freq/2),family = "Hei")+
  coord_flip()+
  xlab("") +
  ylab("字频")
write.csv(char_by_prov, file = "char_by_prov.csv", row.names=F)

#by region
char_by_region = lapply(1:6, function(x) {
  prov = subset(town_name,region==x)
  chars = unlist(strsplit(prov$name_s,split = ""))
  freq_prov = as.data.frame(table(chars))
  freq_prov$rank = rank(-freq_prov$Freq, ties.method = "last")
  freq_prov$region = x
  return(freq_prov)
})
char_by_region = do.call(rbind, char_by_region)
char_by_region$region = factor(char_by_region$region)
levels(char_by_region$region)  = c("华北","东北","华东","华中/华南","西南","西北")

ggplot(char_by_region %>% filter(rank<=10 ), aes(x= rank, y = Freq)) +
  geom_bar(stat="identity", alpha = 0.3)+
  facet_grid(region~.)+
  theme_bw(base_family = "Hei") +
  geom_text(aes(label = chars, y = Freq/2),family = "Hei")+
  coord_flip()+
  xlab("") +
  ylab("字频") + ggtitle("中国县级以上行政单位字频统计(按区域划分)")

write.csv(char_by_region %>% filter(rank<=10 ), file = "freq_by_region.csv",row.names = F)
write.csv(char_by_region, file = "char_by_region.csv", row.names = F)
# draw regional map

library(ggmap)  


# find each regional center
unique_region = filter(unique_prov, substr(province,2,2)==2 & region<=6)   
location = lapply(unique_region$name,geocode)
location = do.call(rbind,location)
unique_region = cbind(unique_region,location)
unique_region$region = factor(unique_region$region)
levels(unique_region$region)  = c("华北","东北","华东","华中/华南","西南","西北")

# top 10 char for each region
top_10_region = char_by_region %>% filter(rank<=10 )
top_10_region =  top_10_region %>% 
  mutate(labels = paste0(chars," (",Freq,"次)"))

top_10_region = merge(top_10_region,unique_region, by ="region")
#adjust label positions

top_10_region_g = top_10_region %>% 
  mutate(lon_a = lon - rank %%2 *5 -3,
         lat_a = lat  - rank/2 - rank %%2 *(1/2)+5/2) %>% 
  select(c(region, rank, lon_a, lat_a, labels)) %>% 
  arrange(region,rank)

#manual adjustment
top_10_region_g = top_10_region_g %>% mutate(
  lon_a = lon_a + (region == "华东")*(7) + (region == "西南")*(-3)
)

qmap('China',color="color", zoom = 4, maptype = "satellite", alpha = 0.8) + 
  geom_text(data = top_10_region_g, aes( x = lon_a, y = lat_a, label = labels),
            family = "Hei",color = "white") +
  geom_text(data = unique_region,aes( x = lon-6+ (region == "华东")*(7)+ (region == "西南")*(-3), y = lat+3, label = paste0(region,"地区:")),
            family = "Hei",color = "white")