C语言生成2000w行数据

时间:2023-01-21 01:00:20

最近一直抽空学习shell,脚本语言看多了多多少少有些蛋疼不适,所以捡起以前遇到的一个C语言的问题看看。

原先应该是在C++吧关注的一个帖子,楼主为了测试数据库性能需要如下形式的数据
要求:

  • 字符串长度为16
  • 字符串只能包含大小写字母和数字
  • 要求生成20000000行的TXT文本

/**********************************
* Author: Ervin_Zhao(2012.6)
* Compile: gcc
* Create a file named test.txt, included 2000w line random string
* string have 16 num used A-Z, a-z, 0-9
*/ #include <stdio.h>
#include <stdlib.h>
#include <time.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h> int main(void)
{
char array[]="QWERTYUIOPASDFGHJKLZXCVBNMqwertyuiopasdfghjklzxcvbnm1234567890";
char buff[170000];
char *buff2 = buff;
int file = open("test.txt", O_WRONLY|O_CREAT, S_IRWXU|S_IRGRP|S_IROTH);
int i;
int temp[4];
char *p = (char *)temp;
for(i = 0; i<20000000; i++)
{
temp[0] = rand();
temp[1] = rand();
temp[2] = rand();
temp[3] = rand(); buff2[0] = array[p[0]%(sizeof(array)-1)];
buff2[1] = array[p[1]%(sizeof(array)-1)];
buff2[2] = array[p[2]%(sizeof(array)-1)];
buff2[3] = array[p[3]%(sizeof(array)-1)]; buff2[4] = array[p[4]%(sizeof(array)-1)];
buff2[5] = array[p[5]%(sizeof(array)-1)];
buff2[6] = array[p[6]%(sizeof(array)-1)];
buff2[7] = array[p[7]%(sizeof(array)-1)]; buff2[8] = array[p[8]%(sizeof(array)-1)];
buff2[9] = array[p[9]%(sizeof(array)-1)];
buff2[10] = array[p[10]%(sizeof(array)-1)];
buff2[11] = array[p[11]%(sizeof(array)-1)]; buff2[12] = array[p[12]%(sizeof(array)-1)];
buff2[13] = array[p[13]%(sizeof(array)-1)];
buff2[14] = array[p[14]%(sizeof(array)-1)];
buff2[15] = array[p[15]%(sizeof(array)-1)]; buff2[16] = '\n';
buff2 += 17; if(buff2 >= (buff+sizeof(buff)))
{
write(file, buff, sizeof(buff));
buff2 = buff;
}
}
close(file);
return 0;
}

这个程序结构的清晰,易于理解,真是个不错的程序

最初收藏的时候没时间去看,最近有空细看了下,在生成随机数那里看了半天,自己的底子实在是有点薄、

通过实验,原理是这样的。定义为INT形的数组,rand();函数产生8位的十六进制数,四个元素的数组,那么就是32位。

通过p指针把数组重新“翻译”,作为字符读取,2位一个字符,那么就是16个字符。通过array[p[0]%(sizeof(array)-1)]就可以随机取得array中的字符了

而且为了避免频繁读写IO,内存中待数据1万行才写入文件中,勉强看懂,叫自己写肯定是写不出。这就是学过和学会C语言的区别吧、

下面来看看另一个程序

/**********************************
* Author:yjf_victor(2012.6)
* Compile: gcc
* Create a file named test.txt, included 2000w line random string
* string have 16 num used A-Z, a-z, 0-9
*/ #include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <sys/mman.h>
#include <unistd.h>
#include <time.h> int main ( void )
{
int i, j;
const int cols = 16;
const int rows = 20000000;
const int size = ( cols + 1 ) * rows;
const char str[] = "QWERTYUIOPASDFGHJKLZXCVBNMqwertyuiopasdfghjklzxcvbnm1234567890";
const char filename[] = "file.txt";
char * p = NULL;
char * pStart = NULL;
int fd;
p = pStart = (char *)malloc( size * sizeof(char) );
if ( p == NULL )
{
fprintf ( stderr, "内存申请失败。\n" );
return EXIT_FAILURE;
}
srand( time(NULL) );
for ( i = 0 ; i < rows; i ++ )
{
for ( j = 0 ; j < cols; j ++ )
{
*(p ++) = str[rand()%(62)];
}
*(p ++) = '\n';
}
fd = open( filename, O_WRONLY|O_CREAT, S_IRUSR|S_IWUSR );
if ( fd == -1 )
{
fprintf ( stderr, "文件打开错误。\n" );
return EXIT_FAILURE;
}
write ( fd, pStart, size );
free( pStart );
close(fd);
return EXIT_SUCCESS;
}

本以为这个更难一些呢,读起来确是很好理解。而且程序写的很棒,参数易于修改

有时想想,大一学的C语言,也不深入学习,也不去实践、也只够写个学生信息管理系统了。

这个生成2000w行数据的,估计我会一个一个的生成随机数,然后估计一顿饭的时间是等不出来结果了…==

有吧友也通过汇编实现1秒5,由于没有环境,就不运行了,有兴趣的可以去看原帖,原帖地址:http://tieba.baidu.com/p/1626351476 (已为坟,勿回)

想来shell应该也能实现这一要求,所以去弄了个shell版本的

tr -dc A-Za-z0-9 < /dev/urandom |fold -w 16 |head -20000000 > file.txt

比较简单,一行码~嘿嘿,效率嘛、有舍就有得嘛~~
初学shell就是伤不起。。。连入门都没,别说写出高效简洁的shell脚本了,本来这个shell想自己写来着,但是下意识的想去用C语言的过程化设计来实现,思维有很多时候跳不出来

这真是。。。路漫漫,慢慢走吧、、

C语言生成2000w行数据的更多相关文章

  1. sql server之ROW&lowbar;NUMBER&lpar;&rpar; OVER&lpar;&rpar;取每组的第N行数据

    先看个例子: document_id card_holder_id created_date document_type_id 1 1 2015-7-1 1 2 4 2015-7-2 1 3 4 20 ...

  2. 逗号分隔的字符串转换为行数据(collection)(续)

    逗号分隔的字符串转行数据的存储过程一个: CREATE OR REPLACE FUNCTION SP_YX_SPLIT ( p_list CLOB, p_sep VARCHAR2 := ',' ) R ...

  3. 逗号分隔的字符串转换为行数据(collection)

    逗号分隔的字符串转换为行数据(collection) CREATE OR REPLACE FUNCTION "GET_STR_TAB" (v_str in varchar2) re ...

  4. hive中同列多行数据组合的方法以及array to string要点&lpar;行转列&rpar;

    1. 同列多行数据组合成一个字段cell的方法, top N 问题的hive方案 如下: hive 列转行 to json与to array list set等复杂结构,hive topN的提取的窗口 ...

  5. PHP 表单提交多行数据,显示多个submit

    echo "<table border=1 class="imagetable" >"; //使用表格格式化数据echo "<for ...

  6. 怎样为DataTable设置主键及找行数据

    只要是数据集中都应该存在主键,以确定数据集中唯一的值.那么,我们要如何为DataTable设置主键及利用主键在DataTable索引值呢? 步骤/方法     为DataTable设置主键 DataT ...

  7. Oracle一列的多行数据拼成一行显示字符

    Oracle一列的多行数据拼成一行显示字符   oracle 提供了两个函数WMSYS.WM_CONCAT 和 ListAgg函数.    www.2cto.com   先介绍:WMSYS.WM_CO ...

  8. 05&period; 取SQL分组中的某几行数据

    对表中数据分组,有时只需要某列的聚合值:有时却需要返回整行数据,常用的方法有:子查询.ROW_NUMBER.APPLY,总体感觉还是ROW_NUMBER比较直观.测试数据: if OBJECT_ID( ...

  9. ADO&period;NET笔记——使用Connection连接数据库,使用Command对象的ExecuteReader&lpar;&rpar;方法创建DataReader对象返回多行数据

    使用Connection连接数据库,使用DataReader访问数据库,并返回多行数据. 相关步骤: 需要引入两个命名空间 using System.Data; using System.Data.S ...

随机推荐

  1. Microsoft SQL Server Compact 4&period;0&amp&semi;&amp&semi;ADO&period;NET Entity Framework 4&period;1&amp&semi;&amp&semi;MVC3

    最近重新查看微软MvcMusicStore-v3.0的源代码,发现忽略了很多重要的东西,特别是数据访问那一部分. 首先Microsoft SQL Server Compact 4.0 详细的介绍和下载 ...

  2. spring工作机制

    Hibernate.struts,还差一个spring 就一起发出去.. spring工作机制及为什么要用? 1.springmvc请所有的请求都提交给DispatcherServlet,它会委托应用 ...

  3. HTML5 PC、Mobile调用摄像头(navigator&period;getUserMedia)

    废话少说,先贴上代码 html: <div id="main" class="masthead"> <div id="face_sc ...

  4. Go Code

    目录 备注工作空间(Workspaces)GOPATH环境变量包路径(Package Path)你的第一个程序你的第一个类库包名字(Package Name)测试集成备注 备注返回目录 此文主要是对官 ...

  5. angular&period;js的ng-app 指令定义一个 AngularJS 应用程序。

    <!DOCTYPE html> <html lang="en" ng-app> <head> <meta charset="UT ...

  6. 闭包JS

    一句话概括的话:闭包就是一个函数,捕获作用域内的外部绑定. 官方的定义:一个拥有许多变量和绑定了这些变量的环境的表达式(通常是一个函数),因为这些变量也称为该表达式的一部分. *变量和闭包的关系:自 ...

  7. java之自动过滤提交文本中的html代码script代码

    public class test { public static String Html2Text(String inputString) { String htmlStr = inputStrin ...

  8. LeetCode之&OpenCurlyDoubleQuote;链表”:Intersection of Two Linked Lists

    此题扩展:链表有环,如何判断相交? 参考资料: 编程判断两个链表是否相交 面试精选:链表问题集锦 题目链接 题目要求: Write a program to find the node at whic ...

  9. async&sol;Await使用和原理

    await/async是.NetFramework4.5出现的,是语法糖,由编译器提供的功能! await/async 是C#保留关键字,通常是成对出现,一般的建议是:要么不用,要么用到底 async ...

  10. EF学习笔记(十一):实施继承

    学习总目录:ASP.NET MVC5 及 EF6 学习笔记 - (目录整理) 上篇链接:EF学习笔记(十) 处理并发 本篇原文链接:Implementing Inheritance 面向对象的世界里, ...